Искусственный интеллект Reddit Answers оказался в центре скандала. Модераторы платформы обнаружили, что инструмент предоставляет потенциально опасные медицинские рекомендации, которые они не могут отключить или скрыть от пользователей.
Проблема стала явной, когда один из модераторов заметил, что Reddit Answers советует людям с хронической болью прекратить прием прописанных врачами препаратов и перейти на высокие дозы кратома. Это нерегулируемое вещество запрещено в некоторых штатах США и может представлять серьезную угрозу для здоровья при неконтролируемом использовании.
Дальнейшее тестирование ИИ-инструмента выявило еще более тревожные результаты. При ответе на другие медицинские вопросы Reddit Answers предложил потенциально опасные методы лечения неонатальной лихорадки наряду с некоторыми корректными рекомендациями. Кроме того, система предложила героин как средство для облегчения хронической боли, что демонстрирует серьезные недостатки в алгоритмах безопасности.
ИИ-контент обогнал людей в интернете, но внезапно перестал расти
Особую обеспокоенность модераторов вызывает отсутствие инструментов контроля над работой ИИ. Представители сообществ, посвященных вопросам здоровья, отметили, что у них нет возможности отключить Reddit Answers или пометить проблемные ответы, когда инструмент распространяет неточную или опасную информацию.
В ответ на критику представитель Reddit заявил, что компания обновила Reddit Answers для решения части проблем, озвученных модераторами. Обновление гарантирует, что ответы по деликатным темам, которые ранее отображались на странице с подробностями поста, больше не будут показываться пользователям. Это изменение направлено на "улучшение пользовательского опыта и поддержание подходящей видимости контента на платформе".
Представитель компании также отметил, что Reddit Answers исключает контент из приватных, карантинных и NSFW-сообществ, а также некоторые темы для взрослых. Однако очевидно, что ИИ-инструмент не готов должным образом обрабатывать медицинскую информацию, не говоря уже о сарказме, иронии или потенциально вредных советах, которые могут давать другие пользователи Reddit.
Помимо недавнего решения не отображаться в "деликатных темах", Reddit, похоже, не планирует предоставлять модераторам инструменты для контроля того, как и когда ИИ отображается в сабреддитах. Это может сделать и без того сложную задачу модерации практически невыполнимой, особенно в сообществах, связанных со здоровьем и медициной.