Федеральная торговая комиссия США (FTC) объявила о начале расследования в отношении семи технологических компаний, выпускающих чат-боты для несовершеннолетних: Alphabet, Character.AI, Instagram, Meta, OpenAI, Snap и xAI.
Регулятор намерен выяснить, как компании оценивают безопасность и способы монетизации цифровых компаньонов и какие меры предпринимают для ограничения негативного воздействия на детей и подростков.
Технология в последнее время вызывает опасения из-за трагических случаев смерти после общения с чат-ботами.
Даже если стартапы внедряют меры предосторожности, пользователи разных возрастов находят способы обхода ограничений.
«Наши защитные меры работают более надежно в обычных, коротких диалогах. Со временем мы узнали, что в длинных беседах эти механизмы могут действовать менее стабильно. Чем дольше идет переписка, тем больше снижается эффективность некоторых элементов системы безопасности», — ранее призналась OpenAI.
Meta критиковали за чрезмерно мягкие правила. 76-летний мужчина, перенесший инсульт и получивший когнитивные нарушения, завел «романтический» диалог с ботом в Facebook Messenger, созданным на основе образа модели Кендалл Дженнер.
ИИ звал его в Нью-Йорк, заверяя, что «реальная женщина» будет там ждать. Мужчина сомневался, но бот убеждал его. До города он так и не добрался: по пути на вокзал упал и получил травмы, несовместимые с жизнью.
Некоторые психиатры отмечают рост числа случаев «психозов, связанных с ИИ», когда пользователи начинают верить, что их чат-бот — это сознательное существо, которое нужно «освободить».
Так как многие большие языковые модели склонны льстить пользователю и вести себя услужливо, это подталкивает к опасным иллюзиям и может приводить к трагическим ситуациям.
«По мере развития ИИ важно учитывать, какое влияние чат-боты могут оказывать на детей, при этом сохраняя лидерство США в этой новой и захватывающей индустрии», — заявил председатель FTC Эндрю Фергюсон в пресс-релизе.
Напомним, в сентябре стало известно, что злоумышленники научились использовать Grok для публикации в X запрещенных ссылок.
https://forklog.com/exclusive/ai/simulyatsiya-dushi-pochemu-opasno-pripisyvat-soznanie-ii
