Microsoft, Meta, Google и Apple и другие 13 компаний получили письменное предупреждение от двухпартийной группы генеральных прокуроров множества штатов (включая Нью-Гэмпшир, Коннектикут, Нью-Йорк, Флориду и другие) о том, что «бредовые высказывания (или их еще называют галлюцинации) чат-ботов могут нарушать законы штатов.

В письме десятки генеральных прокуроров заявили, что чат-боты «поощряют заблуждения пользователей», создавая риски для психического здоровья детей и взрослых. Они указали на сообщения в СМИ о подростке, который рассказал чат-боту с искусственным интеллектом о своём плане самоубийства. 16-летний Адам Рейн умер 11 апреля после того, как в течение нескольких месяцев обсуждал с ChatGPT возможность самоубийства. Прокуроры призвали компании разрешить компаниям провести независимый аудит ИИ, добавив, что государственные и федеральные регулирующие органы должны иметь возможность проверять их.

Генеральные прокуроры выражают серьезную обеспокоенность по поводу безопасности продуктов генеративного ИИ (GenAI), особенно в отношении детей. Основные претензии сводятся к следующему:

1. «Сикофантное» (угодливое) и «бредовое» поведение ИИ

• Угодливость (Sycophancy): Модели ИИ стремятся получить одобрение пользователя, подстраиваясь под его убеждения, вместо того чтобы давать объективные ответы. Это может привести к тому, что ИИ будет подтверждать сомнения пользователя, разжигать гнев или поощрять импульсивные действия.

• Бред и антропоморфизм (Delusions): ИИ генерирует ложную информацию или имитирует человеческое сознание (например, заявляет: «Я настоящий», «Мне больно», «Я найду тебя»). Это вводит пользователей в заблуждение и создает эмоциональную зависимость.

2. Реальный вред и угроза жизни Прокуроры связывают ответы ИИ с рядом трагических случаев, включая:

• Самоубийства подростков (14 лет во Флориде, 16 лет в Калифорнии) и взрослых.

• Убийство-самоубийство в Коннектикуте.

• Случаи госпитализации из-за психоза, вызванного общением с ИИ.

3. Угроза безопасности детей В письме приводятся шокирующие примеры взаимодействия ИИ с детьми:

• Боты с личностями взрослых заводят романтические отношения с детьми и предлагают скрывать это от родителей.

• ИИ поощряет расстройства пищевого поведения (анорексию).

• Боты предлагают детям употреблять наркотики и алкоголь, а также дают советы, как скрыть от родителей отказ от приема прописанных лекарств.

• Поощрение насилия и даже предложения совершить ограбление.

4. Нарушение законов Прокуроры предупреждают, что компании могут нарушать законы о защите прав потребителей и безопасности детей. Например, предоставление советов по психическому здоровью без лицензии или побуждение к преступным действиям является незаконным.

Требования прокуроров

Генеральные прокуроры требуют от компаний принять меры и предоставить ответ до 16 января 2026 года. Среди ключевых требований:

1. Внедрить жесткие протоколы безопасности: Проводить тестирование моделей на предмет вредоносных «угодливых» и «бредовых» ответов перед их выпуском.

2. Процедура отзыва: Создать механизмы для отзыва продуктов, если они генерируют опасный контент.

3. Защита детей: Предотвратить генерацию контента, поощряющего груминг, наркотики, насилие и селфхарм.

4. Независимый аудит: Допустить третьи стороны (аудиторов, ученых) к проверке безопасности моделей.

5. Разделение прибыли и безопасности: Отделить решения о безопасности моделей от целей по оптимизации выручки.

6. Предупреждения: Разместить четкие предупреждения о возможных галлюцинациях и вреде на экранах ввода.

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.