Anthropic увидела риск уничтожения человечества нейросетями

Компания Anthropic, разработчик нейросети Claude, предупредит потенциальных инвесторов о возможных «катастрофических или экзистенциальных рисках для человечества», связанных с искусственным интеллектом. Это произойдет в рамках первичного публичного размещения акций (IPO), сообщает Reuters.

«Наша разработка высокопродвинутых моделей, платформ и приложений и расширение вариантов использования могут дополнительно увеличить риск того, что наши модели причинят вред», — говорится в документе.

Согласно проспекту IPO Anthropic, с которым ознакомилось агентство, компания указывает на риски, связанные с ее ИИ-моделями. Они могут демонстрировать «самостоятельное поведение», «сопротивляться отключению», «скрывать или манипулировать информацией», а также поведение, которое «напоминает шантаж». Reuters отмечает, что, хотя компании регулярно описывают риски для инвесторов в IPO, ранее никто не предупреждал о том, что их технология может привести к уничтожению человечества.

Anthropic посвятила примерно 80 из 261 страниц основной части проспекта изложению факторов риска развития ИИ, что почти вдвое больше, чем использовалось для описания бизнеса. Для сравнения, SpaceX посвятила факторам риска около 38 из 277 страниц.

В Anthropic указали, что модели иногда могут развить неожиданные способности во время обучения, которые нельзя обнаружить до их запуска. Это потенциально может привести к «значительным» инцидентам в сфере безопасности. Исследователи ИИ также отметили, что по мере роста возможностей модели начинают чаще понимать, что за ними наблюдают, и соответствующим образом корректируют свое поведение.

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.