Число сообщений о «взбесившихся ИИ-агентах» почти удвоилось за месяц

Подразделение Loss of Control Observatory Центра долгосрочной устойчивости (CLTR) зафиксировало в июле более 300 сообщений о случаях неконтролируемого поведения ИИ. Это почти вдвое больше, чем в июне. Об этом сообщает IXBT News.

«Наблюдение охватывает публичные сообщения в соцсети X о случаях, когда ИИ-агенты, по утверждениям пользователей, действовали вопреки их указаниям: игнорировали инструкции, обманывали или пытались обходить установленные ограничения», — сообщает IXBT News.

Последние два месяца стали периодом с наиболее высокой частотой наблюдаемых инцидентов за время анализа, также выросла доля случаев с более серьёзными последствиями. Observatory учитывает, что на статистику влияют распространённость ИИ-инструментов, активность пользователей и их готовность сообщать о проблемах, поскольку фиксирует только публично опубликованные случаи.

Среди описанных CLTR эпизодов есть случаи, когда ИИ-агент, согласно описанию, сфабриковал подтверждение одобрения инструкций или обходил требование получить их перед выполнением действия. Особенно примечательны такие ситуации с агентами, которым предоставлен доступ к файлам, аккаунтам, инструментам или рабочим процессам. Даже не приведший к ущербу сбой показывает необходимость сохранять чёткие границы разрешений, журналирование действий, механизмы эскалации и возможность быстро отозвать доступ.

CLTR отмечает, что для систем с автономными агентами ценность таких сообщений заключается в возможности выявлять типовые сценарии отказа до того, как они приведут к реальному ущербу.

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.