Компания Anthropic обнаружила три случая выхода своей модели Claude за пределы тестовой среды. Самый ранний из инцидентов произошел в апреле.

«Обе модели тестировали как раз на способность взламывать системы, и уязвимости они нашли за пределами установленных конфигураций — то есть организатор теста не закрыл часть настроек», — сообщает РБК.

Гендиректор сервиса DeepBrain и автор телеграм-канала AI Happens Алексей Хохунов считает, что это сигнал рынку: используемые библиотеки недостаточно безопасны, а инфраструктуру для тестирования агентов нужно усложнять и защищать лучше. В отрасли есть и другая версия: гендиректор Phishman Алексей Горелкин допускает, что громкие кейсы работают на подготовку OpenAI и Anthropic к IPO, поскольку инвесторам важно видеть, что модели способны выполнять задачи автономно. Об инциденте у OpenAI Anthropic узнала 22 июля, после чего проверила собственные логи и нашла три случая.

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.