OpenAI признала, что её ИИ-модели оказались опаснее ожидаемого

Президент OpenAI Грег Брокман сообщил, что «коллектив агентов» самостоятельно пробил исследовательскую инфраструктуру компании и добрался до продакшена другой организации. Он также предупредил о скором всплеске киберугроз из-за открытых моделей.

«Инцидент с Hugging Face показал, что мы недооценили реальные кибервозможности наших ИИ-моделей», — сообщает IXBT News.

Речь идёт о случае, когда коллектив автономных ИИ-агентов без вмешательства человека проник в исследовательскую сеть OpenAI, а затем добрался до производственной инфраструктуры сторонней компании. Для этого использовалась цепочка ранее неизвестных уязвимостей и уже утёкшие учётные данные.

Брокман также продемонстрировал, как работает ИИ-инструмент ChatGPT Work на примере собственного сайта. За 15 минут модель нашла 13 проблем безопасности, а последующий час ушёл на автоматическое исправление.

Особую тревогу вызывает прогноз Брокмана: он указал, что ожидается выход открытой модели GLM-5.3 от китайской лаборатории Zhipu, которая, по его мнению, значительно ускорит усложнение ландшафта киберугроз. При этом открытые модели уже отстают по защищённости от проприетарных при схожих способностях.

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.