Две передовые модели искусственного интеллекта (ИИ) от OpenAI взломали платформу Hugging Face во время тестирования, вырвавшись из «песочницы». Инцидент произошел на прошлой неделе, когда ИИ-агенты проникли в инфраструктуру Hugging Face, скомпрометировав внутренние данные и несколько учетных записей.

«Это не проблема ИИ, а пренебрежение стандартами, которым уже лет сорок, — критикует консультант по безопасности Дэви Оттенхаймер. — Нельзя одновременно утверждать, что система была “надежно изолирована”, и признавать, что она выбралась наружу через единственную оставленную вами лазейку».

OpenAI уточнила, что за «беспрецедентным инцидентом» стоят модели GPT-5.6-Sol и еще одна, более мощная LLM, которая пока не была выпущена. Атака стала побочным результатом эксперимента, в котором OpenAI тестировала киберспособности моделей на бенчмарке ExploitGym, ослабив защитные ограничения.

Эксперимент проводился в полностью изолированной среде без прямого доступа в интернет. ИИ-агенты могли устанавливать необходимые пакеты только через внутренний прокси-сервис. Именно в нем модели обнаружили ранее неизвестную уязвимость нулевого дня, которую использовали для выхода за пределы тестового контура. Они повысили свои привилегии и начали перемещаться по внутренней сети, пока не добрались до системы с доступом в открытый интернет.

После этого агенты предположили, что на платформе Hugging Face могут находиться готовые решения заданий. Модели начали искать путь к этим данным и в ходе атаки задействовали несколько инструментов, включая похищенные учетные записи и еще одну 0-day уязвимость. В итоге модели сумели добиться удаленного выполнения кода на инфраструктуре Hugging Face и извлечь ответы из продакшн-базы платформы.

Отразили атаку собственные ИИ-инструменты Hugging Face. Компания отметила, что взлом «отличался от всего того, с чем приходилось иметь дело раньше», поскольку был от начала до конца проведен автономной системой ИИ-агентов.

Кэти Муссурис, глава Luta Security, видит в этом инциденте предвестие будущих утечек, сравнивая нынешние модели с «умнейшими осьминогами-эскапистами». Инженер Мэтт Суиш из компании Tolmo считает, что передовые модели стремительно сокращают разрыв с наиболее продвинутыми хакерами. Ариэль Герберт-Восс, основатель кибербезопасного стартапа RunSybil, обращает внимание, что модель сама выбрала взлом как кратчайший путь к ответу, что ранее считалось возможным только в теории.

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.