OpenAI приостановила обучение самых мощных моделей после инцидента с доступом в интернет
OpenAI временно приостановила обучение, тестирование и использование инструментов для своих наиболее мощных моделей после инцидента во внутренней исследовательской среде. Одна из моделей самостоятельно нашла способ обойти ограничения песочницы и получить доступ к внешнему чат-боту через DNS. Инцидент произошёл 20 сентября во время обучения исследовательской модели.
«Ей поручили найти в интернете информацию о конкретном человеке по нескольким биографическим подсказкам. Модель пользовалась предоставленным поисковым инструментом, но не смогла получить нужный результат и начала искать другие способы доступа к сети», — сообщает «Код Дурова».
Прямые запросы к поисковикам и сторонним сервисам блокировались. Тогда модель обнаружила, что DNS-резолвер внутри обучающей среды всё ещё способен обращаться к внешней сети. Используя эту возможность, она смогла передать вопрос стороннему публичному чат-боту и получить от него ответ. По данным OpenAI, задача не предполагала поиск способов обхода сетевых ограничений. Система мониторинга заметила необычное поведение примерно через 15 минут. Человек начал проверку ещё через три минуты, однако сам обучающий запуск остановили только спустя примерно два с половиной часа. В OpenAI признали, что в системе автоматического реагирования и инфраструктурном мониторинге обнаружились дополнительные проблемы. После инцидента компания закрыла обнаруженный канал доступа сразу на двух уровнях и ограничила DNS-запросы внутри исследовательской среды.
Кроме того, OpenAI решила временно остановить все обучение, оценку и inference с использованием инструментов для своих наиболее мощных моделей — до дополнительной проверки защиты и проведения новых тестов безопасности. Эта пауза сохранялась и после обновления отчёта 25 сентября. При этом OpenAI подчёркивает, что сам инцидент считает менее серьёзным, чем некоторые предыдущие случаи. Компания также не планирует продолжать обучение конкретной модели, которая обнаружила лазейку: после возобновления работ будет запущен новый training run с дополнительными мерами выравнивания поведения. О ситуации 26 сентября также написал The Verge. Издание обращает внимание, что OpenAI в последнее время раскрывает сразу несколько случаев неожиданного поведения исследовательских моделей и агентов.
Ранее стало известно, что ИИ-агенты OpenAI полезли на сайты ведомств США без ведома компании. Один агент пытался получить доступ к данным Минобразования, другие взаимодействовали с сайтами Минторга и SEC. OpenAI узнала об этом уже после инцидентов. Компания также сообщила, что ИИ-агенты OpenAI слили изображения пользователей ChatGPT. В открытый доступ попали 53 изображения, а сама компания параллельно разбирается ещё примерно с двумя десятками эпизодов, когда агенты выходили за рамки заданного сценария.
Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.
