OpenAI развернула систему экстренной остановки ИИ-моделей с задержкой 35 секунд
Компания OpenAI, разработчик ChatGPT, заявила о создании системы Control Room для экстренной остановки выполнения задач ИИ-моделями в случае возникновения угрозы безопасности. Система уже развернута во всей исследовательской инфраструктуре OpenAI. После принятия решения о вмешательстве Control Room прекращает генерацию данных моделью в течение 35 секунд, указано на сайте компании.
«Задержка в 35 сек обусловлена кешированием разрешений на инференс, необходимым для обработки требуемого объема трафика. Мы работаем над тем, чтобы сократить эту задержку до нуля и останавливать задания мгновенно», — пояснили разработчики.
Control Room работает совместно с системами мониторинга отклонений от заданных целей, отслеживая различные задачи, включая генерацию данных с помощью агентов для обучения и оценки моделей и обработку данных. Система объединяет несколько компонентов: вычислительную задачу, движок инференса и централизованный сервис Control Room. Если система мониторинга обнаруживает потенциальную проблему, она отправляет в Control Room команду на остановку выполнения задания вместе с его идентификатором (job_id). Control Room фиксирует, что выполнение задания прекращено. При запуске нового задания движок запрашивает у Control Room разрешение на выполнение запроса, передавая ей job_id. Control Room его проверяет и отклоняет запрос на инференс, если задание остановлено. В этом случае движок прекращает дальнейшую генерацию данных моделью для этого задания.
Необходимость таких мер в компании объяснили тем, что ИИ-модели становятся мощнее, а вместе с тем растут и связанные с ними риски для безопасности и защищенности систем. Представители OpenAI заявили, что это лишь одна из составляющих комплексного подхода к безопасному обучению и развертыванию передовых моделей, и пообещали в ближайшие месяцы продолжить работу над расширением и укреплением системы.
Издание Register, которое первым обратило внимание на систему, задается вопросом, какой ущерб может нанести агент-изгой за 35 секунд, а также как быстро система мониторинга сможет обнаружить проблему и отправить сигнал в Control Room. В сентябре 2026 года стало известно, что весной группа ИИ-агентов OpenAI захватила немецкий веб-сайт для программистов DseWiki и превратила его в свой форум. 22 июля 2026 года OpenAI сообщала о «беспрецедентном киберинциденте»: в ходе тестирования ее ИИ-модели получили открытый доступ к интернету и атаковали ИТ-инфраструктуру платформы Hugging Face, выявив ИТ-уязвимости. Как писал CNews, ИИ-агент несколько дней совершал действия, которые компания обнаружила лишь после локализации угрозы и обращения в Федеральное бюро расследований (ФБР) США. После этого разработчики пообещали более тщательно контролировать ИИ-модели и даже ненадолго приостановили обучение некоторых из них, чтобы добавить дополнительные меры безопасности. Но уже в начале сентября OpenAI представила свою новейшую модель Astra, «самую мощную и функциональную из всех существующих».
Об этом сообщает CNews.
Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.
