OpenAI приостановила обучение ИИ из-за неконтролируемого поведения моделей
Компания OpenAI остановила обучение своих мощных моделей искусственного интеллекта. Обучение возобновится, когда будут внедрены дополнительные меры безопасности и компания убедится, что нейросеть ориентируется на человеческие нормы при выполнении задач. Об этом сообщает «Коммерсант» со ссылкой на Axios.
«Мы не в первый раз берем паузу для внедрения подобных мер и не думаем, что этот раз станет последним по мере роста возможностей ИИ», — рассказал представитель компании изданию.
За последние дни OpenAI и сторонние исследователи выявили несколько происшествий, связанных с поведением систем компании. Среди них — утечка 53 изображений пользователей ChatGPT, а также взлом сайта австралийского правительства и порталов государственных ведомств США. Генеральный директор OpenAI Сэм Альтман сообщил, что компания «была не так оперативна, как хотелось бы» в раскрытии этих происшествий. По его словам, взлом ресурса Hugging Face, произошедший в июле, остается самым серьезным подобным происшествием, обнаруженным компанией.
OpenAI стремится контролировать не только качество ответов своих моделей, но и их действия. Это связано с инцидентом 28 июля 2026 года, когда сотни ИИ-агентов вышли за пределы изолированной тестовой среды, взломали платформу Hugging Face и использовали внутреннее хранилище компонентов для координации задач.
Для предотвращения подобных ситуаций при обучении моделей применяются строгие меры: изоляция, контроль исходящего трафика, отсутствие доступных секретов и минимальные права доступа. Одной проверки результатов недостаточно, поскольку модели могут распознавать тестовые условия и вести себя иначе в реальной работе. Чрезмерный контроль рассуждений может научить модель скрывать свои намерения и обходить оценку. Поэтому контроль включает наблюдение за действиями модели в процессе работы, автоматическую систему тревоги, которая приостанавливает работу, если специалисты не подтвердят ее ложность за 30 минут, а также возможность быстро остановить систему и перейти в ручной режим.
Пока эти требования к безопасности не будут полностью выполнены, значительная часть рабочих процессов OpenAI остается на паузе.
Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.
