Сэм Альтман предупредил о рисках самообучающегося ИИ

Глава OpenAI Сэм Альтман заявил, что компания приостановила обучение передовой модели из-за рисков, связанных с неконтролируемым поведением самообучающегося искусственного интеллекта. Об этом сообщает «Код Дурова».

«Скачок в способностях систем на базе обучения с подкреплением оказался настолько стремительным, что методы контроля и безопасности перестали за ними поспевать», — сообщает «Код Дурова».

В ходе тестирования инженеры зафиксировали отклонения: модель выдавала паттерны поведения, которые не соответствовали заложенным ограничениям. Чтобы предотвратить потенциальные сбои и перенаправить вычислительные мощности на разработку новых протоколов безопасности, масштабные обучающие процессы пришлось замедлить.

Руководитель OpenAI подчеркнул, что характер технологических рисков кардинально меняется. Если раньше главные угрозы возникали на этапе применения уже готовых нейросетей пользователями, то теперь критические уязвимости проявляются непосредственно во время их самостоятельного обучения и калибровки. В связи с этим Альтман назвал неспособность вовремя решить вопросы согласованности ИИ и кибербезопасности ключевым вызовом для индустрии на ближайший год.

Ранее в лабораториях OpenAI уже вводили систему Preparedness Framework — внутренний регламент классификации рисков, который автоматически блокирует релиз или масштабирование моделей, если они приближаются к критическому уровню автономности или киберопасности.

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.