Anthropic и OpenAI предложили разные способы остановки опасных ИИ
Компании Anthropic и OpenAI представили властям Калифорнии свои подходы к остановке систем искусственного интеллекта, которые могут представлять серьёзную угрозу. Anthropic предлагает дать генеральному прокурору штата право добиваться через суд приостановки работы опасных моделей. OpenAI, в свою очередь, выступает за обязательное создание и применение разработчиками механизмов аварийного отключения.
«Anthropic предлагает разрешить генеральному прокурору штата добиваться через суд приостановки развёртывания, внутреннего использования или дальнейшей разработки опасной модели», — сообщает IXBT News.
Обе компании направили свои предложения губернатору Калифорнии Гэвину Ньюсому после его распоряжения от 18 сентября. Этот документ поручает государственным ведомствам подготовить рекомендации по дополнительным мерам безопасности для наиболее мощных ИИ-систем.
Anthropic также предложила проводить независимую оценку заявлений разработчиков о безопасности моделей и публиковать результаты проверок. Компании должны будут выпускать отчёты о рисках не реже одного раза в полгода. Независимые оценщики должны получать доступ к мощным моделям и внутренней информации разработчиков. Финансировать их работу предлагается через общий фонд под управлением штата.
OpenAI поддержала независимую техническую оценку, но предложила разделить её с аудитом соблюдения требований. Технические проверки должны изучать доказательства безопасности моделей и эффективность защитных механизмов, а аудит — проверять выполнение опубликованных компанией правил и юридических обязательств. OpenAI предлагает проводить независимый аудит ежегодно, а технические проверки — при появлении серьёзных рисков. Компания также призвала Калифорнию совместно с Национальным институтом стандартов и технологий США разработать единые стандарты оценки.
Отдельное разногласие касается того, как именно останавливать опасные системы. OpenAI считает термин «аварийные механизмы отключения» более точным, чем «выключатель», поскольку универсальной кнопки для всех ИИ-систем не существует. В зависимости от ситуации может потребоваться остановить обучение модели, изолировать ИИ-агента, отозвать доступ к инструментам или сети либо приостановить работу сервиса. Обязанности должны распределяться между разработчиками, поставщиками вычислительных услуг и компаниями, внедряющими модели.
Anthropic предлагает похожую концепцию — «автоматический выключатель». Такие механизмы должны позволять локализовать проблему на уровне отдельного агента, клиента, среды развёртывания или всей модели. Компания также считает, что при подтверждении независимой проверкой риска катастрофического ущерба генеральный прокурор штата должен иметь возможность обратиться в суд за временной приостановкой соответствующей системы.
Обе компании выступают за расширение отчётности об инцидентах, в том числе случаях, когда модели обходят защитные ограничения или совершают действия за пределами выданных им полномочий.
Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.
