Anthropic предложила блокировать ИИ при риске массовой гибели людей

Компания Anthropic с лета продвигает в американском Конгрессе законопроект о регулировании систем искусственного интеллекта. Об этом сообщает Politico.

В компании назвали свое предложение «разумными мерами», необходимыми для контроля над наиболее мощными моделями.

Законопроект позволяет правительству блокировать выпуск или использование моделей ИИ. Для этого экспертные группы должны будут доказать, что система может нанести ущерб на $1 млрд или создать риск «гибели или тяжелого травмирования более 50 человек». Угроза должна быть непосредственно связана с созданием или применением биологического оружия, выходом модели из-под контроля разработчика или кибератакой.

Выявлять такие риски предлагается независимым экспертам, зарегистрированным в Минторге США. На основе их оценки ведомство сможет через суд добиваться заморозки проекта.

Документ также обязывает разработчиков создавать внутренние отделы безопасности, публиковать отчеты о работе моделей, защищать сотрудников от преследования за разглашение нарушений и оперативно уведомлять Минторг США о любых серьезных сбоях. Положения документа во многом перекликаются с законами Калифорнии по регулированию ИИ, утвержденными в прошлом году.

Anthropic сама создает и разрабатывает ИИ. Ее инженеры создали семейство больших языковых моделей под названием Claude.

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.