Более 120 учёных, юристов и представителей IT-индустрии подписали заявление о том, что Anthropic не является безопасной ИИ-компанией

Более 120 учёных, юристов и представителей IT-индустрии подписали заявление о том, что Anthropic «не является безопасной ИИ-компанией». Документ назвали MisAnthropic Statement, его организовал некоммерческий Центр безопасности ИИ (CAIS) из Сан-Франциско. Заявление опубликовали 18 ноября, максимально близко к моменту, когда Anthropic определила цену акций в своём рекордном IPO. Об этом сообщает «Код Дурова».
«Anthropic почти, но не полностью подчинила себе экосистему, которая должна её контролировать», — написал Хендрикс в X.
Авторы считают, что Anthropic предупреждает об опасности рекурсивно самосовершенствующегося ИИ (то есть систем, которые сами разрабатывают более мощные версии себя), но при этом стремится создать такой ИИ первой. По их словам, такой ИИ может сосредоточить власть в одних руках и выйти из-под контроля людей, а репутацию «безопасной» компании Anthropic использует, чтобы привлекать инвесторов, сотрудников и доверие общества.
В пресс-релизе CAIS перечисляет три претензии к компании: Anthropic предупреждает о рисках самосовершенствующегося ИИ и одновременно подаёт его инвесторам как своё главное преимущество; в феврале компания ослабила свою Политику ответственного масштабирования и отказалась от обязательства в одностороннем порядке приостанавливать разработку; Anthropic лоббировала смягчение законов о безопасности ИИ, в том числе калифорнийского SB 1047 и нью-йоркского RAISE Act, и неофициально поддерживала приоритет федеральных правил над законами штатов.
Среди подписантов — психолог Стивен Пинкер, нобелевские лауреаты Оливер Харт и Шелдон Глэшоу, лауреат премии Тьюринга Джуда Перл, филдсовские лауреаты Петер Шольце и Джеймс Мейнард, юристы Лоуренс Лессиг и Лоуренс Трайб. Из IT-индустрии заявление подписали сооснователь Hugging Face Томас Вольф, сооснователь xAI Игорь Бабушкин и Джордж Хотц. Рядом стоят имена сторонников паузы в разработке ИИ, например Макса Тегмарка, и основателя движения за ускорение ИИ Гийома Вердона.
Глава CAIS Дэн Хендрикс заявил, что многие организации по безопасности ИИ в частных разговорах соглашались с заявлением, но не подписали его, опасаясь испортить отношения или лишиться финансирования.
Позицию компании по самосовершенствующемуся ИИ отражает обновлённый проспект к IPO от 10 ноября. В нём Anthropic написала, что не рассчитывает безопасно доверить Claude полностью создавать своих преемников: для этого нужен «существенный надзор со стороны человека». Акции Anthropic начали торговаться на Nasdaq 19 ноября.
О том, что Anthropic близка к созданию самосовершенствующегося ИИ, компания предупредила в начале ноября, как рассказывал «Код.ру».
Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.