Anthropic предупредила о близости к созданию самосовершенствующегося ИИ
Anthropic допустила, что скоро может создать ИИ, способный заметно ускорять собственное развитие. Предупреждение появилось в обновлённой версии проспекта S-1/A, который компания подала в Комиссию по ценным бумагам и биржам США (SEC) перед выходом на биржу. Новые формулировки добавлены в раздел о факторах риска. Об этом сообщает «Код Дурова».
«Использование ИИ для создания более мощного ИИ может нести значительный риск для безопасности», — говорится в документе.
Речь идёт о рекурсивном самосовершенствовании (recursive self-improvement, RSI). Так называют этап, на котором ИИ настолько хорошо помогает обучать новые модели, что развитие технологии резко ускоряется. Anthropic пишет, что уже использует свои модели в исследованиях и разработке, и называет это одновременно преимуществом и угрозой.
Компания опасается, что модели начнут развиваться быстрее, чем она успеет создать и проверить меры защиты. Причём заметить такой рывок вовремя непросто: о темпах прогресса Anthropic судит в основном по запаздывающим данным. В документе прямо сказано, что резкое ускорение разработки компания уже упускала и обнаруживала только задним числом, и это может повториться.
Внутренние оценки и ожидания по будущим моделям, а не по текущим, указывают, что компания может в ближайшее время достичь порога «резко ускоренного прогресса благодаря ИИ» из своей политики ответственного масштабирования. Ни одну из нынешних моделей Anthropic пока не признала превысившей этот порог и продолжает анализировать данные. Компания пообещала опубликовать дополнительные отчёты.
В Anthropic подчеркнули, что не рассчитывают безопасно поручить Claude полностью автономную разработку следующих поколений моделей без значимого контроля со стороны людей. Компания рассматривает изменения в своей политике, чтобы разработка передовых моделей оставалась под контролем человека.
Стоит отметить, что проспект, в котором Anthropic опубликовала все эти данные, служит не только раскрытием информации, но и маркетингом, поэтому заявления о близости такого ИИ могут быть отчасти рекламными. Ранее «Код.ру» рассказывал, что Anthropic готовится к IPO.
Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.
