Разработчик искусственного интеллекта Anthropic призвал отрасль замедлить создание новых моделей из-за рисков их рекурсивного саморазвития.

В компании считают, что модели находятся на пороге саморазвития, которое может нести риски для человечества. Если системы станут способны сами создавать себе подобных, их безопасность и мониторинг станут намного важнее.

Anthropic выделяет три ступени эволюции больших моделей с 2023 года — чат-бот, агент-помощник и автономный агент. Следующим этапом станет замкнутая петля разработки, когда агенты смогут самостоятельно создавать и обучать собственные модели.

Сейчас в модели Claude 80% кода сгенерировано самим ИИ. По оценкам компании, до 100% остался один-два года.

В Anthropic признают, что добровольные ограничения маловероятны, поскольку любой участник гонки, отказавшийся от паузы, получит преимущество. Компания готовится к IPO с оценкой около $1 трлн и позиционирует себя как наиболее ответственного разработчика ИИ.

«Сейчас все выглядит так, что у отрасли есть педаль газа, но нет педали тормоза», — заявил сооснователь Anthropic Джек Кларк.

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.