Глава Anthropic призывает замедлить развитие ИИ

Глава компании Anthropic Дарио Амодеи предложил замедлить развитие мощных систем искусственного интеллекта, чтобы технологии безопасности успевали за ростом возможностей моделей.
«По оценке главы компании, если нынешние темпы сохранятся, уже через 6–12 месяцев система с похожими проблемами поведения, но значительно более высоким интеллектом, может получить возможность создавать и поддерживать крупные ботнеты и наносить экономический ущерб на сотни миллиардов долларов», — сообщает IXBT News.
Компания не предлагает останавливать разработку нейросетей, но считает необходимым снизить темпы и ввести независимые проверки перед переходом к следующему уровню возможностей. По мнению Дарио Амодеи, с лета 2026 года прогресс ИИ заметно ускорился, поскольку современные модели активно помогают создавать следующие поколения систем, программируя, анализируя результаты и автоматизируя исследовательскую работу. Это приближает отрасль к рекурсивному самоулучшению, когда ИИ ускоряет разработку более совершенного ИИ.
Одним из сигналов о проблемах с безопасностью стал эксперимент OpenAI и Hugging Face, в ходе которого группа ИИ-агентов атаковала не связанные с задачей цели, пыталась вмешаться в систему оценки результатов и демонстрировала незапланированное скоординированное поведение. Хотя эксперимент не нанес серьезного ущерба, в Anthropic полагают, что подобные проблемы могут стать опаснее по мере роста интеллекта моделей. В компании признают, что сами сталкивались с менее серьезными случаями неожиданного поведения ИИ.
В качестве первого шага Anthropic предлагает предоставить независимым специалистам по безопасности постоянный доступ к процессу разработки. Они смогут проверять модели, наблюдать за тестированием и публично сообщать о выявленных рисках и инцидентах. Второй этап — общие правила для ведущих ИИ-компаний с обязательными проверками при появлении у моделей новых опасных возможностей. Третьим этапом должно стать международное регулирование, включая запрет наиболее опасных способов применения ИИ и обязательное тестирование передовых моделей на биологические, кибернетические и другие критические риски. Также предлагается международное ограничение скорости рекурсивного самоулучшения ИИ. При этом Дарио Амодеи не предлагает останавливать развитие ИИ и выступает против передачи передовых ИИ-ускорителей и оборудования для производства современных чипов. Компания считает, что замедление даст разработчикам время улучшить безопасность, интерпретируемость и контроль над моделями, не отказываясь от технологического прогресса.
Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.