Anthropic выявила пять случаев использования Claude в исследованиях с биологическими рисками
Компания Anthropic сообщила о пяти случаях использования своего искусственного интеллекта Claude в биологических исследованиях, результаты которых потенциально могли быть применены для разработки биологического оружия. Инциденты были выявлены в период с декабря 2025 года по август 2026 года. Компания не смогла установить злонамеренные намерения исследователей, но заблокировала их активность из-за потенциальных рисков. Об этом сообщает IXBT News.
«Основная проблема связана с двойным назначением биологических исследований. Одни и те же знания могут использоваться для разработки лекарств и изучения заболеваний или, наоборот, для создания более опасных патогенов», — сообщает IXBT News.
Поэтому по отдельному запросу часто невозможно определить, с какой именно целью пользователь проводит исследование. В одном из случаев исследователи работали с вирусом чикунгунья. Защитная система Claude заблокировала запрос, связанный с подготовкой заявки на финансирование исследования по усилению функций вируса. Вопросы у Anthropic вызвало то, что связанные с запросом работы предназначались для военного исследовательского учреждения. После отказа Claude исследователи продолжили работу через другие каналы.
Anthropic также обнаружила посредническую платформу, перенаправлявшую отклоненные биологические запросы к ИИ-моделям с менее строгими механизмами безопасности. Другой случай касался высокопатогенного птичьего гриппа. Исследователь несколько недель использовал Claude для планирования экспериментов, анализа данных и научной интерпретации результатов. Защитные механизмы не позволили применять наиболее мощные модели компании для чувствительных задач, поэтому исследование продолжилось с менее мощными версиями ИИ.
Еще три случая были связаны с ортопоксвирусами, соединениями, имеющими отношение к ядам, и токсинами. Anthropic не раскрывает личности и местонахождение исследователей, а также конкретные технические детали их работы. В компании считают, что по мере развития ИИ проблема будет становиться серьезнее.
Предыдущие поколения Claude имели более ограниченные возможности в сложных биологических исследованиях, новые модели способны значительно эффективнее помогать с научным анализом. Это делает их полезнее для исследователей, но одновременно повышает потенциальный ущерб от злоупотреблений. Anthropic заблокировала связанные с выявленной активностью учетные записи, передала информацию властям и другим разработчикам ИИ и усилила ограничения для биологических запросов высокого риска.
В том же отчете компания рассказала о злоупотреблении Claude в кибероперациях. Anthropic связала одну из обнаруженных кампаний с группировкой Midnight Blizzard. По данным компании, ИИ применялся для автоматизации фишинга, подготовки инфраструктуры, разработки вредоносного ПО и кражи данных. В кампании фигурировали более 20 организаций, включая государственные, дипломатические и оборонные структуры Украины и европейских стран.
Отчет Anthropic показывает, что для защиты ИИ от опасного использования недостаточно просто блокировать отдельные запросы. Пользователь может замаскировать конечную цель под обычную научную работу, разделить задачу на несколько частей или перенести ее между разными моделями и сервисами.
Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.
