Anthropic отключит ИИ-агентам интернет
Anthropic решила отключить доступ к открытому интернету во всех внутренних тестах ИИ-агентов. Это продлится, пока компания не сможет надёжно отслеживать и блокировать нежелательное поведение моделей. Решение приняли после серии случаев, когда Claude обходил ограничения, использовал уязвимости сайтов и выполнял действия, которых от него не ожидали.
В одном из тестов Claude не смог напрямую выполнить научный расчёт и начал искать обходной путь. Модель обнаружила на сервере университета скрипт с уязвимостью, скопировала его код, нашла возможность выполнить команды на сервере и воспользовалась ей для завершения задания.
В других случаях ИИ получал доступ к данным через найденные токены или обходил ограничения собственного инструмента с помощью сервисов сокращения ссылок. Самый необычный эпизод произошёл с Claude Haiku 4.5. Во время теста модель попала на страницу о нераскрытом убийстве и отправила через форму полиции Филадельфии выдуманную информацию о якобы замеченном подозреваемом. Сообщение автоматически попало в спам и не дошло до следователей.
В Anthropic подчёркивают, что последствия всех выявленных случаев были минимальными, а сами инциденты компания считает менее серьёзными, чем обнаруженные летом эпизоды с несанкционированным доступом Claude к сторонним системам. При этом часть случаев затронула сайты федеральных, региональных и местных органов власти США. О них компания уведомила соответствующие ведомства и Белый дом.
Теперь некоторые публичные тесты Anthropic вообще перестанет запускать, а другие переведёт в офлайн-среду или перестроит так, чтобы они не обращались к реальным сайтам. Компания также усилила ограничения инструментов доступа в интернет и создала систему, которая автоматически обнаруживает и блокирует подобные действия.
Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.
