ИИ начали защищать от ИИ: новые системы следят за действиями автономных агентов

Стартапы создают системы, которые следят за действиями агентов и анализируют их процессы, чтобы обнаруживать опасное поведение до того, как оно приведёт к инциденту. Это происходит на фоне атак с использованием автономных ИИ-агентов и опасений по поводу их поведения. Несколько компаний предлагают использовать для защиты те же технологии. Об этом сообщает IXBT News.

Apollo Research разработала Watcher AI — систему наблюдения за работой ИИ-агента. Она проверяет, не выполняет ли агент вредоносные действия, не пытается ли украсть данные и не удаляет ли важную информацию без разрешения. Watcher работает в несколько этапов: в ходе мониторинга проверяются действия агента, а при подозрительном поведении передаются более мощной модели для детального анализа. После этого решение передаётся человеку, который должен одобрить или отклонить предложенное действие*.

Другой подход развивает Goodfire: компания анализирует не только результаты работы, но и внутренние состояния модели во время её работы.

«После атаки на Hugging Face глава Goodfire заявил, что компания усиливает работу над интерпретацией действий ИИ-агентов, в том числе для задач кибербезопасности и биоинженерии», — сообщает IXBT News.

При этом сами цепочки рассуждений и их краткие сводки могут использоваться для дистилляционных атак, когда разработчик обучает свою модель на выводах другой системы, поэтому некоторые разработчики, напротив, намеренно делают такие сводки менее понятными. Мониторинг остаётся не единственным вариантом. Для контроля автономных агентов допускается использовать подробные журналы их действий и анализировать логи традиционными средствами кибербезопасности без дополнительного слоя агентов.

*Минюст России включил «Действие» в реестр иностранных агентов

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.