Исследователи из Университета штата Нью-Мексико разработали атаку GhostWriter, которая позволяет незаметно влиять на долгосрочную память ИИ-агентов через письма и календари. Об этом сообщает IXBT News.

Исследователи из Университета штата Нью-Мексико представили атаку GhostWriter, которая позволяет незаметно влиять на долгосрочную память ИИ-агентов. Вместо взлома самой языковой модели злоумышленник внедряет ложные сведения в память системы, из-за чего ассистент может принимать неверные решения спустя недели или месяцы после атаки.

«GhostWriter работает в два этапа. Сначала злоумышленник отправляет обычное письмо, приглашение в календарь или другой внешний контент со скрытыми инструкциями. Если агент автоматически анализирует такие данные и сохраняет их в память, вредоносная информация остаётся «спящей». Позже, когда пользователь отправляет обычный запрос, агент извлекает отравленную запись и может выполнить действия, выгодные атакующему», — рассказали исследователи.

Эксперименты показали, что в среднем успешность внедрения вредоносной памяти составила около 98%, а вероятность её активации при последующих запросах — около 60%. Атака может использоваться для подмены информации, утечки конфиденциальных данных, скрытой передачи пользовательских файлов или выполнения действий за пределами разрешённых полномочий.

Авторы исследования предложили защитную архитектуру Agentic Memory Sentry (AM-Sentry). Система проверяет данные перед сохранением в память и анализирует извлекаемые воспоминания перед передачей их языковой модели. В наиболее строгой конфигурации AM-Sentry снизила эффективность GhostWriter до менее чем 12%, при этом почти не повлияв на полезные функции ИИ-агента.

Исследователи отмечают, что традиционные методы защиты от «промпт-инъекций» не подходят против атак на память: вредоносные записи могут выглядеть как обычная информация, а не как явные команды. По мере того как ИИ-агенты начинают управлять электронной почтой, календарями, кодом и бизнес-процессами, безопасность их памяти становится отдельным критическим приоритетом.

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.