Сбер назвал пять мер защиты саморазвивающихся ИИ-агентов

Эксперты Сбера представили рекомендации по защите саморазвивающихся агентов на базе искусственного интеллекта (ИИ). Такие системы могут самостоятельно менять память, навыки и код, поэтому безопасность базовой ИИ-модели не гарантирует защиту всего агента.

«Для снижения рисков специалисты предлагают изолировать агентов, разделять среды разработки и эксплуатации, а также выносить защитные механизмы за пределы исполняемого кода», — сообщает Ferra.

Дополнительно рекомендуется создать корпоративный реестр навыков с обязательной проверкой инструментов. Также следует запускать сгенерированный код в песочнице с ограничениями по времени, сети, процессору, памяти и файловой системе. Защита должна включать сбор телеметрии и метрик, а также блокировку аномалий в реальном времени. Обновлённая модель угроз Сбера описывает 37 угроз и 51 способ их реализации, включая риски GenAI, ИИ-агентов и мультиагентных систем.

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.