Nvidia представила двухуровневую систему безопасности для контроля ИИ

Nvidia представила платформу безопасности с открытым исходным кодом, призванную предотвратить несанкционированные действия и побег автономных ИИ-агентов из тестовой среды. Комплекс под названием Open Agent Safety Platform состоит из двух программных инструментов, работающих на аппаратном обеспечении компании. Они призваны отслеживать поведение агентов в режиме реального времени и принудительно останавливать их работу при выходе за рамки заданных правил.

«В Nvidia утверждают, что новая система помогла бы предотвратить недавний резонансный взлом платформы Hugging Face, совершённый моделями OpenAI», — сообщает «Код Дурова».

Инженерное решение Nvidia состоит из двух компонентов. OpenShell — программный инструмент с открытым исходным кодом, работающий на процессорах Nvidia Vera. Он позволяет задавать жёсткие границы доступа для ИИ-агентов и следить за их соблюдением в реальном времени. Nvidia Sentry — система дополнительного мониторинга, развёрнутая на процессорах обработки данных BlueField (DPU). Она выявляет аномальное поведение моделей и способна изолировать подозрительного агента за миллисекунды. Вице-президент Nvidia по корпоративному ИИ Джастин Бойтано отметил, что такой подход позволит индустрии безопасно тестировать даже самые передовые модели.

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.