Nvidia разработала защиту от вышедших из-под контроля ИИ

Компания Nvidia создала платформу для защиты от вышедших из-под контроля ИИ-агентов. Выпуск платформы произошел после того, как OpenAI, Anthropic, Meta* и Google сообщили о случаях выхода моделей ИИ из-под контроля и попытках взлома других компаний. Об этом сообщает CNBC.

«Каждый инцидент безопасности уникален, и мы должны рассматривать все их в деталях. Судя по тому, что мы знаем, Hugging Face сообщила о более чем 17 000 агентов, атакующих их инфраструктуру, что продолжалось дни и недели», — сообщил вице-президент по корпоративному ИИ в Nvidia Джастин Бойтано.

В Nvidia заявили, что новая платформа могла бы предотвратить июльский инцидент OpenAI с Hugging Face, когда модели компании получили доступ к интернету и взломали Hugging Face. Бойтано отметил, что предложение Nvidia является инженерным решением проблемы безопасности агентов.

Один из компонентов платформы — Nvidia OpenShell, который работает на центральных процессорах и устанавливает ограничения на возможности ИИ-агентов. Также компания анонсировала Sentry, которая работает на сетевых чипах и следит за работой моделей. Часть программного обеспечения имеет открытый исходный код, и партнеры Nvidia смогут создавать продукты на его основе.

*Признана экстремистской и запрещена в России

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.