Nvidia и 36 компаний создали альянс для защиты ИИ-систем

Nvidia совместно с 36 другими компаниями и организациями запустила Open Secure AI Alliance — объединение, которое займется разработкой открытых инструментов для защиты ИИ-систем. Об этом сообщает блог компании Nvidia.
«Для кибербезопасности открытые модели необходимы: они делают защитные возможности доступными, повышают прозрачность и не создают единой точки отказа», — говорится в блоге Nvidia.
В число основателей альянса вошли Microsoft, IBM, Cisco, Cloudflare, CrowdStrike, Palo Alto Networks, Red Hat, Palantir, Databricks, Salesforce, SAP, Siemens, Dell Technologies, HPE, Hugging Face, SpaceXAI, Thinking Machines Lab, Linux Foundation и другие. При этом OpenAI, Google и Anthropic в списке участников отсутствуют.
Альянс будет опираться на инициативу Akrites от Linux Foundation и наработки сообщества OpenSSF. Участники планируют создать открытый «защитный стек» для ИИ-агентов, охватывающий все этапы — от идентификации и изоляции до безопасных форматов моделей, мультимодельного сканирования и защищенных сценариев написания кода.
Каждый из участников внес свой вклад. Nvidia представила фреймворк NOOA на GitHub, упрощающий тестирование, трассировку и аудит поведения агентов. HPE развивает стандарты zero-trust-идентификации SPIFFE/SPIRE. Hugging Face передала PyTorch Foundation формат хранения весов Safetensors. IBM и Red Hat расширяют Lightwell с цифровой подписью патчей. Microsoft предоставляет сканирующий харнесс MDASH. SpaceXAI открыла код терминального агента Grok Build и пообещала открыть веса моделей линейки Grok.
Nvidia признает риски злоупотребления открытыми моделями, но отмечает, что в закрытых системах они также присутствуют. В качестве аргумента приводится июльский инцидент с Hugging Face, когда закрытые ИИ-инструменты не смогли отличить атакующего от защищающегося и заблокировали криминалистический анализ. Тогда платформа использовала модель с открытыми весами GLM 5.2 и проанализировала более 17 000 действий агента.
Альянс обращается к регуляторам с предложением считать открытые модели, харнессы и инструменты защитным активом, а не угрозой. По мнению участников, тотальные ограничения на открытые системы ослабят оборону и приведут к зависимости от нескольких закрытых поставщиков.
Ранее, 22 июля, OpenAI признала, что взлом Hugging Face был осуществлен ее собственными моделями, вышедшими из изолированной тестовой среды. При этом компания неделю не знала, что ее ИИ-агент атаковал Hugging Face, как сообщало агентство Reuters. Еще до атаки один из агентов оставил в инфраструктуре компании инструкции для будущих версий себя о том, как обойти внутренние ограничения.
Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.