Университет Индианы займётся поиском уязвимостей в открытых ИИ-моделях

Национальный научный фонд США выделил грант в $1,18 млн Университету Индианы. Средства направлены на проект по защите научных исследований от угроз, связанных с использованием ИИ-моделей с открытым исходным кодом. Об этом сообщает IXBT News.

Руководитель проекта Сагар Самтани подчёркивает: открытость кода — одновременно главная сила и главная уязвимость, поскольку для обучения под конкретную отрасль модели должны поглощать огромные объёмы чувствительных данных.

Научное сообщество активно использует открытые ИИ-инструменты для анализа данных, поиска закономерностей и ускорения открытий. Открытые репозитории на GitHub и Hugging Face, делающие технологию доступной, создают новые векторы атак. Среди рисков — случайная утечка конфиденциальных данных пациентов, кража интеллектуальной собственности, встроенные «чёрные ходы» и вредоносные инъекции в промптах, способные заставить модель передавать информацию третьим лицам.

Проект будет реализован в три этапа. Сначала исследователи определят наиболее популярные в научной среде открытые ИИ-модели и выявят их уязвимости. Затем будут разработаны инструменты с элементами ИИ, которые помогут учёным оценивать риски, подбирать более защищённые альтернативы и генерировать патчи для устранения слабых мест. Тестирование пройдёт в партнёрстве с платформой Jetstream2 — национальным облачным сервисом NSF для науки и инженерии. К проекту привлечены эксперты по кибербезопасности из нескольких подразделений университета, а также Объединённого центра киберопераций для высшего образования OmniSOC.

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.