Искусственный интеллект требует защиты как отдельная инфраструктура
Искусственный интеллект активно интегрируется в корпоративные процессы, помогая в подготовке документов, анализе договоров, поиске информации, обработке обращений, написании кода, сборе отчётов и поддержке сотрудников. Однако вместе с пользой компании столкнулись с новыми рисками, поскольку ИИ-системы работают не только с открытой информацией.
«По мнению экспертов компании UDV Group, главный риск для бизнеса заключается не в самом факте применения ИИ, а в том, что модели, агенты и внешние сервисы получают доступ к данным без полноценной инвентаризации, ролевой модели, мониторинга и понятной ответственности за результат», — сообщает «Код Дурова».
В запросы, обучающие выборки, RAG-хранилища, корпоративные базы знаний и промпты могут попадать персональные данные, коммерческая тайна, финансовые показатели, сведения о клиентах, внутренняя переписка, данные об инфраструктуре, токены, пароли и другие чувствительные сведения. Если такой контур не контролировать, ИИ может стать новым каналом утечки. Рынок осознаёт необходимость защиты ИИ, но единые требования, инструменты, специалисты и практики пока только формируются.
Для классических ИТ-систем местонахождение данных понятно: база, файловое хранилище, почта, CRM, документооборот или репозиторий кода. В ИИ-системах границы сложнее, так как информация может находиться в обучающей выборке, дообученной модели, векторной базе, документах RAG, пользовательском запросе, системном промпте или в памяти ИИ-агента. Это усложняет защиту конфиденциальной информации, требуя контроля всего пути её использования.
Сотрудник может загрузить конфиденциальные данные в открытый ИИ-сервис, не воспринимая это как утечку, что фактически передаёт информацию в систему с неизвестной архитектурой и правилами обработки. Особенно опасны сервисы без чётких договорных обязательств по безопасности. Крупные провайдеры обычно имеют зрелые процессы защиты, но на рынке много небольших ИИ-сервисов, которым пользователь может добровольно передать конфиденциальные данные.
Новые риски усиливаются с появлением ИИ-агентов, которые могут взаимодействовать с корпоративными системами. К ИИ-агентам следует применять принцип минимально необходимых прав, аналогично сотрудникам. Для них необходимы авторизация, ролевые модели, журналирование действий, контроль запросов и ограничение доступных источников.
Развёртывание ИИ внутри собственной инфраструктуры не гарантирует автоматическую безопасность. Открытые модели доступны атакующим, а многие open-source-модели не имеют встроенных механизмов корпоративной защиты. Облачные ИИ-сервисы также требуют внимательного изучения условий договора и режима обработки информации. Выбор между локальной и облачной моделью зависит от задачи, категории данных, требований регуляторов, зрелости команды ИБ и способности компании сопровождать выбранную архитектуру.
Корпоративные ИИ-сценарии часто строятся на RAG, где модель находит релевантные документы в корпоративной базе знаний. Документы и эмбеддинги в RAG могут содержать конфиденциальную информацию. RAG-система должна учитывать права доступа на уровне источников, чтобы ИИ не использовал документы, к которым у пользователя нет доступа. Также важен контроль качества источников.
Системные и служебные промпты могут содержать сведения об архитектуре, организационной структуре, доступных инструментах, внутренних системах, именах пользователей, токенах, паролях и других секретах. Это опасная привычка, так как промпт может быть раскрыт. Служебные инструкции для ИИ должны проектироваться без паролей, ключей, токенов и лишних подробностей об инфраструктуре. Защита от джейлбрейков становится обязательной частью архитектуры.
Безопасность ИИ требует сопровождения на всех этапах жизненного цикла, для чего формируется подход MLSecOps. Он наследует многое от DevSecOps, но работает с более сложными артефактами, включая датасеты, модели, эмбеддинги, пайплайны обучения, метрики качества, поведение модели, промпты, агенты и пользовательские взаимодействия.
Пентест ИИ должен отличаться от обычного, учитывая модель, промпты, источники данных, RAG, API, агентов, права доступа, защиту от джейлбрейков, возможность извлечения конфиденциальной информации, устойчивость к манипуляциям и качество реакции на опасные запросы. Анализ защищённости ИИ-систем должен включать технические методы и элементы социальной инженерии.
Главная задача защиты ИИ — сделать технологию безопасной и управляемой. Для этого необходимы понятные правила работы с данными, контроль доступа, мониторинг сообщений, проверка результатов, участие человека в ключевых точках принятия решений и регулярный анализ уязвимостей. Важно не подменять безопасность доверием к технологии, так как ответственность за данные, инфраструктуру и последствия остаётся на компании. Развитие ИИ невозможно без доверия, которое появляется там, где система объяснима, защищена от утечек, ограничена по правам, проверяется на устойчивость и встроена в процессы безопасности.
Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.
