(1 час назад), Редакция Рунет | 👁 420

ГК Softline назвала теневой ИИ и дипфейки главными угрозами кибербезопасности

ГК Softline назвала теневой ИИ и дипфейки главными угрозами кибербезопасности

Стремительное развитие искусственного интеллекта изменило ландшафт киберугроз, и опасность теперь исходит не только от внешних злоумышленников, но и от теневого ИИ внутри компаний. Об этом сообщает «Код Дурова».

Среди главных угроз — умный фишинг и дипфейки. Автоматизация атак привела к тому, что ИИ-боты работают круглосуточно, адаптируются под конкретную жертву и создают персонализированные фишинговые письма без грамматических ошибок. ИИ-сообщение часто становится точкой входа для вируса-шифровальщика, который затем парализует работу компании на долгое время.

Кроме того, особую опасность представляют дипфейки. Например, сотрудник может получить поддельное голосовое сообщение от руководителя с требованием срочно перевести средства или переслать конфиденциальные данные. В таких сценариях не срабатывают традиционные ИБ-инструменты, например, межсетевые экраны, так как атака направлена на людей.

Классическая многофакторная аутентификация (MFA) также не всегда может быть достаточной защитой, так как ИИ-боты могут инициировать массовую рассылку уведомлений, пока уставший сотрудник ошибочно не подтвердит действие*. Системы нового поколения учитывают не ввод кода, а поведение пользователя: ИИ-агент или скрипт, работающий удаленно, не способен воспроизвести микродвижения человека, поэтому система прерывает подозрительную сессию.

Помимо фишинга и дипфейков угрозу для компаний представляют сбои из-за галлюцинаций ИИ. Нейросеть может выдать ложную информацию, которая звучит правдоподобно. Если сотрудник внесет такие данные в юридические или финансовые документы без проверки, это приведет к денежным и репутационным потерям. Еще один вид угроз — утечка конфиденциальных данных. Такие инциденты могут произойти как через использование скомпрометированных моделей, так и из-за ошибок в обработке данных.

Компании в ответ на угрозы порой стремятся полностью запретить сотрудникам использовать нейросети в рабочих процессах. Но тотальные запреты не работают, и сотрудники продолжают работать с ИИ. Часто люди используют публичные нейросети для работы без официального одобрения и контроля со стороны ИТ-отдела, службы информационной безопасности и руководства компании. Такой теневой ИИ может привести к серьезному ущербу.

Важно сместить фокус с запретов на управляемое использование технологий. Информационную безопасность нужно обеспечивать за счет сочетания технических средств защиты и понятной ИБ-политики для работников. Архитектура безопасности должна эволюционировать в сторону концепции нулевого доверия.

Реализуя ИБ-проекты для предприятий, в ГК Softline видят, что большей устойчивости добиваются компании, которые внедряют проактивную защиту самих моделей машинного обучения от специфических угроз. Компании перешли к внедрению специализированных LLM-шлюзов, которые осуществляют контроль информации, загружаемой в нейросеть. Это прокси-серверы, которые становятся «барьером» между сотрудниками и нейросетями, и в режиме реального времени фильтруют промпты. Такие ИБ-инструменты удаляют чувствительную информацию до её отправки вендору. Они также блокируют попытки инъекций, если злоумышленник через внедренного бота пытается получить доступ к внутренним данным.

Кроме того, процессы оценки уязвимостей также нуждаются в трансформации. Классический пентест не выявляет риски атак с использованием ИИ, речь идет об инъекциях промптов или социальной инженерии с применением дипфейков. При моделировании атак целесообразно применять те же инструменты на основе ИИ, которые могут использовать преступники.

Наряду с техническими средствами защиты необходимо внедрять регламенты для сотрудников с четкими инструкциями. Например, в промпты запрещается вносить непубличную информацию (пароли, базы данных работников, код, финансовые документы и т.д.). Любые цифры, ссылки на законы и медицинские советы от ИИ нужно обязательно перепроверять вручную, иначе можно принять неправильное решение. Аналогичная ситуация с написанием кода или скрипта: без проверки существует риск занести в рабочую среду чужие ошибки или уязвимости.

Кроме того, не рекомендуется использовать личные бесплатные аккаунты в нейросетях для рабочих задач. Следует применять корпоративные версии, в которых вендор гарантирует, что загружаемые данные не будут использоваться в обучении публичной модели.

Бизнесу также стоит помнить, что меры регулятора и использование суверенных моделей ИИ упрощают обеспечение информационной безопасности, но не исключают угроз. Необходимо обеспечить в организации постоянный мониторинг трафика на предмет аномалий. Переход к управлению рисками на уровне поведения пользователей и конфигураций моделей обеспечит высокий уровень устойчивости компании.

*Минюст России включил «Действие» в реестр иностранных агентов

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.

Комментарии 0
Зарегистрируйтесь или , чтобы оставлять комментарии.
PFL Advisors оспорила выводы ЦБ по делу о предполагаемом манипулировании через Telegram-каналы