Разработчики ИИ готовятся к катастрофам из-за искусственного интеллекта
Ключевые разработчики искусственного интеллекта уже проводят учения на случай возникновения катастрофы в результате действий ИИ. Руководители компаний OpenAI и Anthropic разрабатывают планы действий на случай масштабного кризиса, связанного с использованием ИИ.
Как сообщает Axios, в отрасли опасаются, что крупный инцидент может нарушить работу банков, интернета, энергетических систем и другой критически важной инфраструктуры.
Некоторые представители индустрии допускают, что серьёзный инцидент может произойти в ближайшие 6–12 месяцев. Однако это оценка потенциальных рисков, а не подтверждённый прогноз неизбежной катастрофы. Одним из главных источников угрозы считают кибератаки с применением ИИ. Такие инструменты могут помочь злоумышленникам автоматизировать отдельные этапы атак и сделать их более масштабными. В результате под угрозой могут оказаться финансовые сервисы, интернет-соединения и системы жизнеобеспечения.
Компании опасаются не только технических последствий. Первый крупный инцидент, напрямую связанный с небезопасным использованием ИИ, может резко снизить доверие общества к технологии и её разработчикам. Под общественным и политическим давлением могут оказаться руководители OpenAI и Anthropic, а также администрация президента США Дональда Трампа из-за ее подхода к регулированию отрасли.
OpenAI подтвердила, что регулярно проводит учения, во время которых сотрудники рассматривают различные кризисные сценарии. В компании подчеркнули, что такие события не считаются неизбежными, однако подготовка позволяет заранее продумать возможные действия. Anthropic отказалась комментировать информацию Axios.
В качестве примера потенциальной угрозы издание приводит предполагаемую кибератаку на финансовые организации Южной Кореи. По сообщениям, злоумышленник из Китая использовал инструменты ИИ, включая модели DeepSeek, для кражи данных десятков тысяч банковских клиентов. Согласно информации CrowdStrike, он также обращался к Claude Code за помощью в поиске площадок для продажи похищенной информации.
Другой сценарий связан с автономными ИИ-агентами, которые могут выйти за пределы тестовой среды или начать выполнять непредусмотренные действия. Это уже не раз случалось с агентами OpenAI и Anthropic. В случае крупного инцидента в США может усилиться давление в пользу более строгого регулирования ИИ. Среди возможных мер обсуждаются временная приостановка разработки наиболее мощных моделей, ограничения на создание сверхинтеллекта и внедрение механизмов экстренного отключения продвинутых систем. Однако универсальный способ отключения вряд ли сможет охватить все модели, особенно распространяемые с открытыми весами.
Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.
