ИИ-детектор жизни обманули на 100% за 150 мутаций
Учёные Университета штата Мичиган провели эксперимент с цифровыми организмами на платформе Avida, в ходе которого нейросеть, обученная отличать «живые» программы от случайных последовательностей, была обманута. Изначально классификатор достигал точности 99,97% на тестовой выборке, допустив лишь две ошибки на 7 236 примеров. Об этом сообщает IXBT News.
«Модель уверенно принимала случайные последовательности кода за живые, когда алгоритм подкручивал их под её ожидания — и это поведение оказалось общим для всех протестированных типов нейросетей», — сообщает IXBT News.
Затем простой алгоритм начал изменять случайные цепочки из 9 символов, оставляя только те изменения, которые повышали уверенность модели в наличии живого организма. К 150-му запросу все 1 560 запусков достигли 100% уверенности, хотя генерировались комбинации, не способные к саморепликации.
Цепочки-обманки группировались вокруг нескольких типовых шаблонов, похожих на настоящие живые последовательности, но с нарушениями в ключевых позициях. Модель выучила грубую «схему живого кода» и не заметила, что её можно имитировать, не воспроизводя способности к размножению.
Проблема не ограничивается конкретной архитектурой. В дополнительных экспериментах протестировали различные методы, включая CNN, трансформеры, метод опорных векторов, случайный лес, XGBoost и логистическую регрессию — ни один метод не устоял. Жадный поиск, стохастический поиск и эволюционные алгоритмы также воспроизводили эффект, подтверждая, что уязвимость порождена фундаментальным свойством методов, обучающихся на эмпирическом распределении данных.
Для астробиологии это тревожный сигнал, поскольку внеземные образцы почти наверняка будут «за пределами распределения» всего, на чём тренировались земные детекторы. Это увеличивает риск получения высокоуверенного ложного сигнала о жизни. Авторы подчёркивают, что в работе использовались молекулярные последовательности, а не реальные масс-спектры, поэтому прямой перенос результатов на py-GC-MS требует отдельной проверки.
Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.
