Anthropic представила систему FlashProve для подтверждения подлинности ответов ИИ-моделей
Anthropic представила исследовательскую систему FlashProve, которая должна подтверждать происхождение ответов от модели искусственного интеллекта с помощью криптографических доказательств. Она позволит пользователю проверить, действительно ли результат получен от заявленной модели, а не от другой нейросети, которую незаметно подставили вместо неё. Об этом сообщает IXBT News.
«Разработчики сравнивают механизм с цифровыми подписями электронной почты: получатель может проверить, действительно ли сообщение отправлено указанным автором. В случае с ИИ такая проверка должна защищать от подмены модели даже со стороны самой компании, которая её разработала и обслуживает», — пишет IXBT News.
Например, поставщик сможет незаметно переключить запросы на более дешёвую нейросеть, сократив расходы, или, наоборот, использовать более дорогую модель, чтобы искусственно улучшить результаты тестирования. FlashProve также может пригодиться для проверки заявлений сторонних компаний: разработчик программного обеспечения сможет подтвердить, что его код проверяла на уязвимости именно передовая модель кибербезопасности, а не менее мощная система. Аналогично можно будет удостовериться, что бизнес-план оценивала модель, подходящая для такой задачи.
Для работы FlashProve разработчики моделей должны будут публиковать криптографические «отпечатки» своих нейросетей. Их можно будет сопоставлять с результатами работы и проверять происхождение ответов. При этом отпечатки не раскрывают веса модели — числовые параметры, определяющие её поведение. Это позволяет применять механизм и к коммерческим нейросетям с закрытой архитектурой. Сама проверка спроектирована достаточно лёгкой, чтобы её можно было выполнять на локальном устройстве.
Anthropic опубликовала техническую спецификацию FlashProve и рабочий код отдельных компонентов проекта на GitHub под открытой лицензией. Однако компания пока не собирается внедрять систему ни у себя, ни в других лабораториях. Разработчики подчёркивают, что представили промежуточные результаты и рассчитывают, что другие специалисты изучат механизм и помогут его улучшить.
Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.
