Компания Сбер открыла доступ к библиотеке SIRIN, которая выявляет вымышленные и неподтверждённые факты в ответах языковых моделей и ИИ-агентов. Решение объединяет разные методы проверки, которые разработчики могут сравнивать, комбинировать и выбирать для своих задач. Библиотека доступна всем желающим для использования в проектах. Об этом сообщает Ferra.

«Для повышения надёжности работы моделей мы представили библиотеку SIRIN, которая анализирует обоснованность их ответов. Этот подход уже показал свою эффективность внутри компании в сервисах для работы с клиентами. Мы приняли решение открыть SIRIN для всех компаний, чтобы способствовать развитию рынка. Библиотека доступна всем желающим для использования в своих проектах», — сообщает Ferra.

Инструмент анализирует как ответ модели целиком, так и отдельные фрагменты текста, указывая участки с ошибками или неподтверждёнными сведениями. SIRIN также позволяет заранее оценить, достаточно ли у ИИ-агента информации для подготовки ответа. Это даёт возможность не только выявлять ошибки, но и предотвращать их, запрашивая дополнительные данные или отказываясь от формирования неподтверждённого ответа.

В основе библиотеки лежат исследования Сбера в области детекции галлюцинаций. Учёные разработали метамодели, которые повышают точность обнаружения ошибок почти на 30%, используя для обучения 250 примеров.

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.