Исследователи из группы «Т-Технологии» разработали единый подход к оценке методов дообучения больших языковых моделей и выяснили, что на качество сильнее всего влияет тип ранжирования ответов. Свою работу они представили на международной конференции по искусственному интеллекту ICML 2026. Об этом говорится в сообщении «Т-Технологий».

«Один из главных выводов – модели лучше учатся выбирать ответ, когда напрямую сравнивают два варианта между собой, а не оценивают каждый по отдельности», — заявил руководитель лаборатории фундаментальных научных исследований искусственного интеллекта группы «Т-Технологии» Даниил Гаврилов.

Ранее сравнивать множество методов дообучения, таких как DPO, ORPO и другие, было сложно из-за разных этапов обучения и настроек. Исследователи из «Т-Технологий» привели их к сопоставимым условиям, что позволило провести объективную оценку.

В ходе экспериментов выяснилось, что методы, где модель напрямую сравнивает два ответа (попарное ранжирование), показали себя лучше. Подходы, где модель оценивает каждый ответ отдельно (поточечное ранжирование), чаще уступали на задачах средней сложности.

Исследователи также показали, что для большинства методов не нужен полный объем данных для первичного дообучения. Уже 5–10% данных позволяют достичь не менее 95% от результата, который модели показывают при использовании полного датасета. Это может снизить стоимость экспериментов и ускорить проверку гипотез.

Результаты работы помогут инженерам точнее выбирать алгоритмы дообучения, особенно при создании узкоспециализированных языковых моделей для таких задач, как краткий пересказ документов, генерация кода или математические рассуждения.

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.