Яндекс выпустил тест на логическое мышление нейросетей

Команды Яндекс и ШАД (Школы анализа данных) открыли доступ к MTGBench — бенчмарку для оценки способности нейросетей решать сложные задачи с помощью последовательных рассуждений. Инструмент опубликован на GitHub, а научную статью о нём приняли на конференцию EMNLP 2026. Об этом сообщает IXBT News.

В основу MTGBench легли семь текстовых игр, включая «Поле чудес», «Данетки», «Элиас» и Wordle.

Эти игры позволяют проверить, насколько хорошо модели учитывают новые вводные, используют предыдущие ответы, планируют дальнейшие действия и избегают противоречий. Оценка учитывает не только правильность результата, но и количество шагов, необходимых для его получения. Все задания представлены на русском и английском языках.

Разработчики протестировали 16 нейросетей, включая модели Qwen, Gemini и GPT. Эксперименты показали, что режим рассуждений особенно полезен в задачах с буквами, символами и подсказками. В испытаниях на извлечение знаний и понимание смысла прирост оказался менее выраженным и зависел от модели. Успех в одной игре не гарантировал высоких результатов в других. Нейросети хуже справлялись с заданиями на русском языке, чем на английском.

При сравнении с людьми сильнейшие модели с включённым режимом рассуждений получили более высокие средние баллы во всех семи играх. Бенчмарк предназначен для разработчиков и исследователей, которым необходимо сравнивать модели и выбирать подходящие решения для конкретных задач.

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.