Xiaomi выпустила ИИ-модель для таблиц, работающую без дообучения
Xiaomi представила модель искусственного интеллекта Xiaomi-TabLDM, которая предназначена для решения задач классификации и регрессии с использованием примеров из размеченного датасета. Модель не требует отдельного обучения под каждую задачу, предсказывая значения для новых строк на основе размеченных данных как контекста. Об этом сообщает IXBT News.
При прогнозировании модель по умолчанию объединяет результаты восьми прогонов с разным перемешиванием признаков и предобработкой данных, сообщает IXBT News.
Компания выпустила два варианта модели: классификатор с 70 млн параметров и регрессор с 71 млн параметров. Xiaomi-TabLDM рассчитана на таблицы, содержащие от сотен до десятков тысяч строк и от нескольких до более чем ста столбцов.
Архитектура модели состоит из трёх этапов. Сначала она кодирует группы столбцов с помощью Set Transformer, затем собирает их представления в вектор строки, а после обрабатывает строки в контексте обучающих примеров. Тестовые строки могут обращаться к обучающим, но не друг к другу. В последних восьми блоках используется смесь экспертов, где для каждого токена выбирается один из двух маршрутизируемых экспертов и общий эксперт. Для ускорения повторных запросов предусмотрен KV-кэш, а крупные таблицы можно размещать в оперативной памяти или на диске.
В тестах TabArena на регрессионных задачах, включающих 13 наборов данных, Xiaomi-TabLDM набрала 1900 очков Elo, уступив только TabFM с 2019 очками. В общем рейтинге из 51 набора данных модель заняла четвёртое место с 1659 очками, находясь рядом с AutoGluon 1.5 (1662) и TabPFN-3 (1650). По данным разработчиков, этап обучения fit проходит на 82% быстрее, чем у TabFM, а предсказание — на 68% быстрее.
У модели есть ограничения: время инференса квадратично растёт как с числом строк, так и с числом столбцов, что может заметно повышать вычислительные затраты при увеличении таблицы. Тем не менее, Xiaomi-TabLDM предлагает альтернативу традиционному подходу, при котором для каждой табличной задачи требуется отдельное обучение модели. Модель доступна для использования и модификации под лицензией Apache 2.0.
Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.
