16 ноября понедельник
(12 минут назад), Редакция Рунет | 👁 179

Alibaba выпустила Qwen4-Max с 2,4 трлн параметров и контекстом на 1 млн токенов

Alibaba представила флагманскую ИИ-модель Qwen4-Max на новой архитектуре Qwen4 с контекстным окном в 1 млн токенов. У модели 2,4 трлн параметров, из которых на каждый токен задействуется 71 млрд. Об этом сообщает «Код Дурова».

«Это архитектура «смесь экспертов« (MoE): для каждого запроса включается только часть сети. Ещё 328 млрд параметров приходится на отдельный слой N-грамм-эмбеддингов, который запоминает типичные сочетания токенов. Модель изначально понимает изображения», — пишет «Код Дурова».

Среди главных изменений архитектуры — гибридное внимание: три слоя Gated DeltaNet сжимают историю диалога в состояние фиксированного размера, а слой Qwen Sparse Attention выбирает из контекста только нужные фрагменты, что удешевляет работу с длинными текстами. Gated Residual — четыре параллельные остаточные связи с управляемыми «вентилями» чтения и записи — улучшают передачу информации между слоями. По данным Alibaba, за всё обучение модели не было ни одного резкого скачка ошибки.

По сравнению с Qwen3.8-Max новинка тратит меньше токенов на те же задачи: на 24–35% в собственном тесте Work360 и почти вдвое в Terminal-Bench 4.0. Цены на API тоже снизили, особенно на кешированный ввод. В Work360 средняя стоимость задачи упала с $4,43 до $1,67, то есть на 62%.

В QwenCloud миллион входных токенов Qwen4-Max стоит $1,5, а миллион выходных — $4,5. Токены, которые модель берёт из кеша, обходятся в 20 раз дешевле: $0,075 за миллион. Создание кеша вручную стоит $1,875 за миллион токенов при хранении пять минут и $3 при хранении час. На вход модель принимает до 991 000 токенов, а за один ответ выдаёт до 131 000, в режиме рассуждений до 262 000.

В сравнении с Claude Opus 5.5, GPT-6.1-Sol, GPT-6 Astra и Kimi K3.1 Qwen4-Max лидирует в агентном программировании DeepSWE (75,7), юридическом тесте HLAB-Vals (21,3), долгих задачах Agents’ Last Exam (46,7) и биоинформатике BioMysteryBench (85). Заметно отстаёт она в Terminal-Bench 4.0 (48,5 против 67,2 у Kimi K3.1), ProgramBench (31,5 против 65 у Opus 5.5) и Humanity’s Last Exam (51,7 против 59,8). Все результаты — данные самой Alibaba, независимых проверок пока нет.

Компания показала, как модель работает в Blender, собирает игры на Unreal Engine, Unity и Godot, проектирует автомобильные производственные линии и анализирует медицинские карты. Вместе с моделью Alibaba открыла код плагина Live Delivery для долгих задач: модель рано выдаёт первую рабочую версию результата, а затем улучшает её, и пользователь может вмешаться и поменять направление на любом этапе.

Qwen4-Max уже доступна через API в QwenCloud, а также в сервисах QwenStudio, QwenWork и Qoder. Сама Max — закрытая модель, но младшие модели семейства Qwen4 Alibaba обещает выпустить в открытом доступе.

В сентябре глава Alibaba Эдди Ву пообещал обучить модель на 5–10 трлн параметров, как ранее рассказывал «Код.ру». Вышедшая Qwen4-Max по числу параметров осталась на уровне Qwen3.8-Max.

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.

Комментарии 0
Зарегистрируйтесь или , чтобы оставлять комментарии.
БПЛА атаковали склад Ozon на юге России