DeepSeek-V4.1-Flash получила 552 млрд параметров и контекст до 1 млн токенов
DeepSeek представила архитектуру DeepSeek-V4.1-Flash, которая ориентирована на работу с очень длинными контекстами и ИИ-агентами. Модель имеет 552 млрд параметров, поддерживает текст и изображения, а также может работать с контекстом до 1 млн токенов. Её кэш занимает около 890 байт на токен, что в 4 раза меньше, чем у DeepSeek-V4-Flash. Объём постоянно сохраняемого кэша сокращён в 8 раз.
«Проблема, которую решает DeepSeek, возникает из-за механики работы моделей с длинным контекстом», — сообщает IXBT News.
KV-кэш хранит промежуточные данные уже обработанных токенов, чтобы системе не приходилось вычислять их заново. Однако при больших объёмах контекста он начинает занимать значительную часть быстрой памяти HBM. Сохранение кэша для повторного использования требует SSD или оперативной памяти и высокой пропускной способности при переносе данных. В результате даже снижение вычислительной нагрузки не всегда позволяет пропорционально уменьшить стоимость работы длинноконтекстных агентов.
В DeepSeek-V4.1-Flash переработали несколько уровней системы. Архитектура Causal Encoder-Decoder позволяет при первоначальной обработке запроса активировать около 8 млрд параметров на токен вместо 16 млрд при последующей генерации. Механизм Compressed Sparse Attention 2 повторно использует часть KV-кэша между слоями модели, а его данные дополнительно хранятся в формате FP4. Для постоянно сохраняемого кэша используется механизм SWA Bounded Replay: вместо хранения всех необходимых промежуточных состояний система при необходимости восстанавливает их повторным вычислением небольшого участка контекста.
Модель предварительно обучали на мультимодальном массиве объёмом 45 трлн токенов, после чего дообучали для задач рассуждения, программирования и работы в качестве агента. По заявлению DeepSeek, базовая версия V4.1-Flash при 1/3 общего числа параметров и 1/4 активируемых параметров показывает результаты на уровне DeepSeek-V4-Pro-Base и превосходит её на 5–10% на части отложенных тестов. На агентских тестах модель сопоставима с рядом закрытых передовых моделей, хотя авторы признают сохраняющийся разрыв на научных задачах, требующих экспертных знаний.
Главный результат DeepSeek-V4.1-Flash в том, что рост длины контекста перестаёт так сильно увеличивать стоимость его обслуживания. По расчётам авторов, увеличение контекста в 256 раз — с 4 тыс. до 1 млн токенов — повышает вычисления на один генерируемый токен лишь на четверть. В сочетании с сокращённым KV-кэшем это должно сделать длительные агентские сценарии заметно дешевле в развёртывании и позволит использовать их в более широком круге практических задач.
Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.
