Компания Voyage AI выпустила новую модель voyage-code-4, предназначенную для семантического поиска по коду. Модель доступна по цене 0,12 доллара за миллион токенов, что на треть дешевле предыдущей версии voyage-code-3.

«Главное отличие — модель обучали не на классических парах «код + докстринг«, а на реальных merged pull request’ах, которые чинили баги», — сообщает «Код Дурова».

Разработчики отмечают, что модель обучалась на реальных запросах, собранных из issue-fixing PR, тысячах репозиториев и сотнях языков программирования. Объём обучающего корпуса значительно превышает объём voyage-code-3. Модель поддерживает Matryoshka-эмбеддинги, позволяя получать векторы на 2048, 1024, 512 или 256 измерений для регулировки скорости и точности без переобучения. Также реализовано квантование с поддержкой float32, int8 (знакового и беззнакового) и бинарной точности, что сокращает расходы на хранение векторов. Контекст модели составляет 32 000 токенов.

Voyage AI сравнила voyage-code-4 с конкурентами, такими как Cohere Embed v4, Gemini Embedding 2, OpenAI v3 large и voyage-code-3, используя два набора данных: новый бенчмарк агентного ретривала и 28 датасетов, применяемых для оценки voyage-code-3. Метрика NDCG@10 использовалась для оценки релевантности топ-10 документов по косинусной близости.

Модель уже доступна через Voyage API и Atlas Embedding and Reranking API в MongoDB Atlas. Первые 200 миллионов токенов предоставляются бесплатно. Отдельного чата или приложения нет, voyage-code-4 встраивается в продукты по API-ключу и предназначена для разработчиков и команд, создающих RAG-пайплайны и кодовых агентов.

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.