Создатель ChatGPT выпустил модель Jev для быстрых решений без текста
Стартап TypeSafe AI представил модель Jev, которая не относится к большим языковым моделям (LLM) и не генерирует текстовые ответы. Вместо этого Jev выдаёт заранее заданные вероятностные решения. Об этом сообщает IXBT News.
«Большие языковые модели слишком сильно оптимизированы под человеческий язык. Это ограничивает их применение в автоматизации, где программам чаще нужны не тексты, а конкретные решения», — сообщает IXBT News со ссылкой на Диогу Алмейду, бывшего исследователя OpenAI.
Алмейда, участвовавший в создании ChatGPT, два года назад основал TypeSafe AI. Модель Jev, разработанная его компанией, выдаёт вероятности заранее определённых решений, что делает её быстрее и дешевле. Заданный набор вариантов исключает галлюцинации, поскольку Jev не генерирует произвольный текст. Компания измеряет входные токены миллиардами, а выходные делает бесплатными. Высокий интерес разработчиков привёл к временным перебоям в работе API TypeSafe из-за нагрузки.
В Vercel после замены модели OpenAI на Jev проверка инструкций стала выполняться в 5–18 раз быстрее и с большей точностью. В другом тесте Jev классифицировала деловые письма немного менее точно, чем Gemini, но оказалась в 10–20 раз дешевле. Разработчики также оценили, что модель возвращает числовую вероятность своего решения.
Jev может использоваться как вместо LLM, так и совместно с ними, например, для проверки действий ИИ-агентов, обнаружения попыток обхода ограничений и отслеживания последовательностей действий. Ещё один вариант применения — маршрутизация запросов, когда отдельная модель в реальном времени решает, достаточно ли для конкретной задачи дешёвой системы или требуется более мощная.
Архитектуру Jev TypeSafe подробно не раскрывает. Модель обучается исключительно на синтетических данных с помощью собственного подхода, который компания называет «обучением с подкреплением на основе калиброванных решений». Название Jev отсылает к экономисту Уильяму Стэнли Джевонсу и парадоксу Джевонса, который гласит, что снижение стоимости ресурса может привести к росту его использования. TypeSafe рассчитывает применить тот же принцип к машинному обучению, сделав простые интеллектуальные решения настолько дешёвыми и быстрыми, чтобы их можно было встраивать непосредственно в программное обеспечение. Компания планирует выпускать новые версии модели для других модальностей.
Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.
