Alphabet, материнская компания Google, разрабатывает серверный чип Frozen v2, который значительно повысит энергоэффективность её ИИ-моделей Gemini. Новый ускоритель может сделать работу Gemini в 6–10 раз эффективнее по числу сгенерированных токенов на единицу затраченной энергии. Ориентировочный срок выхода чипа — 2028 год. Об этом сообщает издание «Код Дурова» со ссылкой на The Information.

«Совместное проектирование железа и софта с нуля — ключ к максимальной производительности системы», — заявил представитель Google.

Речь идёт об инференсе — обработке запросов пользователя уже обученной моделью. На этот процесс приходится основная доля вычислений и затрат на электроэнергию. Десятикратный рост эффективности может изменить экономику генеративного ИИ, позволяя обслуживать сложные запросы за значительно меньшую стоимость.

Google планирует достичь такого скачка не за счёт простого ускорения существующих чипов, а благодаря глубокой интеграции программного и аппаратного обеспечения. Компания «вшивает» часть нейросетевой архитектуры Gemini непосредственно в физический чип. Такое аппаратное кодирование ИИ-алгоритмов устраняет лишние вычисления и минимизирует постоянное перемещение данных между серверами, что значительно снижает энергопотребление при высоких нагрузках.

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.