Xiaomi раскрыла возможности процессора Xring O100

Xiaomi представила специализированный ускоритель искусственного интеллекта Xring O100, который предназначен для запуска более мощных моделей непосредственно на устройствах. Чип обеспечивает пропускную способность памяти до 1,22 ТБ/с.

«По заявлению компании, чип обеспечивает пропускную способность памяти до 1,22 ТБ/с и отличается скоростью инференса до 330 токенов в секунду», — сообщает IXBT News.

Скорость инференса показывает, как быстро обрабатываются данные. Один токен примерно равен 0,75 слова, что означает около 250 слов в секунду. Xiaomi называет O100 первым в мире решением с 6-нм 3D-упаковкой на уровне пластины.

Главная особенность Xring O100 — вертикальная компоновка вычислительной логики и высокоскоростной DRAM-памяти. Для их соединения используется технология гибридного соединения, что значительно сокращает расстояние между вычислительными блоками и памятью. Xiaomi утверждает, что такая архитектура обеспечивает в 16 раз большую пропускную способность памяти по сравнению с традиционными смартфонами и помогает решить проблему «узкого места» при передаче данных, из-за которой большие языковые модели не всегда могут эффективно работать локально.

Внутри чипа используется многоядерная NPU-архитектура с динамической маршрутизацией данных, оптимизированная для разных этапов инференса. Xiaomi ранее демонстрировала прототип мини-ПК AI Cube, где Xring O100 работает вместе с другими чипами семейства Xring.

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.