Gemma 3 на 270 млн параметров запустили на принтере Ricoh с 14 МБ памяти

Языковую модель Google Gemma 3 270M запустили на обычном офисном принтере Ricoh. Эксперимент провёл сотрудник Google Омар Сансевьеро с помощью Carbon — компактного движка для запуска нейросетей. Об этом сообщает «IXBT News».
«При этом исследователям не пришлось менять прошивку принтера или подключать к нему дополнительные вычислительные платы: модель работала непосредственно внутри устройства, используя встроенный интерпретатор языка PostScript Level 3, который применяется для обработки заданий на печать», — пишет «IXBT News».
Чтобы уложиться в скромные ресурсы принтера, разработчики использовали динамическую загрузку слоёв нейросети, поочерёдно помещая их в память. Скорость генерации достигла 61,3 токена в секунду.
Для проверки системе предложили продолжить фразу «Read the fine», после чего принтер выдал на бумаге ответ «Read the fine print» («Читайте мелкий шрифт»). Обработка исходного запроса заняла около 184 секунд.
Сам эксперимент показал, что даже обычная офисная техника способна запускать локальные ИИ-модели без специального оборудования.
Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.