Украинский разработчик Slava S (slvDev) успешно запустил локальную языковую модель с 28,9 миллионами параметров на микроконтроллере ESP32-S3 стоимостью около 10 долларов. Это достижение стало возможным без подключения к интернету и облачным сервисам. Об этом сообщает издание IXBT News со ссылкой на разработчика.

Задача казалась почти невыполнимой, так как ESP32-S3 имеет всего 512 КБ встроенной оперативной памяти (SRAM), 8 МБ PSRAM и 16 МБ флеш-памяти. Обычно таких ресурсов недостаточно даже для самых компактных языковых моделей.

Для обхода этого ограничения разработчик применил архитектурный подход Per-Layer Embeddings, используемый в семействе моделей Google Gemma. После квантования модели до 4 бит ее размер удалось уменьшить до 14,9 МБ. Самую объемную таблицу, содержащую около 25 миллионов параметров, разместили во флеш-памяти, а память SRAM использовалась исключительно для вычислений. Это позволило резко снизить требования к оперативной памяти.

Использованная модель обучена на датасете TinyStories и умеет генерировать только короткие художественные тексты. Она не предназначена для общения, написания кода или поиска фактов.

По мнению автора, подобный подход может быть востребован в автономных устройствах, где важна локальная обработка данных, например, в бытовой технике, промышленных контроллерах или встраиваемых системах. Принцип многоуровневого хранения данных также может оказаться полезным для будущих серверных ИИ-систем, где изучается возможность хранения части моделей на высокоскоростной флеш-памяти вместо дорогостоящей оперативной памяти.

«Проект скорее демонстрирует технические возможности современных архитектур, чем претендует на роль полноценной замены крупных языковых моделей», — заявил Slava S.

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.