Российские учёные создали алгоритм для обучения гибридных нейросетей

Учёные из Института AIRI, Центра квантовых технологий Сбербанка и «Сколтеха» разработали алгоритм для обучения нейросетей на гибридных вычислительных системах. Эти системы объединяют классический цифровой процессор и специализированный ускоритель — фотонный, нейроморфный или аналоговый. Об этом сообщила пресс-служба AIRI.

Стандартные процессоры недостаточно эффективны при обучении нейросетей из-за архитектурных ограничений. Поэтому разрабатываются альтернативные чипы, которые могут превосходить классическую электронику по эффективности.

Однако пока такие чипы способны решать лишь отдельные задачи и используются как дополнение к цифровой системе. Основная сложность заключается в обучении гибридной сети. Внутренние процессы ускорителя недоступны для прямого анализа, а без этого стандартные методы обучения не работают. Новый алгоритм обходит это ограничение: вместо точного знания внутренних параметров учёные наблюдают за реакцией устройства на случайные изменения и применяют приближённую модель его работы.

Эффективность подхода проверили на шести цифровых моделях фотонных вычислительных слоёв и трёх классах задач. Результаты оказались близки к полностью цифровым базовым моделям. В дальнейшем такие системы могут применяться в дата-центрах для обучения больших моделей и в устройствах с требованиями к скорости и энергопотреблению.

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.