Компания Nvidia создала нейросеть под названием Audio2Face, которая берёт аудиофайл и создаёт на модели совпадающую анимацию, хорошо справляясь с большинством языков. Программа работает на открытой платформе физически корректного моделирования в реальном времени NVIDIA Omniverse.

Демонстрационная версия использует модель персонажа Digital Mark, но для работы можно взять лицо с любыми чертами. Также анимацию, предназначенную для одного персонажа, можно перенести на другого — например, с человека на носорога.

Компания начала выкладывать демонстрационные видео и обучающие ролики весной 2021 года, а теперь на сайте компании можно скачать открытую бета-версию программы. Технология может создавать анимацию как на основе готового файла, так и в реальном времени. Для этого нужно загрузить в приложение уже имеющуюся звуковую дорожку или говорить в микрофон.

В качестве дополнительного бонуса Nvidia on Demand — это обучающий веб-сайт компании, на котором есть множество видеороликов по Omniverse и Audio2Face. Первое видео на Audio2Face появилось довольно далеко в марте 2020 года, но в более поздних уроках даже подробно рассказывается, как экспортировать процесс в другие инструменты, такие как Unreal Engine 4.

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.