Sony запатентовала систему сглаживания просадок FPS на PlayStation с помощью ИИ
Компания Sony запатентовала систему на основе искусственного интеллекта, которая генерирует следующий кадр игры, пока графический процессор ещё занят его отрисовкой. Такой подход должен помочь сгладить просадки частоты кадров и сделать изображение стабильнее, не добавляя задержку, которая возникает у некоторых технологий генерации промежуточных кадров.
Существующие технологии генерации кадров часто используют два уже готовых изображения для создания дополнительного кадра между ними. Это требует ожидания завершения отрисовки второго изображения, что может увеличивать задержку между действиями игрока и реакцией игры.
В предложенной Sony системе ИИ использует последний готовый кадр и предсказывает, как будет выглядеть следующий, не дожидаясь его полной отрисовки. Пока видеочип формирует новое изображение, нейросеть отправляет свою версию кадра в буфер вывода.
В основе системы лежит совместно обученная пара моделей — кодировщик и декодировщик. Первая преобразует готовый кадр в компактное числовое представление, а вторая на его основе восстанавливает предсказанное изображение. Для повышения точности система может учитывать векторы движения, описывающие перемещение объектов между кадрами, и последние действия игрока с контроллера.
Для обучения нейросеть получает последовательности видеокадров: по одному изображению пытается предсказать следующее, а затем сравнивает результат с реальным кадром и вычисляет ошибку. Патент предусматривает проверку этой ошибки относительно заданного порога.
В документе также описан вариант, при котором декодировщик выдаёт больше цветовых каналов, чем получает кодировщик, что позволяет формировать несколько предсказанных кадров за один раз. Sony рассматривает и альтернативу без нейросети: такой алгоритм перемещал бы блоки пикселей в соответствии с их движением, создавая синтетические кадры на основе перемещения элементов изображения.
В патенте заявлена возможность поддерживать стабильную частоту вывода кадров без снижения качества картинки, однако это пока лишь описание предполагаемых преимуществ.
Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.
