Сбер представил семейство генеративных моделей Kandinsky WM 1.0, которые создают видеоданные, соответствующие законам физики. Разработка предназначена для обучения систем Physical AI, включая беспилотный транспорт, промышленных роботов и другие автономные решения. Об этом сообщает IXBT News.

«Новые нейросети генерируют редкие и опасные сценарии, которые сложно воспроизвести в реальности», — сообщает IXBT News.

В основу Kandinsky WM 1.0 легла модель Kandinsky 5.0 Video Lite, которую дополнительно обучили на миллионах видеозаписей с камер роботов, беспилотных автомобилей и промышленных объектов. Это позволяет генерировать реалистичные ролики с редкими, опасными или трудно воспроизводимыми ситуациями, которые сложно получить в реальных условиях. Такие синтетические данные помогают ускорить обучение интеллектуальных систем и снизить затраты на сбор информации.

Создаваемые видео длительностью около пяти секунд воспроизводят отдельные действия — от манипуляций с предметами до дорожных эпизодов и производственных операций. Для повышения достоверности разработчики использовали дополнительное обучение и методы обучения с подкреплением, что улучшило передачу движения, геометрии объектов и физических взаимодействий. Код и веса моделей опубликованы по лицензии MIT и доступны разработчикам бесплатно. Kandinsky WM 1.0 уже используют Центр робототехники Сбера и институт AIRI для подготовки роботов и развития дорожных симуляторов.

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.