Яндекс обновил свою модель Alice AI ART, которая используется для генерации изображений в чате с Алисой AI. После обновления нейросеть стала точнее создавать картинки с надписями на русском языке, включая постеры, афиши, открытки и рекламные материалы. Об этом «Коду Дурова» сообщили в компании.

Генерация текста внутри изображений является сложной задачей для нейросетей, особенно с кириллицей из-за меньшего количества русскоязычных надписей в открытых датасетах. При обучении на некачественных данных модель может научиться рисовать кириллицу, но потерять в общем качестве визуализации.

Для улучшения результата команда Яндекса собрала собственный датасет пар «изображение — кириллический текст». В претрейн модели добавили 30 млн семплов с текстами, а на этапе тонкой настройки — еще около 100 тысяч изображений, отобранных по качеству текста и визуальной эстетике. Также разработчики изменили архитектуру модели на Diffusion Transformer (DiT) и начали обучать ее на русскоязычных промптах напрямую, без перевода.

По данным Яндекса, после обновления Alice AI ART в три раза чаще генерирует изображения с корректным текстом на русском языке. Общее качество генераций выросло на треть — модель реже выдает визуальные искажения и лучше справляется с локальными культурными образами.

Для получения качественного результата компания рекомендует заключать текст для картинки в кавычки, сложные слова писать заглавными буквами, а длинные надписи разделять на несколько частей с указанием расположения.

Обновленная модель доступна пользователям Алисы AI и через Yandex AI Studio для бизнеса. В последнем ее можно использовать для автоматического создания изображений для карточек товаров, лендингов или рекламных материалов.

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.