Yandex представил свою новую нейросеть YandexART, она разработана для создания изображений и анимации

Яндекс представил технологию искусственного интеллекта YandexART (Yandex AI Rendering Technology), диффузионную нейронную сеть, которая генерирует изображения и анимацию на основе текстовых запросов пользователей. YandexART понимает русские культурные отсылки, включая известные места и города России, выдающиеся фигуры разных эпох и знакомых персонажей из мультфильмов и сказок, таких как Чебурашка, богатыри и Баба Яга. Нейронная сеть уже интегрирована в приложение Шедеврюм, где она помогает иллюстрировать рекламу в Яндекс.Бизнес, а также скоро станет доступна в Яндекс.Клавиатуре и других сервисах компании.

YandexART создает изображения и анимацию с помощью каскадного метода диффузии. Сначала нейронная сеть генерирует изображения и кадры в соответствии с запросом пользователя, а затем постепенно увеличивает их разрешение, обогащая деталями. По сравнению с предыдущим поколением моделей диффузии, используемых в Шедеврюм, YandexART создает более реалистичную и детализированную графику. По оценкам внутренних экспертов Яндекса, результаты YandexART лучше в 60% случаев.

Для улучшения работы нейросети, разработчики решили увеличить размер обучающего набора данных в 1,5 раза, достигнув отметки в 330 миллионов картинок с текстовым описанием. При отборе изображений для обучения YandexART используются три режима фильтрации, чтобы отобрать самые эстетичные картинки. Также внедрен новый алгоритм распознавания текстов, который помогает нейросети лучше понимать пожелания пользователей. Более того, нейросеть теперь более качественно обрабатывает особенности лиц, глаз и рук, что позволяет ей создавать фотореалистичные портреты.

Для дополнительного улучшения качества генерации, нейросеть проходит процесс дообучения с подкреплением. Специалисты компании тщательно изучают сотни или тысячи сгенерированных изображений, созданных с помощью YandexART, и отмечают успешные и неудачные примеры. Это позволяет нейросети лучше понять, как наилучшим образом изображать различных животных, персонажей, объекты и явления.

Где используется YandexART?

YandexART используется в приложении Шедеврум, где помогает пользователям генерировать изображения и видео. С момента запуска приложения было создано более 100 миллионов генераций.

Также YandexART используется в Яндекс Бизнесе при создании рекламных объявлений. Пользователи могут выбрать подходящую иллюстрацию из уже сгенерированных нейросетью изображений YandexART. В нейростоке Яндекс Бизнеса представлено около 3000 картинок для 650 видов деятельности. Эти изображения доступны для 82% рекламных кампаний и уже используются в каждом пятом размещении.

В будущем, в Яндекс Клавиатуре будет добавлена функция использования YandexART для генерации картинок по текстовому описанию и установки их в качестве фона.