"Сбер" представила обновленную версию своей нейросети Kandinsky

По словам представителей компании, новая технология лучше справляется с портретами и может создавать стикеры более эффективно, чем ее предшественница.

Kandinsky 2.2 — это новейшая улучшенная версия одноименной нейросети, которую компания «Сбер» представила в июне 2022 года. Это уже не первое обновление: Kandinsky 2.0 была представлена в ноябре того же года, а Kandinsky 2.1 — в апреле 2023-го.

Новую версию Kandinsky 2.2 можно бесплатно протестировать на сайте «Сбера», на платформах Fusion Brain и ML Space, через ботов в Telegram и «ВКонтакте», а также с помощью голосовой команды «Запусти художника» на умных устройствах Sber и в приложении «Салют».

Разработчики дообучили Kandinsky 2.2 на наборе данных из 1,5 млрд пар «текст-изображение», что на 300 миллионов пар больше, чем в дата-сете Kandinsky 2.1. Благодаря этому, нейросеть может создавать более фотореалистичные изображения с высоким разрешением, лучше обрабатывает портреты и способна изменять соотношение сторон.

В новой версии модели Kandinsky также был добавлен ControlNet — «специальный структурный блок управляемых изменений». Эта архитектура позволяет изменять отдельные элементы на уже сгенерированных изображениях, при этом сохраняя исходную композицию.

Кроме того, модель была обучена генерировать стикеры, которые могут быть использованы для создания пользовательских коллекций в Telegram.

Kandinsky понимает запросы на 101 языке, включая русский и английский, и может использоваться в более чем 20 стилях рисования. Он также может смешивать несколько изображений и дорисовывать недостающие элементы. Обучение проходило на дата-сете Sber AI и SberDevices под руководством сотрудников Sber AI и ученых из Института искусственного интеллекта AIRI.