Stability AI запускает SDXL 0.9: новый прорыв в генерации изображений с помощью искусственного интеллекта

Сегодня Stability AI объявляет о выпуске SDXL 0.9 — самой передовой разработке в наборе моделей Stable Diffusion для преобразования текста в изображения. После успешного выпуска бета-версии Stable Diffusion XL в апреле, SDXL 0.9 производит значительно улучшенные изображения и детализацию композиции по сравнению с предыдущей версией.

Модель может быть доступна через ClipDrop уже сегодня, а API будет доступен в ближайшее время. Веса исследования теперь доступны, а открытый выпуск будет доступен в середине июля, когда мы перейдем к версии 1.0.

Несмотря на то, что модель может работать на современном GPU для потребителей, SDXL 0.9 представляет собой прорыв в креативных применениях генеративного искусственного интеллекта для изображений. Возможность создавать гиперреалистичные произведения для фильмов, телевидения, музыки и обучающих видео, а также предлагать прогресс в области дизайна и промышленного использования, помещает SDXL на передний план реальных приложений для изображений, созданных с помощью искусственного интеллекта.

Примеры Stability AI SDXL 0.9

Некоторые примеры запросов, протестированных на обеих версиях SDXL (бета-версия слева и 0.9 справа), показывают, насколько далеко продвинулась эта модель всего за два месяца.

Серия SDXL также предлагает ряд функций, которые выходят за рамки базового текстового подсказывания. Они включают в себя подсказывание изображения к изображению (ввод одного изображения, чтобы получить варианты этого изображения), восстановление пропущенных частей изображения и создание плавного продолжения существующего изображения.

Что находится под капотом?

Основным двигателем этого прогресса в композиции для SDXL 0.9 является его значительное увеличение количества параметров (сумма всех весов и смещений в нейронной сети, на которой обучается модель) по сравнению с бета-версией.

SDXL 0.9 имеет одно из наибольших количество параметров среди всех моделей изображений с открытым исходным кодом, похваставшись базовой моделью с 3,5 миллиарда параметров и моделью ансамбля конвейера с 6,6 миллиарда параметров (окончательный результат создается путем запуска двух моделей и агрегации результатов). Вторая модель этапа конвейера используется для добавления более тонких деталей к сгенерированному выводу первого этапа.

В сравнении с бета-версией, которая работает на 3,1 миллиардах параметров и использует только одну модель.

SDXL 0.9 работает на двух моделях CLIP, включая одну из крупнейших моделей OpenCLIP, обученных до настоящего времени (OpenCLIP ViT-G/14), что усиливает его вычислительную мощность и способность создавать реалистичные изображения с большей глубиной и более высоким разрешением 1024×1024.

Вскоре команда SDXL выпустит исследовательский блог, в котором будет более подробно описаны спецификации и тестирование этой модели.

Требования к системе

Несмотря на мощный вывод и продвинутую архитектуру модели, SDXL 0.9 может работать на современном потребительском GPU, требующем только операционной системы Windows 10 или 11, или Linux, с 16 ГБ ОЗУ, графической карте Nvidia GeForce RTX 20 (стандарт эквивалентный или выше) с минимум 8 ГБ VRAM. Пользователи Linux также могут использовать совместимую видеокарту AMD с 16 ГБ VRAM.

Статистика бета-запуска

С момента бета-запуска SDXL 13 апреля мы получили отличные отзывы от нашего сообщества пользователей на Discord, которое насчитывает почти 7 000 человек. Эти пользователи создали более 700 000 изображений, в среднем более 20 000 в день. Более 54 000 изображений были введены в «Showdowns» сообщества Discord, и 3 521 изображение SDXL были номинированы в качестве победителей.

Доступность

SDXL 0.9 теперь доступен на платформе Clipdrop от Stability AI. Клиенты API Stability AI и DreamStudio смогут получить доступ к модели с 26 июня, а также к другим ведущим инструментам для создания изображений, таким как NightCafe.

SDXL 0.9 будет предоставляться только для научных исследований в течение ограниченного периода, чтобы собрать отзывы и полностью усовершенствовать модель перед ее общедоступным релизом. Код для запуска модели будет общедоступен на Github.

Что дальше?

SDXL 0.9 будет последован полным общедоступным релизом SDXL 1.0, запланированным на середину июля (время будет объявлено позже).