Google выпустила нейросеть StyleDrop, она может создавать изображения в точно заданном стиле

StyleDrop изучает стиль любого изображения и помогает генеративной модели искусственного интеллекта воссоздать его. Метод Google превосходит другие, такие как Dreambooth, LoRA или Textual Inversion.

Новый метод Google позволяет синтезировать изображения в определенном стиле, используя модель текст-изображение Muse. StyleDrop передает все тонкости пользовательского стиля, включая цветовые схемы, затенение, шаблоны оформления, локальные и глобальные эффекты. По данным Google, в качестве исходных данных требуется только одно изображение.

StyleDrop изучает новый стиль путем точной настройки небольшого числа параметров обучаемой сети, а затем улучшает качество модели путем итеративного обучения с обратной связью от человека или автоматически.

StyleDrop обучается быстро и на небольшом количестве примеров

В частности, StyleDrop обучается на входном изображении и генерирует набор изображений для воспроизведения этого изображения. Из них выбираются самые качественные изображения либо по оценке CLIP, либо по отзывам людей и используются для дальнейшего обучения. Изображение считается высококачественным, если оно воспроизводит не содержание, а стиль исходного изображения.

По словам команды, весь процесс занимает менее трех минут, даже при наличии обратной связи с человеком. Это потому, что для итеративного обучения StyleDrop требуется менее десятка изображений, говорят они.

StyleDrop превосходит другие методы передачи стиля от текста к изображению, включая Dreambooth, LoRAs, Textual Inversion in Imagen и Stable Diffusion, по словам команды.

StyleDrop для стилей, Dreambooth для объектов

«Мы видим, что StyleDrop способен улавливать нюансы текстуры, затенения и структуры в широком диапазоне стилей, значительно лучше, чем предыдущие подходы, позволяя значительно больше контролировать стиль, чем это было возможно ранее», — сказала команда.

Команда также объединила StyleDrop с Dreambooth для изучения и создания нового объекта в различных стилях в виде изображения и может использовать методы с Muse для создания пользовательского объекта в пользовательском стиле.

Google рассматривает StyleDrop как универсальный инструмент, одним из вариантов использования которого является возможность дизайнерам или компаниям тренироваться с ресурсами своего бренда и быстро создавать прототипы новых идей в своем стиле. Более подробную информацию можно найти на странице проекта StyleDrop.