Компания Stability AI представила свою новую модель Stable Audio, предназначенную для создания музыки

Stability AI сообщила о выпуске своей новой модели Stable Audio, которая использует диффузионную архитектуру для генерации аудиозаписей на основе текстовых запросов. Модель была обучена на обширном наборе данных, включающем текстовые метаданные и более 800 000 аудиофайлов с готовыми композициями, звуковыми эффектами и инструментальными партиями общей длительностью свыше 19,5 тысяч часов.

Для обучения модели компания использовала данные от AudioSparx, владеющей библиотекой музыки для коммерческих целей. Это означает, что Stability AI получила разрешение на использование защищенного авторским правом контента.

Пользователям предлагается выбор из трех тарифных планов. Бесплатный план позволяет генерировать до 20 фрагментов в месяц продолжительностью не более 45 секунд. Профессиональный план стоит $11,99 в месяц (без учета налогов) и позволяет генерировать до 500 треков продолжительностью до 1,5 минуты в месяц. Условия корпоративного тарифа обсуждаются индивидуально.

Использование сгенерированных композиций в коммерческих проектах доступно только для платных подписчиков. Также запрещено использование полученных треков для тренировки собственных моделей искусственного интеллекта.

Интерфейс генератора выглядит следующим образом. Попытались создать мелодию, но из-за высокой нагрузки на сервер система несколько раз выдавала ошибку и не смогла воспроизвести трек.

В пользовательской справке Stability AI указано, что с помощью Stable Audio можно создавать не только полноценные композиции, но также отдельные инструментальные партии и звуковые эффекты.

Компания не первая, кто разрабатывает подобные нейросети. Например, в 2020 году OpenAI представила модель Jukebox, а Google имеет AudioML для создания мелодий на основе звуковых подсказок и MusicLM для генерации музыки по текстовому описанию.

Кроме того, Meta (запрещена в России) выпустила генератор музыки MusicGen в июне 2023 года, а в августе представила модель AudioCraft, которая позволяет создавать звуки и эффекты окружающей среды.