Нейросеть Яндекс достигла новых высот: она теперь способна создавать захватывающие видео в Шедеврум

На российском рынке Яндекс стал первой компанией, которая предложила пользователям технологию создания видео с помощью нейросети. Эта новая возможность доступна в приложении Шедеврум, которое генерирует короткие видеоролики в ответ на запросы пользователей. Такие видео могут быть использованы для создания музыкальных клипов, анимаций, динамических аватарок в социальных сетях и воплощения других креативных идей.

Сгенерированные Шедеврумом видео имеют длительность четыре секунды и частоту 24 кадра в секунду. После создания видео можно поделиться ими с друзьями или сохранить в формате MP4. В настоящее время эта функция находится в режиме тестирования. Генерацию видео могут использовать активные пользователи Шедеврума, а все пользователи приложения могут просматривать результаты в ленте.

Для того, чтобы создать видео в формате Шедеврум, необходимо описать текстово, что именно вы хотите увидеть. После этого приложение предложит вам четыре варианта первого кадра и набор анимационных эффектов, которые можно использовать для создания движения. Нейросеть использует выбранное вами изображение в качестве основы, генерирует несколько измененных версий этого изображения и объединяет их с выбранным эффектом. Сейчас доступны семь эффектов: зум (приближение), таймлапс (ускоренная перемотка), полет, панорама, вращение, подъем и морфинг (постепенное изменение).

Для создания кадров будущего видео применяется метод каскадной диффузии. С помощью этой технологии Шедеврум генерирует отдельные изображения. Сначала нейросеть создает изображения в соответствии с вашим запросом, а затем постепенно увеличивает их разрешение, добавляя детали.

Генерация видео является одной из возможностей Шедеврума, которая дополняет создание изображений и текстовых постов с заголовком и иллюстрацией. Если вы хотите использовать контент из Шедеврума в коммерческих целях, вы можете отправить запрос через форму обратной связи, и ответ придет в течение 5 рабочих дней.

Шедеврум был представлен Яндексом в апреле 2023 года. Сразу после запуска приложение попало в топовые списки App Store и Google Play в России, и на данный момент у него уже более 5,8 миллиона пользователей на iOS и Android. Нейросеть Шедеврума содержит 5 миллиардов параметров и была обучена на 330 миллионах примеров пар картинок с текстовым описанием.