ElevenLabs выпускает Eleven Multilingual v2: Речевая модель искусственного интеллекта, поддерживающая 30 языков

Недавно компания ElevenLabs выпустила многоязычную модель генерации голоса Eleven Multilingual v2, которая позволяет создавать «эмоционально насыщенное» AI-аудио почти на 30 языках. Эта работа позволит производителям локализовать аудио для рынков Европы, Азии и Ближнего Востока.

Исследовательская группа в течение 18 месяцев изучала индикаторы человеческой речи и разработала новые методы определения контекста, выражения эмоций при генерации речи и синтеза новых, характерных голосов. Модель автоматически распознает около 30 письменных языков и генерирует на них голос с беспрецедентным уровнем достоверности при вводе текста в платформу ElevenLabs text-to-speech.

Клонированный или синтетический голос сохраняет характерные особенности голоса диктора, например, его родной акцент, на всех языках. Теперь можно использовать один и тот же голос для анимирования материала на 28 языках.

Этот запуск стал возможен после того, как платформа предоставила возможность всем авторам использовать профессиональное клонирование голоса. Теперь пользователи могут создавать цифровые копии своего голоса, практически неотличимые от оригинала, благодаря этому обновлению, которое было выпущено вместе с улучшением безопасности и защиты. Помимо существующих языков (английский, польский, немецкий, испанский, французский, итальянский, хинди и португальский), новая модель также поддерживает китайский, корейский, голландский, турецкий, шведский, индонезийский, филиппинский, японский, украинский, греческий, чешский, финский, румынский, датский, болгарский, малайский, словацкий, хорватский, классический арабский и тамильский.

Компания ElevenLabs подтвердила, что сегодня платформа выходит из бета-версии после внедрения новых функций и постоянных улучшений. Это изменение является переломным моментом в стремлении компании обеспечить более 1 млн. пользователей по всему миру надежными и современными ресурсами.

ElevenLabs также работает над методом, который позволит пользователям сотрудничать с искусственным интеллектом для создания новых аудиозаписей с помощью платформы.

Добавляя текст в речь на многих языках к визуальному контенту, приложение делает его более доступным для людей с нарушениями зрения или другими требованиями к обучению. Ниже приведены некоторые примеры

• Многоязычный инструмент генерации речи открывает новые возможности для разработчиков и издателей инди-игр по переводу игрового опыта и аудиоконтента для международной аудитории, позволяя общаться с игроками и слушателями на их языках без потери качества и точности.
• Кроме того, теперь у учебных заведений есть ресурсы для обеспечения своевременного доступа к высококачественным аудиоматериалам на целевых языках, улучшающим аудирование и произношение, а также отвечающим различным учебным предпочтениям иностранных студентов.

Снижая затраты времени и средств на создание высококачественного аудио на различных языках, ElevenLabs помогает компаниям и авторам создавать более оригинальный и доступный контент, понятный людям с любым уровнем подготовки и на любом языке.