ElevenLabs выпустила модели синтеза речи Eleven v4 и v4 Turbo

ElevenLabs представила новое поколение моделей преобразования текста в речь с поддержкой более 90 языков, управления интонацией и сохранения голоса в длинных записях. Версия v4 Turbo предназначена для голосовых агентов и начинает воспроизведение примерно через 150 мс.

Разработчик технологий синтеза речи ElevenLabs представил модели Eleven v4 и Eleven v4 Turbo. Они доступны в сервисах ElevenCreative и ElevenAgents, а также через ElevenAPI.

Eleven v4 интерпретирует контекст, темп и эмоциональную окраску текста. Пользователи могут задавать манеру произношения обычными инструкциями или встроенными тегами — например, указывать смех, шёпот и звуковые эффекты. Новая архитектура также должна точнее сохранять особенности голоса при повторной генерации фрагментов и объединении частей аудиокниг и других длинных записей.

Обе модели поддерживают более 90 языков. Для мгновенного клонирования голоса достаточно десятисекундной записи; кроме того, в v4 вернулась поддержка профессиональных голосовых клонов, отсутствовавшая в Eleven v3.

Eleven v4 Turbo оптимизирована для телефонных сервисов, игровых персонажей и других голосовых агентов реального времени. По измерениям ElevenLabs, медианное время до начала воспроизведения составляет около 150 мс.