Вчера / 10:25
В Казани зафиксированы 8 прилетов дронов
Вчера / 20:52
Президент Ирана предложил заменить риал на туман
Вчера / 19:55
Блейк Лайвли обвинила режиссера и актера «Все закончится на нас» в домогательствах
Вчера / 18:40
Игроки Escape from Tarkov из РФ пожаловались на проблемы с входом в игру
Вчера / 17:58
«Я не готова с вами прощаться»: Милли Бобби Браун расплакалась на финале съемок «Очень странных дел»
Обновлено вчера в 17:35
В Москве и Королеве эвакуировали торговые центры из‑за взрывов пиротехники
Вчера / 16:39
Том Харди собирался заплатить строителям декораций для сериала Гая Ричи
Вчера / 15:54
Джесси Айзенберг считает, что роль Лекса Лютора «нанесла реальный вред его карьере»
Вчера / 15:38
«Первое мистическое приключение года»: вышел трейлер «Охотников за призраком»
Вчера / 14:58
В Вологде открыли памятник Сталину и почтили память жертв репрессий
Вчера / 14:25
«Хочу сбежать на далекий остров»: создатель «Игры в кальмара» устал от Netflix и сериала
Вчера / 13:20
«Анора», Кендрик Ламар, Навальный: Барак Обама назвал любимые фильмы, песни и книги 2024 года
Вчера / 12:46
Наследники королевской семьи Греции подали заявления на гражданство родины под экзотической фамилией
Вчера / 12:21
На уборку мазута с пляжей Краснодарского края может уйти около месяца
Вчера / 11:13
Джаред Лето сыграет Скелетора во «Властелинах вселенной»
Вчера / 09:36
Тизер «Супермена» Джеймса Ганна стал самым популярным в истории Warner Bros.
Обновлено вчера в 01:51
На рождественской ярмарке в Магдебурге погибли два человека. Ранены в результате наезда более 60
Вчера / 01:37
Джош Хартнетт и Дакота Джонсон присоединятся к экранизации «Тайного дневника Верити»
Вчера / 00:56
Ана де Армас и Оскар Айзек снимутся в сериале «Бананы» Дэвида О.Расселла
Вчера / 00:25
WhatsApp обязали предоставлять информацию о пользователях по запросу спецслужб
20 декабря / 23:48
Появились кадры Харрисона Форда в образе Красного Халка из «Первого мстителя: Дивного нового мира»
20 декабря / 23:46
Фильм о Джулиане Ассанже сняли с фестиваля «Сандэнс» за месяц до показа, чтобы доработать
20 декабря / 22:59
Мэрайя Кэри провела шоу в Fortnite
20 декабря / 22:54
Сериал «Плохая обезьяна» с Винсом Воном продлили на второй сезон
20 декабря / 22:17
Том Холланд назвал отношения с Зендаей лучшим событием в жизни
20 декабря / 21:50
YouTube начнет удалять видео с кликбейтом без предупреждения
20 декабря / 21:42
Ремейк «Мумии» выйдет на экраны весной 2026 года. Его поставит Ли Кронин
20 декабря / 20:50
Работа над фильмами о Бонде остановлена из‑за разногласий о будущем франшизы
20 декабря / 20:32
В Великобритании кондитер испекла пряничный домик с бриллиантами за 817 миллионов рублей
20 декабря / 19:58
Песню Робби Уилльямса исключили из шорт-листа «Оскара»
20 декабря / 19:40
Российским фигуристам и конькобежцам разрешили отбираться на Олимпиаду-2026
20 декабря / 18:59
Съемки финального сезона «Очень странных дел» завершились
20 декабря / 18:28
В Индии женщина пожаловалась в суд на мужа за то, что он любит ее меньше, чем кошку
20 декабря / 17:58
Синоптик рассказал, какая погода ждет россиян на Новый год
20 декабря / 17:55
Маргариту Симоньян наградили орденом «За заслуги перед Отечеством»

Нейросеть ElevenLabs запустила автоперевод роликов на русский. Результат похож на дубляж из 90-х

12 октября 2023 в 19:46
Фото: Will Francis/Unsplash.com

Разработчик продуктов для синтеза речи ElevenLabs запустила нейросетевой инструмент для автоматического дубляжа роликов. Он поддерживает 29 языков, включая русский, английский и китайский.

Как и набравший виральную популярность продукт от HeyGen, их продукт также распознает речь, переводит ее, озвучивает с помощью оригинальной звуковой дорожки и стремится сохранить исходный тон и произношение. К тому же нейросеть может распознавать нескольких говорящих. Еще она позволяет дублировать на разные языки ролики с YouTube, TikTok, Vimeo или X (он же твиттер). Для длительного использования понадобится Google-аккаунт.

Конечно, пока это происходит не без ограничений. Например, создатели автопереводчика не позволяют обрабатывать ролики длиной больше 5 минут. Авторы пишут о лимите в 10 тыс. символов — в такой объем текста должны укладываться спикеры на видео, этого должно хватить примерно на 5–6 минут разговора.

Также нейросеть может легко запутаться в большом числе спикеров и не умеет синхронизировать речь с губами людей, а музыка и другие звуковые эффекты могут вызвать артефакты и перепады громкости, что делает ее не очень подходящей для переозвучки трейлеров. Впрочем, с присланным тиктоком и смешным роликом она отлично справится.

В сети инструмент используют для перевода. Например, автор канала «Джимми Нейрон» Женя Мацкевич заставил Сергея Дружко произнести на английском мемную реплику про сильное заявление — от оригинала даже и не отличить.

Автор канала «Кабачковая икра по акции» заметил, что в полученных видео могут появиться проблемы с ударениями, а качество автоматического перевода не всегда на высшем уровне.

В его пробном ролике Сэмюэль Л.Джексон произносит монолог из «Змеиного полета» и жалуется на «черто́вых змей на этом черто́вом самолете» (конечно же, в оригинале актер называет их motherfucking snakes).

Похоже, что нейросети пока сложно угнаться за человеческими эмоциями. Если спикер на видео часто меняет интонацию, инструмент этого может не распознать и в полученном дубляже будет либо кричать до самого конца, либо говорить спокойным голосом.

Например, в легендарной речи «Just Do It» Шайя ЛаБаф главным образом кричит и говорит на русском с небольшим акцентом.

А как нейросеть справилась с диалогом Ви и Джонни Сильверхенда, героем Киану Ривза, в Cyberpunk 2077. Автору ролика результат напомнил пиратские дубляжи фильмов из девяностых.

Расскажите друзьям
Читайте также