Сегодня / 17:06
В Иркутской области пенсионерка хотела посмотреть порно, но стала жертвой мошенников
Сегодня / 22:11
Британские ученые сохранили редких огромных пауков и вернули их в природу
Сегодня / 21:06
Умерла певица Тика Нельсон. Она была сестрой Принса
Сегодня / 21:03
Известный альпинист погиб после рискованного восхождения в Гималаях
Сегодня / 19:46
Netflix удалит почти все интерактивные шоу. На платформе оставят только четыре проекта
Сегодня / 19:25
В Москве завели уголовное дело на догхантера, разбросавшего сосиски с отравой
Сегодня / 18:23
Ариана Гранде рассказала, почему в титрах «Злой» ее зовут Ариана Гранде-Бутера
Сегодня / 17:41
Карликовая бегемотиха Му Денг из Таиланда предсказала победу Трампу
Сегодня / 16:47
Между Россией и Беларусью отменят роуминг
Сегодня / 16:37
Организатора игр «Что? Где? Когда?» за рубежом признали нежелательной в России организацией
Сегодня / 16:22
По вселенной «Мухи» Дэвида Кроненберга появится новый фильм
Сегодня / 16:09
Во Владикавказе магазин задумался о патриотизме и запретил продавать прокладки мужчинам-осетинам
Сегодня / 16:06
В России не хватает 600 тыс. инженеров
Сегодня / 15:31
В Екатеринбурге из магазина украли 20 килограмм сливочного масла
Сегодня / 15:30
Найдена «самая загадочная песня интернета»
Сегодня / 15:21
«Давайте похороним его»: режиссеры «Еретика» высказались против использования ИИ
Сегодня / 14:22
В сервис Prime Video добавили ИИ-пересказы сериалов по сезонам и эпизодам
Сегодня / 13:51
Продажи российских ноутбуков в России обогнали американские
Сегодня / 13:21
В Японии рекордно снизилось число старшеклассников, которые впервые поцеловались
Сегодня / 12:46
В Японии отправили в космос первый в истории деревянный спутник
Сегодня / 12:14
Роберт Земекис рассказал, что Universal продолжает настаивать на «Назад в будущее-4»
Сегодня / 11:38
Фильм База Лурманна «Жанна д’Арк» находился в разработке 30 лет
Сегодня / 11:20
Первый канал снимет новые фильмы о Штирлице с цифровым аватаром Вячеслава Тихонова
Сегодня / 10:47
Поцелуи могли возникнуть как способ для чистки от паразитов
Сегодня / 10:09
Райан Рейнолдс пишет сценарий нового фильма, чтобы воссоединиться с Шоном Леви и Хью Джекманом
Сегодня / 08:36
Оливия Родриго: «Если парень хочет полететь в космос, это красный флаг»
Вчера / 20:24
Том Холланд гуглит новости о Зендае, чтобы убедиться, что их отношения в порядке
Вчера / 19:17
Роспотребнадзор проверит школы и детсады после сообщений о вспышке вируса Коксаки
Вчера / 18:13
Эрнст: «Айфон — чудовищная вещь для человечества. Джобс стоит в череде персонажей рядом с Гитлером»
Вчера / 16:55
Хидэо Кодзима о «Джокере: Безумие на двоих»: «Лет через 10–20 на него наверняка посмотрят по-новому»
Вчера / 16:47
Джеймс Ван Дер Бик рассказал, что у него диагностировали рак толстой кишки
Вчера / 16:13
В Fortnite добавят Эминем-пулемет
Вчера / 15:59
Sony работает над фильмом про спецагента Венома
Вчера / 15:21
Больше 600 тыс. зрителей посмотрели «Преступление и наказание» с Янковским в день премьеры
Вчера / 14:16
В Великобритании женщины узнали, что их перепутали в роддоме, спустя 57 лет

Нейросеть ElevenLabs запустила автоперевод роликов на русский. Результат похож на дубляж из 90-х

12 октября 2023 в 19:46
Фото: Will Francis/Unsplash.com

Разработчик продуктов для синтеза речи ElevenLabs запустила нейросетевой инструмент для автоматического дубляжа роликов. Он поддерживает 29 языков, включая русский, английский и китайский.

Как и набравший виральную популярность продукт от HeyGen, их продукт также распознает речь, переводит ее, озвучивает с помощью оригинальной звуковой дорожки и стремится сохранить исходный тон и произношение. К тому же нейросеть может распознавать нескольких говорящих. Еще она позволяет дублировать на разные языки ролики с YouTube, TikTok, Vimeo или X (он же твиттер). Для длительного использования понадобится Google-аккаунт.

Конечно, пока это происходит не без ограничений. Например, создатели автопереводчика не позволяют обрабатывать ролики длиной больше 5 минут. Авторы пишут о лимите в 10 тыс. символов — в такой объем текста должны укладываться спикеры на видео, этого должно хватить примерно на 5–6 минут разговора.

Также нейросеть может легко запутаться в большом числе спикеров и не умеет синхронизировать речь с губами людей, а музыка и другие звуковые эффекты могут вызвать артефакты и перепады громкости, что делает ее не очень подходящей для переозвучки трейлеров. Впрочем, с присланным тиктоком и смешным роликом она отлично справится.

В сети инструмент используют для перевода. Например, автор канала «Джимми Нейрон» Женя Мацкевич заставил Сергея Дружко произнести на английском мемную реплику про сильное заявление — от оригинала даже и не отличить.

Автор канала «Кабачковая икра по акции» заметил, что в полученных видео могут появиться проблемы с ударениями, а качество автоматического перевода не всегда на высшем уровне.

В его пробном ролике Сэмюэль Л.Джексон произносит монолог из «Змеиного полета» и жалуется на «черто́вых змей на этом черто́вом самолете» (конечно же, в оригинале актер называет их motherfucking snakes).

Похоже, что нейросети пока сложно угнаться за человеческими эмоциями. Если спикер на видео часто меняет интонацию, инструмент этого может не распознать и в полученном дубляже будет либо кричать до самого конца, либо говорить спокойным голосом.

Например, в легендарной речи «Just Do It» Шайя ЛаБаф главным образом кричит и говорит на русском с небольшим акцентом.

А как нейросеть справилась с диалогом Ви и Джонни Сильверхенда, героем Киану Ривза, в Cyberpunk 2077. Автору ролика результат напомнил пиратские дубляжи фильмов из девяностых.

Расскажите друзьям