Сегодня / 15:05
МУС выдал ордер на арест премьер-министра Израиля Биньямина Нетаньяху
Сегодня / 18:09
Илон Маск поставил рекорд по скоростному прохождению в Diablo-4
Сегодня / 17:51
A24 показала трейлер «Партенопы» — нового фильма Паоло Соррентино
Сегодня / 16:57
Руководители «Афиши» рассказали о пользе спецпроектов и организации фестивалей
Сегодня / 16:50
В американском городе взорвут старый отель на Новый год
Сегодня / 16:32
Вышел трейлер «Уоллес и Громит: Самая дикая месть»
Сегодня / 16:05
Vanity Fair нашел «тайную музу» Кормака МакКарти. Они начали отношения, когда ему было 42, а ей 16
Сегодня / 15:45
Новый «Ведьмак» расскажет о молодом Геральте
Сегодня / 15:33
Исполнительница роли Милхауса Памела Хейден заявила об уходе из «Симпсонов»
Сегодня / 15:13
Американка жаловалась на звуки животных под домом. Оказалось, их издавал голый мужчина
Сегодня / 13:50
Минцифры хочет отправить айтишников педагогами в вузы, чтобы их компании могли продлить аккредитацию
Сегодня / 13:49
Большинство тиктоков об СДВГ вводят в заблуждение
Сегодня / 12:55
Ангела Меркель обращалась за советом к папе римскому, когда Дональд Трамп впервые стал президентом
Сегодня / 12:32
В Астраханской области подросток покончил с собой после буллинга в школе
Сегодня / 11:56
Институт Пушкина выбрал слово 2024 года. Это «Пушкин»
Сегодня / 11:19
Россиянин стал учеником гадалки и развел ее на 2 млн рублей
Сегодня / 10:58
В Сестрорецке сгорел шалаш Ленина
Сегодня / 10:41
Российские авиакомпании перестали использовать половину Airbus A320/А321neo из‑за санкций
Сегодня / 10:05
Банан, приклеенный скотчем к стене, продали на аукционе за 6,2 млн долларов
Сегодня / 09:54
В Новой Зеландии задержали нарушителя всего через три минуты после появления нового закона
Сегодня / 08:47
Роберт Паттинсон снова поработает с Кристофером Ноланом
Сегодня / 02:10
Кембриджский словарь назвал словом года глагол «манифестировать»
Сегодня / 01:37
Майли Сайрус выпустит альбом «Something Beautiful», вдохновленный группой Pink Floyd
Сегодня / 01:11
СМИ: Дэниел Крейг сыграет в фильме «Сержант Рок» от DC Studios, который снимет Лука Гуаданьино
Сегодня / 00:37
Шер заявила, что ее бывший муж Сонни Боно серьезно думал о расправе над ней
Вчера / 23:37
Энн Хэтэуэй снимется в экранизации романа «Тайный дневник Верити» Колин Гувер
Вчера / 22:40
Итальянская деревня предложила дома за 1 доллар американцам, недовольным президентскими выборами
Вчера / 22:01
Вышел трейлер многосерийного спин-оффа «Головоломки»
Вчера / 21:44
В Японии маникюрщица начала украшать ногти клиенток мусором из океана
Вчера / 21:01
Игры помогают строить карьеру ― доказано учеными
Вчера / 20:52
Картину Рене Магритта продали на аукционе за рекордную сумму
Вчера / 20:01
S.T.A.L.K.E.R. 2 все-таки вышел. Первые отзывы у игры смешанные
Вчера / 19:50
Создатели «Шершней» анонсировали дату релиза третьего сезона
Вчера / 18:47
В Петербурге сдают мини-помещение, куда можно забраться, лишь сев на корточки
Вчера / 18:41
Самара Уивинг снимется в триллере «Поездка» Йормы Такконе

Нейросеть ElevenLabs запустила автоперевод роликов на русский. Результат похож на дубляж из 90-х

12 октября 2023 в 19:46
Фото: Will Francis/Unsplash.com

Разработчик продуктов для синтеза речи ElevenLabs запустила нейросетевой инструмент для автоматического дубляжа роликов. Он поддерживает 29 языков, включая русский, английский и китайский.

Как и набравший виральную популярность продукт от HeyGen, их продукт также распознает речь, переводит ее, озвучивает с помощью оригинальной звуковой дорожки и стремится сохранить исходный тон и произношение. К тому же нейросеть может распознавать нескольких говорящих. Еще она позволяет дублировать на разные языки ролики с YouTube, TikTok, Vimeo или X (он же твиттер). Для длительного использования понадобится Google-аккаунт.

Конечно, пока это происходит не без ограничений. Например, создатели автопереводчика не позволяют обрабатывать ролики длиной больше 5 минут. Авторы пишут о лимите в 10 тыс. символов — в такой объем текста должны укладываться спикеры на видео, этого должно хватить примерно на 5–6 минут разговора.

Также нейросеть может легко запутаться в большом числе спикеров и не умеет синхронизировать речь с губами людей, а музыка и другие звуковые эффекты могут вызвать артефакты и перепады громкости, что делает ее не очень подходящей для переозвучки трейлеров. Впрочем, с присланным тиктоком и смешным роликом она отлично справится.

В сети инструмент используют для перевода. Например, автор канала «Джимми Нейрон» Женя Мацкевич заставил Сергея Дружко произнести на английском мемную реплику про сильное заявление — от оригинала даже и не отличить.

Автор канала «Кабачковая икра по акции» заметил, что в полученных видео могут появиться проблемы с ударениями, а качество автоматического перевода не всегда на высшем уровне.

В его пробном ролике Сэмюэль Л.Джексон произносит монолог из «Змеиного полета» и жалуется на «черто́вых змей на этом черто́вом самолете» (конечно же, в оригинале актер называет их motherfucking snakes).

Похоже, что нейросети пока сложно угнаться за человеческими эмоциями. Если спикер на видео часто меняет интонацию, инструмент этого может не распознать и в полученном дубляже будет либо кричать до самого конца, либо говорить спокойным голосом.

Например, в легендарной речи «Just Do It» Шайя ЛаБаф главным образом кричит и говорит на русском с небольшим акцентом.

А как нейросеть справилась с диалогом Ви и Джонни Сильверхенда, героем Киану Ривза, в Cyberpunk 2077. Автору ролика результат напомнил пиратские дубляжи фильмов из девяностых.

Расскажите друзьям
Читайте также