Вчера / 10:26
Дональда Трампа стукнули микрофоном в лицо в прямом эфире
Сегодня / 11:12
На стендап‑комика Артемия Останина завели дело о разжигании ненависти из‑за шутки про инвалида
Сегодня / 09:15
Суд запретил Трампу депортировать иностранцев по закону XVIII века
Сегодня / 07:30
LEGO сообщила о рекордной выручке за 2024 год
Сегодня / 06:20
33 человека погибли в США из‑за мощного урагана
Вчера / 18:50
Дженна Ортега рассказала, что снималась в «Железном человеке-3», но сцены с ней вырезали
Вчера / 16:50
Участница «Евровидения» согласилась убрать из песни слово kant, которое слышалось как ругательство
Вчера / 15:45
Джейсон Айзекс заявил о «двойных стандартах» после обсуждения обнаженной сцены в «Белом лотосе»
Вчера / 14:45
AFP: Павел Дуров покинул Францию с разрешения властей
Вчера / 13:07
Книги Терри Пратчетта указали на деменцию за 10 лет до постановки диагноза
Вчера / 11:55
Джим Джармуш, Ричард Линклейтер, Спайк Ли: стало известно, кто покажет свои фильмы в Каннах
Вчера / 11:53
В Москве открылся сезон велопроката и аренды электросамокатов
Вчера / 11:11
Уилл Смит выпустит свой первый музыкальный альбом за 20 лет
Вчера / 09:59
Разработчикам DeepSeek закрыли выезд из Китая
Вчера / 08:57
Наследство Джина Хэкмена может уйти на благотворительность
Вчера / 08:32
NYT: США запретит въезд туристам из России и Беларуси
Вчера / 08:24
Майкл Б.Джордан хочет взять Джонатана Мейджорса в «Крид-4»
Вчера / 07:02
Нилл Бломкамп поставит новую версию «Звездного десанта»
Вчера / 23:18
Тильда Суинтон сделает перерыв в кинокарьере
Вчера / 22:38
Изабель Мей может присоединиться к Дэвиду Коренсвету в фильме «Mr. Irrelevant»
Вчера / 21:43
Уилла Фицджералд снимется в экранизации романа «Сожалею о тебе» Колин Гувер
Вчера / 21:03
В книжный магазин «Фаланстер» пришли сотрудники прокуратуры
14 марта / 20:35
Комедийный боевик «Рейс навылет» с Джошем Хартнеттом выйдет в российский кинопрокат в апреле
14 марта / 20:05
Настя Ивлеева анонсировала новое реалити-шоу «Чегеря»
14 марта / 19:44
Кирнан Шипка присоединится к сериалу «Индустрия»
14 марта / 18:03
Мартин Скорсезе назвал лучшие фильмы о Нью-Йорке
14 марта / 16:57
Венсан Кассель и Диана Крюгер в полном трейлере «Савана» Дэвида Кроненберга
14 марта / 16:46
Нуми Рапас и Эмма Робертс снимутся в психологическом триллере «Техника»

Ученые научили нейросеть восстанавливать фортепианную музыку по видео без звука

9 февраля 2021 в 10:45
Изображение на превью: Paul Barton/YouTube

Американские ученые научили нейросеть воссоздавать по видео без звука музыку, сыгранную на фортепьяно. Об этом сообщает TNW.

Вашингтонский университет разработал программное обеспечение с искусственным интеллектом Audeo, которое обучали на роликах пианиста Пола Бартона, играющего Моцарта и Баха. Нейросеть может определить, какие клавиши нажимает музыкант в и каком порядке он это делает.

Также она учитывала силу и время нажатия, чтобы вычислить интенсивность и продолжительность. После этого Audeo передает полученные данные на синтезатор, который транскрибирует их в звук.

Точность восстановленной ИИ музыки проверили в Shazam и SoundHound, которые распознали мелодии в 86% случаев. Это на 7% меньше результатов воспроизведения оригинальных видео Пола Бартона.

«Ранее считалось, что создание музыки, которая звучит так, как будто ее можно сыграть в музыкальном представлении, было невозможным. Алгоритм должен определить сигналы или детали в видеокадрах, связанных со звучанием музыки, и он должен „представить“ звук, которого добивается человек на видео. В этом случае технологии требуется быть одновременно точной и творческой», — заявила старший автор исследования Эли Шлизерман.

В прошлом году в Google добавили функцию поиска песен по пению, насвистыванию и мычанию. Чтобы воспользоваться функцией, нужно открыть приложение Google или голосовой помощник Google Assistant, нажать на иконку микрофона и произнести фразу «What is this song» или «Search for the song». Затем в течение 15 секунд нужно напевать мотив песни.

Расскажите друзьям
Теги:
Читайте также
На сайте используются cookies.
Продолжая использовать сайт, вы принимаете условия
[]