Ученые научили нейросеть восстанавливать фортепианную музыку по видео без звука

9 февраля 2021 в 13:45
Изображение на превью: Paul Barton/YouTube

Американские ученые научили нейросеть воссоздавать по видео без звука музыку, сыгранную на фортепьяно. Об этом сообщает TNW.

Вашингтонский университет разработал программное обеспечение с искусственным интеллектом Audeo, которое обучали на роликах пианиста Пола Бартона, играющего Моцарта и Баха. Нейросеть может определить, какие клавиши нажимает музыкант в и каком порядке он это делает.

Также она учитывала силу и время нажатия, чтобы вычислить интенсивность и продолжительность. После этого Audeo передает полученные данные на синтезатор, который транскрибирует их в звук.

Точность восстановленной ИИ музыки проверили в Shazam и SoundHound, которые распознали мелодии в 86% случаев. Это на 7% меньше результатов воспроизведения оригинальных видео Пола Бартона.

«Ранее считалось, что создание музыки, которая звучит так, как будто ее можно сыграть в музыкальном представлении, было невозможным. Алгоритм должен определить сигналы или детали в видеокадрах, связанных со звучанием музыки, и он должен „представить“ звук, которого добивается человек на видео. В этом случае технологии требуется быть одновременно точной и творческой», — заявила старший автор исследования Эли Шлизерман.

В прошлом году в Google добавили функцию поиска песен по пению, насвистыванию и мычанию. Чтобы воспользоваться функцией, нужно открыть приложение Google или голосовой помощник Google Assistant, нажать на иконку микрофона и произнести фразу «What is this song» или «Search for the song». Затем в течение 15 секунд нужно напевать мотив песни.