Arma: приложение, которое играет электронную музыку на основе ваших жестов

Экран Arma разделен на множество квадратов: четыре квадрата слева отвечают за ударные, 16 квадратов справа — за синтез звука. Пользователь перемещает руки от квадрата к квадрату, поднимает и убирает пальцы, а приложение подбирает под эти комбинации биты, а также делает звук выше или ниже. На выходе получаются электронная композиция и видео, по которому можно следить, как движения человека влияют на музыку.

«Артист создал сцену, а пользователь слушает и управляет развитием композиции. Похоже, что это новая форма искусства — инсталляция, которую можно скачать, чтобы удаленно познать новый опыт. Вначале мы могли только верить, что у нас получится что‑то интересное. А спустя год сами почти каждый день играем музыку в Arma и видим, что потенциал этого приложения только начал раскрываться».

Авторы приложения раньше не занимались разработкой. Варвара Шилова работала как художница и модель, а Святослав Иванов снимал рекламу и клипы в качестве режиссера и оператора. Два года назад он сменил профессию и занялся программированием. В какой‑то момент Иванов увлекся нейронными сетями, и вместе они обнаружили, что мощностей обычного смартфона уже хватает, чтобы с ними работать. «Нам захотелось придумать творческий проект, — рассказывает Шилова, — а любовь к танцам и музыке органически привела нас к этой идее». Первую концепцию они сформулировали год назад и начали работать как над сторонним проектом, но потом поняли, что на приложение нужно тратить все свое время. В итоге Иванову пришлось уволиться из крупного российского банка, где он был ведущим разработчиком.

Авторы приложения придумали идею, но не решили, как именно хотят ее воплотить. Было несколько вариантов. Сначала они собирались сделать универсальный интерфейс для профессиональных музыкантов. «Чтобы каждый смог через MIDI контролировать свои инструменты движениями пальцев, — объясняет Шилова. — Мы обязательно закончим этот проект, у нас на него большие планы».

Была концепция приложения, которое создает музыку с помощью танца. «Ты как будто стучишь в барабан, контролируешь ритм, динамику звука, но при этом никуда стучать тебе не надо, — объясняет Шилова. — Легким движением вверх и вниз ты создаешь этот ритм, а движениями рук — остальные мелодии». Эта идея оказалась слишком сложной в реализации: от пользователя она требует большой концентрации, а от разработчиков — еще одной нейросети, которая будет «интерпретировать движения в музыку не механически, а более антропоморфно».

В итоге они склонились к простому и потенциально популярному варианту — «плееру интерактивной музыки».

Приложение работает на основе двух больших частей. Первая — нейронная сеть, которая воспринимает пальцы. Сначала авторы пробовали найти готовое решение в открытом доступе, но в основном им попадались алгоритмы для распознавания всего тела. Поэтому они решили обучить нейросеть сами. Сначала использовали фотографии своих рук, потом попросили друзей сфотографировать их руки, а в конце нашли на сайте для машинного обучения Kaggle датасет с 20 тыс. фотографий рук и закончили обучение на его основе. У них получилась пара алгоритмов: «один распознает ладонь, а второй ищет на руке пальцы».

Вторая — AudioKit, открытый фреймворк для синтеза и обработки звуков на iOS. Работа над приложением еще не закончена. Летом авторы собираются сотрудничать с артистами и, возможно, добавить в Arma новые звуки.

Механика, подобная той, что использует Arma, в будущем может создать новый жанр танца, в котором исполнитель отвечает сразу и за движения, и за музыку. Например, чем‑то подобным занимается стартап Mictic, разрабатывающий браслеты для преобразования движений рук в звуки барабанов и баса. В прошлом году эти устройства опробовал танцор Государственного балета Берлина Ришат Юлбарисов.

«Мы хотим продолжить исследования в этом направлении. Очень трудно добиться того, чтобы язык тела на уровне звуковых сигналов был понятным и мелодичным, — говорит Шилова. — Это важная задача — дать человеку инструмент, чтобы выражаться без посредников». Дополненная реальность может упростить реализацию танца: во-первых, она распознает больше движений, во-вторых, ей не нужны дополнительные устройства — достаточно телефона.