О какой именно музыке идет речь?
У современной музыки, как и у современной фотографии, вычислительное будущее. Это значит, что у музыкантов появятся программные инструменты, которые сочиняют музыку сами по себе, облегчают работу и открывают новые возможности.
Принцип можно объяснить на примере MuseNet, сети машинного обучения OpenAI, придумывающей музыку в разных стилях. Во время обучения MuseNet дали несколько наборов данных с последовательностями нот, а потом задали вопрос: «Какая нота может идти после этой?» Если она угадывала, между двумя нотами складывалась связь. В результате MuseNet генерирует джаз, блюграсс, кантри и в стиле нескольких классических композиторов.
Таких примеров много, например, три года назад одна нейросеть тоже пыталась играть джаз, а другая — Баха. Но MuseNet — самый свежий, прогрессивный и впечатляющий. Во всех случаях нейросеть и алгоритмы, которые ей помогают, теоретически могут генерировать музыку бесконечно, но она всегда будет только попыткой скопировать исходный материал.
Генеративную музыку также получают с помощью кода. Шведский музыкант Дэниел Карлссон использует открытый софт TidalCycles на основе языка Haskell, а токийский программист Реник Белл — библиотеку Conductive, тоже на основе Haskell (его код выглядит примерно так). У обоих получается глитч.
Что из этой музыки самое заметное?
Но самое интересное, когда для машинного обучения используют оригинальные наборы данных. Выходец из Ninja Tune Ашкан Кушанеджад довел идею искусственной музыки почти до предела, поэтому практически все в его новом проекте Йона или сгенерировано, или ненастоящее. Это виртуальная модель с инстаграмом и характером. Еще у нее есть алгоритм, генерирующий тексты из важных для Йоны произведений, есть генерация голоса и частичная генерация музыки. «Есть разница с тем, что я делал раньше: теперь [творчество] персонифицировано через персонажа, — говорил Кушанеджад в интервью RedBull.com, — что в итоге поможет раскрыть его предысторию». Йона будет выступать, и Кушанеджад собирается на этом сэкономить, потому что в туре виртуальной модели ничего не нужно, кроме набора данных на жестком диске.
Авангардистка Холли Херндон применяет другой подход. Ее машинный интеллект Spawn, который она два года разрабатывала вместе с коллегами, не генерирует мелодии и не заменяет музыкантов, а обрабатывает и дополняет. Вместо массивов данных Херндон учила Spawn на собственном голосе и пении, а также на сессиях со своим коллективом, например, на одной из них они щелками пальцами и хлопали в ладоши в микрофоны. «Вы можете услышать, как он пытается угадать, каким будет следующий семпл, и поэтому застревает на гласных — потому что мы произносим гласные дольше», — рассказывала она Spin.
Но на данный момент нейронные сети логичнее назвать музыкальными инструментами, чем‑то вроде современного синтезатора, чем полноценными соавторами песен. И Франсуа Паше, который исполнял сгенерированную песню в стиле The Beatles, редактировал композицию алгоритма, и певица Тарин Сотерн, исполнявшая на генеративную мелодию, правила аранжировки (например, сравните черновик и релизную версию).
«Неправильный» подход нейросетей к музыке, наоборот, может быть интересным. «Был момент, когда мелодия в каком‑то случайном стиле продолжала колебаться между мажором и минором, — рассказывал PCMag.com музыкант Дарен Банарсе, два года назад игравший генерации по ирландским песням. — Стилистически это было неправильно, но это было чем‑то, о чем я сам не подумал». А когда музыканты правят генерации, они делают их более человечными и читаемыми.
С этой музыкой придут перемены?
Во-первых, это ускорит написание новых треков. Музыкант Sevenism из Ноттингема использует кастомный генеративный поток, чтобы писать насыщенный эмбиент и буквально выпускать по одному релизу в неделю. «Я думаю, люди застряли в идее, что нужно месяцами работать, работать, работать над одним треком и добиться совершенства, — объяснял он в интервью RedBull.com. — Я думаю, сейчас можно намного проще, почти импровизационно». Если рэпер Bones умудряется выпускать по четыре-пять альбомов в год, представьте, что он сможет, когда у него появится свой машинный интеллект.
Во-вторых, еще сильнее демократизирует творчество. Генеративный поток как личный битмейкер, который постоянно предлагает что‑то новое. «С ИИ я пишу тексты и вокал на готовый трек, использую его как источник вдохновения, — рассказывала The Verge певица Тарин Сотерн, которая записала трек с генеративной платформой Amper Music. — Я могу перебирать музыку, давать ей фидбэк и задавать параметры столько раз, сколько мне нужно». Как Instagram в 2014 году демократизировал фотографию, объяснял Wired сооснователь агентства The Rattle Джон Идс, так и машинный интеллект понизит порог входа в музыку.
Возможно, музыканты испугаются за свою профессию, как в 1970-х испугались первых драм-машин, считает исследователь в проекте Google Magenta Дуглас Эк, но, скорее всего, все закончится тем, что современные музыканты просто научатся работать с генеративным потоком как с новым инструментом.
А кому она принадлежит?
Чем чаще будут выходить песни, сгенерированные машинным интеллектом, тем больше возникнет споров. Например, кому принадлежат генерации?
Си Джей Карр и Зак Зуковски из Dadabots обучают рекуррентную нейронную сеть на конкретных альбомах и получают генерации в их стиле. Например, разбивают маткор и блэк-метал на отрывки по несколько секунд, показывают их сети и просят угадать следующий отрывок. «Мы заметили, что электроника и хип-хоп-инструменталы не подходят для тренировки [нейросети] так же хорошо, как электроакустическая музыка, — пишут они в исследовании. — Кажется, что жанры вроде металла и панка работают лучше, возможно, потому что получаются странные артефакты нейронного синтеза — шум, хаос, гротескные мутации вокала, которые в эстетике этих стилей являются чем‑то приятным».
Это настоящая генеративная музыка, в которую не вносят правок, но поработать с получившимся материалом все равно приходится: из 900 часов получившихся записей дуэт отбирает материала где‑то на 10 минут.
Но может ли панк-группа NOFX защитить свои авторские права, если Карр и Зуковски решат продавать свой генеративный альбом на основе их альбома «Punk in Drublic» 1994 года?
Первый базовый вопрос: кто вообще владеет правами на произведение, машинный интеллект или музыкант? Скорее всего, в текущем виде законодательство не готово отвечать на этот вопрос. В российском законе субъект авторского права описывается как «физическое лицо, творческим трудом которого создано произведение». Бюро авторского права США в своем Компендиуме практики пишет, что произведение защищается авторским правом только в том случае, если оно «основано на творческой силе ума».
Об отношении к авторским правам на генерации можно судить по суду зоозащитников из PETA, которые представляли макаку Наруто, и фотографа Дэвида Слейтера. На суде решалось, кому принадлежат права на фотографию: макаке — ведь она нажала на кнопку спуска и сделала селфи, или фотографу — ведь установил оборудование и настройки. В итоге права на фотографию макаке не отдали. В Компендиуме практики также сказано, что машина не может владеть правами на произведение, если оно сгенерировано механически или случайно.
С одной стороны, это что‑то вроде использования семплов, и проблем быть не должно. С другой стороны, чтобы обучить нейронную сеть, нужны десятки песен, и не отрывками, а целиком. Но вероятно, NOFX не выиграет суд против автора генераций по мотивам альбомов, потому что генерация в итоге не является произведением NOFX (если, конечно, они не будут продаваться от имени группы). «Если алгоритм учился только на песнях Бейонсе и создал музыку, то это просто робот, — говорила The Verge Мередит Роуз, советница некоммерческой организации Public Knowledge. — Это совершенно не добавляет ничего нового, в этом нет ничего оригинального».
Третий и еще более сложный вопрос: как автор может доказать, что именно его песни использовали для генераций? А что если там были не только его песни? Вероятно, единственный вариант — еще раз обучить нейронную сеть нужной версии на песнях автора и посмотреть, что вышло. Выглядит довольно сложным.
А как изменятся инструменты?
Если про вычислительную музыку все более-менее ясно, то с музыкальными инструментами мы не можем быть так уверены. Возможно, новые инструменты будут работать с жестами, а возможно, они так и останутся дорогими игрушками и концептами.
Если есть генеративная музыка, то должен быть инструмент, чтобы ее играть. Это открытый проект Google, который теоретически может соорудить каждый. У NSynth есть сенсорный экран и зоны с разными звуками. Хитрость в том, что синтезатор генерирует не звуки, а сразу смешанное звучание разных инструментов, например барабана и флейты.
Это устройство играется с проводимостью объектов. С платами Playtronica к музыкальной системе можно подключить вообще все что угодно, включая ананасы и человека, а потом получить новые звуки. Осталось придумать, как использовать это на регулярных выступлениях.
Самый популярный и старый инструмент в этом списке. Это как синтезатор, только звуки на нем меняются в зависимости от силы нажатия, места нажатия и разных жестов. Если хотите послушать, как это звучит на практике, добавьте в библиотеку альбом «ISAM» Амона Тобина.
Никто этого не просил, но это электромеханический синтезатор со звуками от вращения восьми маленьких вентиляторов. Поскольку называется Motor Synth, очевидно, что звучит синтезатор как гоночный мотор.
Что мы на самом деле будем слушать каждый день?
Генеративная музыка и машинный интеллект повлияют не только на производство, но и на прослушивание. Музыка будущего — это бесконечный поток, который собирается из сотен семплов на ходу и практически никогда не повторяется. Например, российское приложение Mubert генерирует хаус, техно и прочую электронику. В нем работает не просто нейронная сеть, рассказывал «Афише Daily» сооснователь Алексей Кочетков, а целый набор алгоритмов, который отвечает за подбор семплов и аранжировок. Нейросеть в Mubert тоже есть, но у нее обслуживающая роль. В другом российском приложении — Endel, генерируется эмбиент для отдыха и сна.
Генерации не ограничатся личным пространством. Торговым центрам, ресторанам и видеоблогерам нужна музыка без авторских прав, чтобы включить на фоне. Этим занимаются не меньше полдюжины стартапов: Melodrive генерирует музыку под видео, Amper Music — музыку по настроению и стилю, PopGun — поп-музыку, Aiva — просто какую‑то музыку. Генерации удобно продавать по подписке, а стоить они будут дешевле песен настоящих артистов. Генерация с платформы Jukedeck для бизнес-клиентов стоит 22 доллара, минутный отрывок в библиотеке PremiumBeat — 50 долларов. Чтобы понимать, какая музыка будет играть в торговых центрах будущего, послушайте трек ниже.
Генеративные потоки Mubert и Endel превращаются в идеальную фоновую музыку: меняется, не отвлекает, не требует никаких действий, чтобы что‑то переключать. Со временем она научится подстраиваться под пульс с Apple Watch и данные акселерометра с айфона, и тогда у каждого появится персональный саундтрек, а также бесконечные ремиксы на любимые треки. Основная аудитория Mubert — поколение Z — люди, которые родились после 1995 года, — а это значит, что генеративная музыка точно никуда не уйдет.
Еще три примера новой музыки от алгоритмов и ИИ
Новая классика в исполнении искусственного интеллекта
Исследователи стали более-менее постоянно применять ИИ при сочинении музыкальных композиций в последние двадцать лет. Одним из пионеров в этой области стал калифорнийский композитор и ученый Дэвид Коуп. Он еще в конце 1980-х годов создал программу EMI (Experiments in Musical Intelligence), которая позволяла придумывать композиции в стилистике определенных авторов. Но он, по его словам, хотел создать более совершенную программу, которая бы сочиняла не мелодии под Моцарта, а самостоятельные авторские композиции. Так появилась Emily Howell. По словам Коупа, эта программа работала не только с библиотекой звуков, но и училась на фидбэке, который давал ей ученый. Так вырабатывался ее авторский стиль. Результатом стал альбом «From Darkness, The Light», вышедший в 2010 году.
Коуп взбалмошен и эксцентричен. Он злился на критиков, которые говорили, что его работы не имеют ничего общего с настоящей музыкой, он удалил основу базы данных для EMI. Он сам пишет музыку, а заодно детективы. Музыка, придуманная Emily Howell, — умеренный авангард, переливчатый, минималистичный и в целом скучный. История вокруг него куда интереснее.
Как алгоритмы меняют поп-музыку
Франсуа Паше, работавший в парижской лаборатории Sony, тоже создал программу для генерации музыки в стилистике других композиторов. Его изобретение, The Flow Composer, создало более 11 тысяч листов с нотами.
В отличие от Коупа Паше интересовался мейнстримовой музыкой. В рамках проекта Flow Machines он по просьбе Sony создал песню в стилистике The Beatles под названием «Daddy's Car». То есть как создал. Мелодию придумал алгоритм, созданный в лаборатории. Однако без человека не обошлось. Финальную аранжировку и текст написал французский музыкант Бенуа Карре.
Карре и Паше решили, что одной песни мало. Они придумали виртуального артиста Skygge («тень» по-датски) и пригласили к сотрудничеству кучу европейских и североамериканских музыкантов, в том числе Кайзу, Stromae, участников Metronomy и Christine and the Queens, минского виолончелиста Дмитрия Цыпкина и французского композитора Эммануэля Дерути. Результат — альбом «Hello World», вышедший в январе 2018 года. Алгоритм придумывал мелодии в разной стилистике, например саундтреки 1950-х годов или американский RʼnʼB, а живые музыканты уже их дорабатывали.
Получилась очень аккуратная интеллигентная и полиритмичная электроника, какой было много в начале нулевых. Сама задумка тут была важнее музыки, но и концепция машины как автора тут воплощена фактически на треть.
Сейчас Паше работает в Spotify, компании, которая лучше многих разбирается во взаимодействии ИИ и музыки. Алгоритмы делают подборки не только на основе предпочтений, но и исходя из прогноза погоды.
Еще одна попытка внедрить ИИ в поп-музыку — сингл американской певицы Тарин Сотерн «Break Free». Музыку к нему писал алгоритм от компании Amper. Впрочем, и здесь сочинение песен не отдали полностью на откуп искусственному интеллекту. Он написал только музыку, однако композицию и аранжировку доделывали люди. Получилась драматичная поп-баллада.
Как Google создал алгоритм, придумывающий композиции за вас
Из всех крупных ИТ-компаний Google ближе всех подобралась к настоящей генеративной музыке. Летом 2016 года в рамках проекта Magenta компания показала полутораминутный музыкальный фрагмент с клавишами и ритм-секцией, полностью сочиненный при помощи ИИ. Основой стал набор данных с международных музыкальных соревнований Yamaha.
Генерировать музыку при помощи гугловского алгоритма может кто угодно. Нехитрый сервис называется AI-Duet. Нажимаете на кнопку — получаете результат: не очень гармоничный набор звуков.
Куда более удачными оказались совместные эксперименты Google с группами Yacht и The Flaming Lips. Первые скормили искусственному интеллекту свой каталог, разделенный по инструментам и коротким фрагментам, чтобы создать новую композицию. Вторые вместе с инженерами проекта Magenta и инструментом Fruit Genie (вместо 88 клавиш всего 8, вместо обычной клавиатуры — 4 фрукта, вы можете создать похожий инструмент, вот инструкция на GitHub) устроили шоу: на концерте в рамках конференции I/O они выкатили воздушные шары в форме фруктов и со специальными сенсорами и акселерометрами. Когда кто‑то из толпы трогал шарик, программа Piano Genie подбирала соответствующую ноту и играла ее.
Опасаться, что алгоритмы в итоге отменят труд композиторов, не стоит. Это идеальный инструмент для тех, кому срочно нужна какая‑то фоновая музыка — например, при сочинении короткометражек или в торговых центрах. Что же до поп-песен, то какими бы ладными сочиненные ИИ композиции ни казались, они звучат как любой другой трек в топах стриминговых сервисов и вряд ли претендуют на то, чтобы двигать культуру вперед. Созданная при помощи ИИ музыка — неизбежный и необходимый фон или приятное развлечение. А для настоящего творчества все равно нужен человек.
Если вы дочитали до этого места и все еще думаете, что в этом посте идет речь о каких‑то модных игрушках, а искусственная музыка появится еще нескоро, то просто послушайте генеративную мелодию ниже. Согласитесь, что по сравнению со всем, что есть выше, она звучит слабо и примитивно. Но стартап Jukedeck создал ее всего три года назад. Если такой прогресс случился с 2016 года, то представьте, какая генеративная музыка у нас будет в 2024 году.
Скрасить свое ожидание настоящей музыки будущего можно новым Barley Bros — это напиток на основе ячменя с добавлением натуральных соков и без сахара. Вкуса два: яблоко с зеленым чаем и лимон — марокканская мята. Купить Barley Bros можно во всех гипермаркетах «Лента», «Бристоль», «Метро», «Ашан», «Перекресток», «Карусель», «Окей», а также в других магазинах розничной торговли.