Американская корпорация Meta* запустила генератор музыки AudioCraft, работающий с помощью нейросети и искусственного интеллекта. Об этом сообщили в блоге компании.
Проект состоит из трех частей: MusicGen, AudioGen и EnCodec. Первая модель позволяет создавать музыку на основе текстовых описаний, вторая генерирует звуковые эффекты, а третья дает возможность обрабатывать звук.
По мнению создателей AudioCraft, их разработка поможет музыкантам создавать новые композиции, инди-разработчикам игр — оформлять их виртуальные миры, представителям малого бизнеса — использовать музыку в постах в соцсетях.
В Meta* отметили, что нейросети пока в меньшей степени готовы работать со звуком, нежели с изображениями или текстом, поскольку создавать звуки сложно. В особенности, как подчеркнули в компании, непросто создавать музыку.
«Задача создания связной музыки с помощью ИИ часто решалась с помощью символических жестов вроде использования MIDI или фортепианного ролла. Однако эти подходы не позволяют в полной мере охватить выразительные нюансы и стилистические элементы, встречающиеся в музыке», — написали в блоге.
Представители компании заявили, что «знали, что в этой области можно сделать больше». Так появился AudioCraft, с которым легко взаимодействовать через интуитивно понятный интерфейс и упрощенный дизайн.
«Люди могут легко расширить наши модели и адаптировать их к своим вариантам использования в исследованиях. Как только вы предоставляете людям доступ к моделям, открываются практически безграничные возможности для настройки их в соответствии с потребностями», — добавили в Meta*.
*Meta признана в России экстремистской организацией, ее деятельность на территории страны запрещена.