AudioCraft — нейросеть для создания музыки по описанию

AudioCraft — это библиотека для PyTorch, которая позволяет генерировать нейросетевую музыку.

Это инструмент, который позволяет преобразовывать текст в код, обучать ИИ-модели для генерации музыки и получать вывод в виде звуковых дорожек. Сами ИИ для генерации музыки — это AudioGen и MusicGen.

Что входит в AudioCraft

AudioCraft состоит из четырех инструментов:

1. MusicGen: нейросеть для создания музыки из текстового описания. Есть четыре предобученные модели.
   а) musicgen-small — 300М, превращает текст в музыку.
   б) musicgen-medium — 1.5В, также превращает текст в музыку.
   в) musicgen-melody — 1.5В, превращает текст в музыку, также преобразует текст и мелодию в полноценную песню.
   г) musicgen-large — 3.3В, превращает текст в музыку.
2. AudioGen: 1.5В-нейросеть для преобразования текста в звук. Она отличается от AudioGen тем, что генерирует не музыку, а, к примеру, звуки шагов по снегу, пение сверчков, и так далее.
3. EnCodec: нейронный высокоточный аудиокодек.
4. Multi Band Diffusion: совместимый с EnCodec декодер.

Установка AudioCraft

Для работы с AudioCraft понадобятся Python 3.9 и PyTorch 2.0.0.

Чтобы установить AudioCraft, выполните следующую команду:

			# Best to make sure you have torch installed first, in particular before installing xformers.
# Don't run this if you already have PyTorch installed.
pip install 'torch>=2.0'
# Then proceed to one of the following
pip install -U audiocraft  # stable release
pip install -U git+https://git@github.com/facebookresearch/audiocraft#egg=audiocraft  # bleeding edge
pip install -e .  # or if you cloned the repo locally (mandatory if you want to train).
		

Мы рекомендуем установить ffmpeg через Терминал, если вы используете Linux, либо через Anaconda:

			sudo apt-get install ffmpeg
# Or if you are using Anaconda or Miniconda
conda install 'ffmpeg<5' -c  conda-forge
		

Примеры сгенерированной музыки

На YouTube есть масса примеров с музыкой, сгенерированной AudioCraft. Эта музыка сильно отличается друг от друга: есть композиционно замечательные мелодии, а есть неудачные, в которых даже ритм страдает.

Как и в случае с ChatGPT или с Midjourney, всё зависит от промпта. Чем больше деталей вы укажете в запросе, тем качественнее будет результат. Ниже — подборка музыки, которая получилась удачной. Обратите внимание, что в каждом промпте первым делом указаны bpm — удары в минуту.