MusicGen и AudioCraft: генерация музыки на своём железе

MAATRIX

Нужна фоновая музыка для видео или подкаста, а покупать треки на стоках или платить композитору за каждый ролик — не вариант. Открытые модели генерации музыки от Meta — MusicGen и весь набор инструментов AudioCraft — позволяют получить звуковую дорожку по текстовому описанию прямо на своём сервере, без подписок и без передачи промптов в чужое облако. Разберём, как это работает на практике, чего реально ждать от результата и что нужно из железа.

Как MusicGen и AudioCraft превращают текст в музыку

Принцип тот же, что и у генерации изображений по тексту: вы описываете желаемый результат словами, модель превращает описание в готовый файл. Разница в том, что вместо картинки на выходе — аудио-дорожка.

AudioCraft — это открытый набор инструментов и моделей для генерации звука от Meta, куда входят:

• MusicGen — генерация музыкальных фрагментов по текстовому описанию (жанр, настроение, темп, инструментальный состав);
• AudioGen — генерация звуковых эффектов и окружающих звуков (шум дождя, гул толпы, звук двигателя) — тоже по тексту;
• EnCodec — нейросетевой аудиокодек, на котором построена internal-репрезентация звука в этих моделях.

Технически MusicGen — трансформерная модель, работающая не с сырой звуковой волной напрямую, а с дискретными аудио-токенами, которые получает через EnCodec. Промпт («лёгкая lo-fi мелодия для видео о путешествиях, спокойный ритм, акустическая гитара») кодируется текстовым энкодером, а декодер генерирует последовательность аудио-токенов, которые затем разворачиваются обратно в звуковую волну. По архитектурной логике это ближе к тому, как работают диффузионные и трансформерные модели генерации изображений вроде Stable Diffusion, чем к классическому синтезу звука — отсюда и похожие требования к железу, и похожие ограничения по контролю над результатом.

Важная особенность MusicGen — поддержка мелодической затравки (melody conditioning): помимо текстового описания, можно подать короткий аудио-фрагмент существующей мелодии, и модель сгенерирует новую композицию, которая развивает или обыгрывает заданный мелодический контур в указанном текстом жанре и настроении. Это удобно, когда у вас уже есть напетая или наигранная идея и вы хотите услышать, как она может звучать в другой аранжировке — без необходимости расписывать партии инструментов вручную.

Практические сценарии применения

Прежде чем разворачивать модель на сервере, стоит понять, для каких задач она реально подходит, а для каких — нет.

Где локальная генерация музыки оправдана:

• Фоновая музыка для собственных видео и подкастов. Ролики на YouTube, обучающие видео, скринкасты, интро и аутро подкастов — везде, где музыка не главный герой, а фон, который не должен нарушать авторские права и не должен требовать отдельного бюджета на каждый выпуск.
• Черновики и наброски музыкальных идей. Вы описываете настроение будущего трека, получаете несколько вариантов за минуты — и уже отталкиваетесь от них, дорабатывая в DAW руками или отдавая музыканту как референс «примерно вот так, но живее».
• Эксперименты без композиторских навыков. Если вы не умеете играть на инструментах и не знаете музыкальную теорию, генеративная модель даёт способ быстро проверить, как звучит идея («мрачный эмбиент с редкими ударными», «весёлый чиптюн 8-бит»), прежде чем нанимать профессионала или тратить месяцы на обучение.
• Массовая генерация коротких джинглов для внутренних нужд — уведомления, переходы между сценами, звуковые подложки для презентаций.

Где локальная генерация музыки, скорее всего, разочарует:

• Коммерческий релиз трека, который должен звучать профессионально сведённым и мастерингованным — открытые модели не заменяют сведение, мастеринг и живую игру музыкантов.
• Точное попадание в конкретную структуру песни (куплет-припев-бридж с чёткими акцентами) — модели генерируют скорее атмосферные фрагменты фиксированной длины, а не законченные произведения со сложной композиционной структурой.
• Задачи, где важна повторяемость и точный контроль над отдельными партиями (бас отдельно, барабаны отдельно) — для этого нужны специализированные инструменты компоновки, а не единый сгенерированный микс.

Честные ожидания по качеству

Здесь стоит остановиться отдельно, потому что ожидания от генеративной музыки часто формируются по демо роликам топовых закрытых коммерческих сервисов, а не по реальному опыту работы с открытыми моделями на своём железе.

Открытые модели вроде MusicGen дают музыку приемлемого качества для фоновых и вспомогательных задач — звучит связно, попадает в заданное настроение и жанр в большинстве случаев, но почти всегда ощущается как «сгенерированное»: где-то нестабильный ритм, где-то однообразная гармония, где-то артефакты в тембре инструментов при более длинных фрагментах. Это нормально для модели такого класса и не является поводом считать, что вы что-то настроили неправильно.

Разница с закрытыми коммерческими аналогами реальна: у крупных проприетарных сервисов, как правило, больше вычислительных ресурсов на обучение и более агрессивная постобработка результата, из-за чего демо-ролики звучат эффектнее. Открытая модель, которую вы разворачиваете сами, — это компромисс между контролем/приватностью/бесплатностью использования и итоговым художественным качеством.

Практический совет: протестируйте модель на своих реальных промптах и жанрах до того, как начнёте полагаться на неё для важной задачи. Генерация музыки сильно зависит от того, насколько специфичен и распространён в обучающих данных запрашиваемый жанр — с популярными широкими стилями (lo-fi, эмбиент, простой поп-бит) модель обычно справляется увереннее, чем с узкими нишевыми поджанрами или сложными этническими традициями. Сгенерируйте 10-15 вариантов под задачи, которые у вас реально стоят на повестке, и уже по ним решайте, годится ли инструмент — а не по общим впечатлениям из статей и демо.

Что нужно из железа

Генерация аудио через трансформерные модели такого рода — вычислительно тяжёлая задача, требующая GPU для приемлемой скорости, точно так же как генерация изображений или инференс языковых моделей. На CPU модель, скорее всего, тоже запустится, но генерация даже короткого фрагмента может занимать заметно больше времени, чем на GPU — для рабочего процесса с несколькими итерациями это неудобно.

Конкретные требования к видеопамяти зависят от того, какой размер модели (в терминологии AudioCraft — вариант с меньшим или большим числом параметров) вы используете и какой длительности фрагмент генерируете: чем длиннее композиция, тем больше памяти нужно на промежуточное представление. Не полагайтесь на цифры из старых статей или чужих рекомендаций — точные требования к памяти для конкретной версии инструмента, которую вы собираетесь ставить, стоит проверять в официальной документации репозитория AudioCraft на момент установки: параметры моделей, поддерживаемые режимы точности (fp16/bf16) и рекомендуемая память могут меняться от релиза к релизу.

Общий ориентир по логике аналогичен тому, что применимо к расчёту видеопамяти для генерации изображений: младшие варианты моделей работают на более скромных картах, старшие и более качественные — требуют существенно больше памяти. Точные цифры для актуальной версии MusicGen смотрите в README проекта перед покупкой или арендой конкретной конфигурации сервера.

Установка и первый запуск на своём сервере

Базовый путь развёртывания — через официальный репозиторий AudioCraft на GPU-сервере с Linux и установленными драйверами NVIDIA/CUDA.

Создайте изолированное окружение и поставьте зависимости:

python3 -m venv audiocraft-env
source audiocraft-env/bin/activate
pip install --upgrade pip

# Установка AudioCraft из официального репозитория
pip install 'torch==2.1.0' --index-url https://download.pytorch.org/whl/cu121
pip install git+https://github.com/facebookresearch/audiocraft.git

Версии torch и CUDA-тулкита подбирайте под фактически установленный на сервере драйвер NVIDIA — актуальные требования смотрите в requirements репозитория на момент установки, они меняются между релизами.

Минимальный скрипт генерации по текстовому описанию:

import torchaudio
from audiocraft.models import MusicGen
from audiocraft.data.audio import audio_write

model = MusicGen.get_pretrained('facebook/musicgen-small')
model.set_generation_params(duration=8)  # длительность фрагмента в секундах

descriptions = [
    'спокойный lo-fi бит для видео о путешествиях, мягкие клавишные, лёгкий винил-шум',
]

wav = model.generate(descriptions)

for idx, one_wav in enumerate(wav):
    audio_write(f'output_{idx}', one_wav.cpu(), model.sample_rate, strategy='loudness')

Для генерации с мелодической затравкой используется отдельный вариант модели и метод generate_with_chroma, куда помимо текста передаётся аудио-файл с исходной мелодией — конкретный синтаксис вызова смотрите в примерах официального репозитория, он периодически меняется между релизами библиотеки.

Практические нюансы, с которыми вы, скорее всего, столкнётесь:

• Длительность фрагмента ограничена. Модели этого класса, как правило, устойчиво генерируют относительно короткие фрагменты за один проход — для более длинных композиций придётся либо использовать встроенные механизмы продолжения генерации, либо склеивать несколько сгенерированных кусков в аудио-редакторе.
• Первый запуск скачивает веса модели из HuggingFace Hub — на сервере с ограниченным или платным трафиком это стоит учитывать заранее, вес файлов моделей ощутимо больше, чем для аналогичных задач с текстом.
• Формат вывода — audio_write сохраняет результат в WAV; для получения MP3 или конвертации под конкретный видеоредактор используйте ffmpeg после генерации.
• Веб-интерфейс. Если не хочется работать через скрипты, для AudioCraft/MusicGen существуют неофициальные Gradio-обвязки на GitHub — удобны для быстрого перебора промптов, но проверяйте их актуальность и совместимость с версией библиотеки, которую вы ставите: сторонние обвязки нередко отстают от обновлений основного репозитория.

Правовая чистота: лицензии моделей и данных

Как и с любым другим генеративным контентом — текстом, изображениями, кодом — прежде чем использовать сгенерированную музыку в коммерческом проекте, нужно проверить актуальные условия лицензии конкретной модели, которую вы разворачиваете, и то, что известно о происхождении и лицензионной чистоте её обучающих данных. Это тот же общий принцип, что и с любыми открытыми моделями для коммерческого использования — например, выбор между Granite и Nemotron для корпоративных задач тоже требует явной проверки лицензионных условий, а не предположений «раз открытая модель, значит можно всё».

Конкретно для AudioCraft/MusicGen стоит проверить на момент использования:

• лицензию весов конкретной модели (у разных вариантов в семействе могут быть разные условия использования и разные ограничения);
• лицензию и условия использования кода самого репозитория AudioCraft;
• заявления разработчика о составе обучающих данных — были ли в датасете лицензированные или собственные записи, есть ли ограничения на коммерческое использование результата, генерируемого моделью, обученной на таких данных.

Эта информация публикуется и обновляется в официальном репозитории и card-файлах моделей на HuggingFace — читайте актуальную версию непосредственно перед стартом коммерческого проекта, а не полагайтесь на пересказ из статьи или чужого форумного поста годичной давности: условия лицензирования у таких моделей со временем уточняются.

Частые вопросы