Модель MusicGen является частью библиотеки Audiocraft для обработки и генерации аудио на основе нейросетей с глубоким обучением. Кроме модели MusicGen, которая, как можно догадаться по названию, отвечает за генерацию музыки, в Audiocraft есть нейросеть AudioGen для генерации звуков по текстовому запросу, нейросетевой аудиокодек EnCodec и совместимый с ним декодер Multi Band Diffusion.
Библиотека Audiocraft со всеми моделями находится в открытом доступе — скачать ее можно с репозитория GitHib . Там же есть инструкция по установке модели на локальный компьютер. Что самое интересное — Meta* дала возможность самостоятельно дообучать модель и сделала инструкцию о том, как это сделать. Можно, например, натренировать модель на песнях «Арии» и заставить Кипелова петь современные поп-хиты. Но будьте аккуратны — могут и привлечь за нарушение авторских прав .