Нейросетевые каверы для чайников

Пару недель назад я захотел сделать кавер с одним определённым голосом на какую-нибудь популярную песню.tl;dr всё получилось и ниже вы узнаете, как повторить такой результат:

Быстрое гугление выдаёт несколько онлайновых сервисов, в которых либо можно выбрать из списка уже обученных моделей, либо это дорого, долго и вне моего контроля над генерацией.

Если допустить немного пердолинга, то есть инструмент для локальной установки с простым веб-интерфейсом и кнопкой "Generate".

Но для полноценной работы ему требуются обученные голосовые модели в формате RVC (об этом ниже), функционала обучения в нём нет.

Ещё немного поисков выдают вариации такого колаба:

Этого уже достаточно для создания каверов со своими голосовыми моделями. Первые каверы я делал именно так. Если хотите улучшить качество генерации или оптимизировать сам процесс, то переходите к следующему пункту.

Realistic Voice Cloning (реалистичное копирование голоса) или RVC работает по вполне понимаемому алгоритму.

При обучении:

При копировании голоса:

Конечно "под капотом" всё устроено значительно сложнее, но принцип понятен.

Всё необходимое можно взять отсюда.

Если умеете пользоваться гитом и командной строкой, то можете сразу перейти к пункту про обучение модели. Ниже будет подробная инструкция по установке.

Требования к железу:

Пользователи линукса разберутся сами, остальным качать отсюда.

Из важных флагов установки только этот:

После запустите командную строку (Win+R > powershell > Enter) и проверьте правильность установки командой:

Должно быть что-то типа этого:

Теперь командную строку можно закрыть.

Установим python версии 3.9 (это нужно для инструмента генерации в будущем) отсюда (внизу страницы):

При установке необходимо отметить эти опции:

Ещё раз запускаем командную строку и проверяем правильность установки:

Качаем отсюда архив:

И распаковываем в любую папку. В моём случае C:\ffmpeg и файл ffmpeg.exe находится по адресу C:\ffmpeg\bin\ffmpeg.exe

Почти готово, нужно только добавить путь к ffmpeg в переменную path.

Нажимаем Win и начинаем вводить "изменение переменных среды":

В системных переменных выбираем Path и нажимаем "Изменить..."

Создаём новую переменную с путём до файла ffmpeg.exe

Опять открываем командную строку и проверяем правильность установки:

Создайте на диске папку, где будет размещаться софт для обучения модели. У меня это C:\AIcovers (обойдитесь без пробелов в именах папок, это упростит работу в будущем).

Откройте командную строку и перейдите в только что созданную папку.

Клонируем этот репозиторий в папку train командой:

Переходим в папку train:

Устанавливаем необходимые библиотеки:

Для связки Windows и карт RTX30xx нужно выполнить:

Для варианта Linux и AMD:

Далее выберите свой вариант.

Карта NVIDIA:

Windows и карта AMD или Intel:

Linux и карта Intel:

Осталось скачать предобученные модели для обработки звука. В основном репозитории нет скрипта для автоматического скачивания этих файлов, поэтому я набросал нечто корявое, но рабочее и отправил PR в основной репозиторий. После мержа курсивный текст будет неактуален.

Скачайте и сохраните у себя файл download_models.py в папке train/tools, куда мы клонировали репозиторий. Затем выполните команду:

Готово. Запускаем командой:

И у нас автоматически должно открыться окно браузера с интерфейсом

Если видите это — поздравляю, вы всё сделали правильно. Читайте дальше, чтобы понять, как этим пользоваться.

В интерфейсе переходим на вкладку "Обучение модели":

Нужно подготовить данные для обучения модели.

Задайте название для модели голоса:

Создайте на диске папку и положите в неё один или несколько файлов с записью голоса. Это должны быть аудиофайлы почти в любом формате. Точно поддерживаются wav, mp3 и m4a.

Голос должен быть максимально очищен от шумов и фоновой музыки. Не должно быть посторонних звуков, которые человек не может издавать ртом.

Для редактирования звука можно воспользоваться бесплатным редактором Audacity.

Введите адрес к папке с аудиозаписями в это поле:

Если в пути к этой папке есть пробелы, то добавьте кавычки:

Нажмите кнопку "Обработать данные" и дождитесь сообщения "end preprocess" в поле справа от кнопки.

Следующая операция выполняется немного дольше. Сперва выберите алгоритм обработки данных (извлечения черт):

Лучшее качество дают rmvpe и rmvpe_gpu. Они по-разному нагружают видеокарту и центральный процессор. Я так и не понял, какой лучше, поэтому выбираю второй.

Нажмите кнопку "Извлечь черты" и дождитесь сообщения "all-feature-done" в поле справа от кнопки.

В последнем пункте задайте число "эпох обучения".

Рекомендуется задавать такие значения:

Этот параметр влияет на использование видеопамяти:

Рекомендаций по оптимальному значению не дам, подбирайте экспериментально для каждого датасета, чтобы расход видеопамяти не вылезал за общий её объём, иначе будет использована системная ОЗУ (та самая DDR на материнской плате) и вместо ускорения обучения вы получите замедление.

Нажимайте кнопку "Обучить модель" и ждите окончания процесса. Как и в предыдущих этапах в правом поле будет отображаться результат. В консоли можете следить за ходом процесса:

Медленно, можно быстрее:

Дожидаемся окончания обучения.

Теперь нажимаем кнопку "Обучить индекс черт" и ждём ещё немного.

Заходим в папку с нажим скриптом и по пути assets\weights находим файл *имя-модели*.pth (в моём случае my-voice.pth) и копируем его в отдельную папку.

Теперь по пути logs\*имя-модели* (в моём случае logs\my-voice) находим файл с именем формата added_IVFxxx_Flat_nprobe_1_*имя-модели*_v2.index (у меня это added_IVF2050_Flat_nprobe_1_my-voice_v2.index) и копируем его в папку к файлу .pth из предыдущего пункта.

Запакуйте оба файла в архив zip с любым именем. Можно использовать встроенный инструмент Windows из контекстного меню:

Или значительно более быстрый бесплатный 7zip.

Поздравляю, этот архив и есть нужная голосовая модель в формате RVC.

Предыдущий инструмент, который мы использовали для тренировки модели, вполне подходит для генерации новых треков, но удобство использования у него на очень низком уровне. Обещаю внести свой вклад в исправление этого недостатка. А пока установим намного более дружелюбный инструмент.

Для начала установим необходимый sox.

Установите его и добавьте в переменные среды путь к папке установки, как мы делали в прошлый раз для FFmpeg:

Откройте командную строку и проверьте правильность установки командой:

Перейдите в папку, которую мы создавали для инструмента обучения моделей и клонируйте репозиторий:

Установим зависимости:

Скачаем предобученные модели:

Готово. Запускаем:

В консоли после запуска будет ссылка, по которой открывается веб-интерфейс:

Для задания другого сетевого порта добавьте параметр --listen-port *номер порта*, а для доступности интерфейса с других компьютеров в локальной сети добавьте параметр --listen.

Для доступности из интернета можно добавить параметр --share:

Откроем интерфейс и перейдём на вкладку "Upload model", чтобы добавить обученную на предыдущем этапе модель голоса:

Выберите файл для загрузки, задайте имя модели в поле "Model name" и нажмите кнопку "Upload model".

Если всё правильно, то в поле "Output message" вы увидите такое сообщение:

Теперь переходите на вкладку "Generate" и нажимайте кнопку "Refresh models".

В списке "Voice models" появится загруженная вами модель. Выберите её.

В поле "Song input" можно либо вставить ссылку на ролик на YouTube, либо загрузить файл, выбрать вариант "Upload file instead". Рекомендую начать эксперименты с песни Джонни Кэша, у неё хорошо отделяется вокал и достаточно разборчивый голос для замены.

Нажимайте кнопку "Generate" и ждите результата. Подбирайте параметры, пока не получится что-то хорошее. Делитесь получившимися шедеврами.

Если будут вопросы, то можете задать их мне в телеграме.

Подписывайтесь на канал, ставьте лайки, жмите на колокольчик и всё такое. Всех люблю и обнимаю.