Обновление FaceFusion v3.0.0 — ультимативной нейросети для дипфейков

Обновление FaceFusion v3.0.0 — ультимативной нейросети для дипфейков

Всем привет!

В этой статье взглянем на FaceFusion версии 3.0.0 — мощный инструмент для замены лиц на изображениях и видео!

Для использования понадобится всего лишь фотография в профиль. Также в статье расскажу, как не париться с установкой и запустить FaceFusion в один клик.

Основные возможности FaceFusion:

  • Замена лиц на фото и видео;
  • Улучшение качества лиц и кадров;
  • Раскрашивание черно-белых видео;
  • Синхронизация губ (Lip-sync);
  • Поддержка нескольких моделей для замены лиц;
  • Настройка параметров обработки;
  • Работа с несколькими лицами в кадре.

А в последней версии добавлено следующее:

  • Добавлена возможность изменения возраста;
  • Улучшение качества пикселей для алгоритмов замены лиц;
  • Live Portrait улучшает выражения лиц на фотографиях;
  • Порядок выбора лиц теперь учитывает возраст, пол и другие параметры;
  • Новые видеокодеки h264_videotoolbox и hevc_videotoolbox;
  • Исправлено качество изображений формата webp;

и другие улучшения и изменения, весь список вы можете прочесть на GitHub.

❯ Интерфейс

Интерфейс нейросети FaceFusion 3.0.0
Интерфейс нейросети FaceFusion 3.0.0

Основные параметры

1. Source — источник, сюда мы подгружаем лицо, на которое будем заменять. В данном случае это моя фотокарточка.

2. Target — изображение или видео, на котором мы хотим заменить лицо.

3. Output — результат генерации.

Trim Frame — (появляется при работе с видео) обрезка кадра, если не нужно делать видео полностью.

4. Face Selector Mode — режим селектора лица, то есть выбор лица для свапа.

Режимы селектора лица:

  • Режим reference — заменяем выбранное эталонное лицо в reference face.
  • Режим one — меняет лицо в соответствии с параметрами, о которых ниже, по умолчанию заменяет самое левое лицо в кадре.
  • Режим many — меняет все лица в кадре.

5. Face Mask Types — тип масок лица. Особо ничего не меняет, можете посмотреть, как он работает наглядно, включив face_debugger, о котором ниже. У типа region можно выбрать, какие элементы лица не менять (например рот, тон кожи, нос, верхнюю губу и т. п.).

Блок Face Mask Padding помогает сдвигать маску по горизонтали и вертикали, но лично мне это ни разу не пригодилось.

6. Face Detector Model — модель детектора лица, поможет анализировать лица разными способами (например, слева-направо, сверху вниз, от маленького к большому и т. п., а также по полу и возрасту). И если, к примеру, вы выбрали режим селектора лица one, то он будет детектить только нужные лица в соответствии с этими настройками.

7. Процессоры кадров

face_swapper — заменяет лицо.

face_enhancer — улучшение лица.

frame_enhancer — улучшение всего кадра.

age_modifier — изменение возраста.

frame_colorizer — окрашивание черно-белых изображений и видео.

face_debugger — отображение типов масок лица.

expression_restore — помогает сделать выражения лиц более эмоциональными после замены.

Вы можете использовать один или сразу несколько процессоров кадров.

Обновление FaceFusion v3.0.0 — ультимативной нейросети для дипфейков

❯ Модели

Для каждого процессора кадров есть свои модели и все они работают по-разному. Экспериментируйте и пробуйте разные!

Face Swapper Model — модели замены лица. Самая часто использумая — inswapper_128_fp16, она чуть быстрее чем обычный inswapper_128.

Face Enhancer Model — по аналогии, модели для улучшения лица. Я предпочитаю gfpgan_1.4.

Ну и для остальных процессоров также есть свои модели. Они появляются после того, как вы добавите один из процессоров кадров.

Если при выборе модели у вас в терминале выскакивает надпись, что модель отсутствует, просто внизу страницы уберите галочку со skip_download, она мешает скачиванию модели.

Другие параметры

Execution providers — среда выполнения. Если у вас видеокарта NVIDIA, то выбирайте режим Cuda. CPU, соответственно, использование ресурсов процессора.

Execution Thread Count — количество потоков выполнения. Желательно выставлять побольше, но не рекомендую ставить в самый потолок.

Video Memory Strategy — стратегия видеопамяти. Не рекомендую его менять от слова совсем, в крайнем случае у вас просто вся видеопамять будет загружена. Также не рекомендую изменять Output Video Resolution и Output Video FPS, так как они задаются автоматически, когда вы подгружаете видео или gif.

Блок Options:

  • keep-temp — сохраняет нарезанные кадры.
  • skip-audio — позволяет не использовать звуковую дорожку на видео.

Остальные параметры не особо интересные, либо особо ни на что не влияют, поэтому двигаемся далее!

❯ Возможности FaceFusion

Обновление FaceFusion v3.0.0 — ультимативной нейросети для дипфейков

Как вы уже поняли, FaceFusion работает и с изображениями, и с видео (и даже с видео со звуком), действительно ультимативная нейросеть для дипфейков. В последнем обновлении так же добавили модификатор возраста, сейчас посмотрим, на что она способна!

Начнем от простого к сложному.

Очень интересно, давайте попробуем поиграться с функцией восстановления цвета:

Еще один пример с еще одной известной личностью:

Также в этой версии добавили процессор age_modifier, давайте посмотрим, как он работает

Вот статичный и более наглядный пример:

Обновление FaceFusion v3.0.0 — ультимативной нейросети для дипфейков

Ну и даже с разными тонами кожи нейросеть справляется хорошо:

Ну и если нужно заменить МНОГО лиц, да еще и с восстановлением цвета, то пожалуйста (кстати, еще добавил expression_restorer, а то уж больно скучные лица были).

В заключение хочется сказать, что FaceFusion очень мощный и полезный инструмент, который может пригодиться всем, кто так или иначе сталкивается с созданием или публикацией контента.

Обновление FaceFusion v3.0.0 — ультимативной нейросети для дипфейков

Поэтому используйте ПО исключительно в позитивном ключе, придерживаясь этики и закона:

  • Не используйте лица людей без их явного согласия.
  • Избегайте применения для обмана или введения в заблуждение других лиц.
  • Воздержитесь от использования в коммерческих целях без соответствующих разрешений.
  • Не создавайте контент, порочащий репутацию или унижающий достоинство других людей.
  • Не применяйте технологию для создания фальшивых новостей или дезинформации.
  • Избегайте использования в целях политической пропаганды или манипуляции общественным мнением.
  • Не используйте для создания порнографического контента без согласия.
  • Воздержитесь от применения в ситуациях, где требуется подтверждение личности (например, при онлайн-экзаменах или собеседованиях).
  • Не используйте для обхода систем безопасности или аутентификации.
  • Избегайте создания контента, нарушающего авторские права или интеллектуальную собственность.

Помните, что ответственность за его использование лежит на пользователе. Применяйте технологию этично, уважая права и достоинство других людей

Чтобы установить FaceFusion, достаточно скачать нашу портативную версию с установкой в один клик.

Перед установкой отключите антивирус, он ругается на самораспаковывающийся архив. Если переживаете, то скачивайте 7z-архив, который нужно просто разархивировать в любое удобное место.

Обновление FaceFusion v3.0.0 — ультимативной нейросети для дипфейков

Подписывайтесь на 👾Нейро-Софт, канал с портативными версиями ваших любимых нейросетей!

118118
11
11
11 комментариев

А для дикпиков пойдет?

3
Ответить

член на картинке будет больше, но не в руке.

2
1
Ответить

Она вроде заблочена на nsfw

Ответить

Для использования понадобится всего лишь фотография в профиль.Ни одной фотографии в профиль

Ответить

Аффтар не знает, что такое "в профиль" и что такое "анфас"

2
Ответить

Я тестил эту вещь и она не очень. Качество сильно плохое и меняет только глаза, нос и губы. Форму головы и волосы не меняет)

1
Ответить

Это FaceSwap а не HeadSwap

Ответить