Я сделал приложение, которое превращает людей в ГигаЧадов и другие мемы с помощью ИИ

И протестировал его на селебах, показываю что у меня вышло и как это работает.

Я сделал приложение, которое превращает людей в ГигаЧадов и другие мемы с помощью ИИ

Привет, DTF! Хочу поделиться приложением, которое я делал последние несколько месяцев. MeMemes — это мобильное приложение, в котором можно превратить кого угодно в персонажей известных мемов: от ГигаЧада до Шрека.

Как мне пришла идея MeMemes

В конце 2022 года я увидел Remix фичу в Midjourney, и как с ее помощью создают мемы, скрещивая свинку Пепе с Талибами и т. д.

Пример работы Midjourney Remix
Пример работы Midjourney Remix

Идея мне понравилась, и я загорелся сделать мемы для своих друзей, используя Remix с их фото. Однако, результаты оказались фиговыми. Фича редко выдавала нормальные результаты на фотках обычных людей и нужно было сильно постараться, чтобы сделать что-то смешное.

В итоге я попробовал сделать такие мемы самостоятельно, используя свои знания о generative AI сетках. Через несколько недель попыток у меня начало что-то получаться, да так, что друзья смеялись, ставили мемы себе на аватарки и просили сгенерить картинки еще своим знакомым. Увидев такую реакцию, я решил создать приложение, чтобы они могли генерировать мемы без моего участия. Так и появился MeMemes.

Техническая реализация приложения

Я решил повторить подход приложения Lensa, которое хайпануло с AI аватарами в Ноябре-Декарбе 2022г, с некоторыми улучшениями. Наверное, кто-то из вас видел в своих лентах портреты, сгенерированные с его помощью.

Портреты Байдена, сгенерированные с помощью Lensa
Портреты Байдена, сгенерированные с помощью Lensa

Если упростить, то работает это следующим образом:

  1. Берем модель Stable Diffusion (бесплатный аналог Midjourney)
  2. Делаем ее файн-тюн, чтобы модель понимала как выглядит пользователь, которого нужно превратить в мемы. Для этого нужно от 8 до 20 его фотографий.
  3. Подбираем промпты — это запросы-подсказки для Stable Diffusion с описанием того какую картинку мы хотим получить
  4. Выставляем настройки для модели и запускаем генерацию

Я еще использую дополнительные модули, чтобы улучшить качество мем-картинок на выходе, но базово все работает так, как описано выше.

В результате, мне удалось добиться качества и стабильности работы лучше чем у Midjourney Remix.

Превращаем Taylor Swift в мемы
Превращаем Taylor Swift в мемы

Как работает MeMemes

Для начала нужно установить приложение, оно есть на Android и на iOS. Установить можно по ссылкам либо написать в поиске вашего магазина приложений MeMemes app.

Приложение работает очень просто:

  1. Выбираем пол
  2. Загружаем от 8 до 10 фотографий
  3. Немного ждем и получаем мемы

При этом важно отобрать хорошие фотографии: где четко видно ваше лицо, с разными фонами и эмоциями, нет других людей в кадре и желательно без аксессуаров вроде очков. Если столько фоток нет, то можно сделать селфи. Чем больше и качественнее фото, тем лучше результат.

Сейчас в приложении бесплатно генерируется 6 мемов. Если хотите сгенерировать 30+ мемов, то нужно немного заплатить. Дообучение такой большой модели как stable diffusion на фотографиях пользователя — это вычислительно очень сложный процесс для которого я арендую дорогие видео карты. Бесплатная генерация меня быстро разорит.

Что ожидать в результате генерации

Из-за особенностей сетки, которой я использую некоторые мемы могут получаться с дефектами (кривыми пальцами, пятнами), либо не очень похожими на пользователя. Моя цель была сделать так, чтобы хотя бы 3/4 мемов были крутого качества.

И, кажется, мне удалось этого добиться. Покажу прикольные мемы, которые мне удалось сгенерировать:

Гарольд, который испытывает боль в новых образах
Гарольд, который испытывает боль в новых образах
AI Батька
AI Батька
Гейб Ньюэлл
Гейб Ньюэлл
Женские мемы тоже получаются неплохо, Лариса Андреевна подтвердит
Женские мемы тоже получаются неплохо, Лариса Андреевна подтвердит
Сделал даже мемы со своим котом, правда с животными алгоритм работает сильно хуже, пришлось поэкспериментировать
Сделал даже мемы со своим котом, правда с животными алгоритм работает сильно хуже, пришлось поэкспериментировать

Создавайте мемы и делитесь удачными картинками в комментариях. Буду рад увидеть ваши результаты и послушать фидбэк по приложению!

6969
38 комментариев

Комментарий недоступен

Ответить

Это что за магаз такой, от братьев китайцев?

6
Ответить

Жесть

2
Ответить

Аутентичненько получается ))

2
Ответить

Ля, дай Габена с последней пикчи, пожалуйста

Ответить
5
Ответить

Наконец-то можно не сношаться с фотошопом

2
Ответить