https://cyberes.github.io/stable-diffusion-textual-inversion-models/
Попробуй использовать это, если пользуешься Automatic1111
КонтролНет не нужен в таком случае

1

У контрол нет имеется конечно адаптер стилей. Я лично им не смог воспользоваться, не хватает памяти
Тутор тут:
https://dzen.ru/a/ZAevQo_sMVQctdou

1