Не совсем понял. Если у нас уже есть описание, хорошо генерящее нужного персонажа, то почему не создать датасет, а затем embedding с его помощью напрямую?

Буквально как тут:
https://github.com/BelieveDiffusion/tutorials/tree/main/consistent_character_embedding#readme