Как делаю я:
1. В блендере строим позу, экспортируем цвет, глубину, контур по желанию
2. В comfyui пайп такой: через контролнет рисуем персонажа по полученным из блендера картам.
3. Загружаем нужное лицо, с помощью insight face делаем нужную форму черепа + через roop делаем уже очертания лица.

Нюанс такой, что нужно иметь небольшой датасет разных ракурсов нужного лица.

Самое главное что результат довольно контролируемый.