Я такой фокус видел кажется у LLaVA где они взяли LLaMA и на основе его ответов докатывали свою модельку, выходило неплохо так-то. Надо попробовать с СДшкой или Кандинским так же