LORA это мой первый опыт с Dreambooth-подобной тренировкой модели лично. Что бы она заработала так, как нужно, требуется достичь некоего барьера, который бы перезаписал знание токена, что требует от 6 до 13+ тысяч шагов, судя по треду, а так же судя по личным наблюдениям. Моя тренировка для стиля начала давать хоть какие-то результаты в нужном ключ…
и, если у вас 8 гигов - bf16 + default, если 6 - fp16 + xformers, либо flash attention, если не запустится с ними.Только ты вот не учитываешь что не на всех картах есть нормальная поддержка fp16/bf16. У тебя 3070Ti, там она есть и на тюринге она тоже есть. А вот на паскале нету.
Видеокарты поколения Паскаль не особо стоит рассматривать в локальной тренировке энивей. Будет быстрее найти колаб с нужным интерфейсом. Быстрее будет. Там вон человеку выше 10 часов на 1660ти нужно на 7500 шагов, что уж говорить про всё, что ниже 1080/ти.