Всё же, в моём понимании, по-настоящему свободная языковая модель должна подниматься и работать на локальной машине, как тот же stable diffusion. То, что хостится "где-то там", - это чьё-то, со своими ограничениями (которые неизбежно будут), которые я отменить не могу даже теоретически.

В общем, было бы хорошо, если бы смогли ужать требования до уровня хотя бы 24гб видеопамяти. Или использовать озу, её вполне реально и больше ста гигов поставить.