Попытался эту штуку с локальними моделями использовать (типу llama 13b и другими), вполне неплохо соображает, но очень быстро контекст теряет, если не напоминать, возможно можно настроить чтобы лучше работало, но мне влом стало с этими параметрами морочится