LiteLLM упрощает работу с API OpenAI-формата, включая Bedrock, Hugging Face, VertexAI, TogetherAI, Azure, Groq и т. д. Он служит своего рода прокси-сервером, который берет на себя управление вызовами API, обработку ответов и оптимизацию использования моделей. Основные возможности:
На меня после этого поста депрессия накатила.