LiteLLMLiteLLM позволяет вызывать все API-интерфейсы (100+) LLM с использованием формата OpenAI.
Поддерживаемые поставщики включают OpenAI, Azure, AWS, Google, Cohere, Huggingface, VertexAI, TogetherAI и многие другие.
https://github.com/BerriAI/litellm
https://docs.litellm.ai/docs/