Dépôt GitHubIntermédiaireScore 45/100
litellm
SDK Python et passerelle (gateway) pour appeler plus de 100 API LLM au format OpenAI, avec suivi des coûts.
Description
Ce que ça fait
LiteLLM expose plus de 100 API de LLM (Bedrock, Azure, OpenAI, Vertex AI, Cohere, Anthropic, etc.) derrière un seul format d’appel, celui d’OpenAI. Disponible en SDK Python et en serveur proxy (passerelle IA) auto-hébergeable. La passerelle ajoute suivi des coûts, garde-fous, répartition de charge et journalisation.
Quand l’utiliser
Quand tu veux appeler plusieurs fournisseurs de LLM avec un code unique, ou centraliser coûts et accès derrière une passerelle.
Cas d’usage
Appel unifié de fournisseurs LLM · suivi des coûts · répartition de charge · garde-fous et journalisation