LiteLLM

LiteLLM Proxy est une passerelle auto-hébergée qui expose des modèles provenant de nombreux fournisseurs via un point de terminaison unique compatible avec OpenAI, vous permettant ainsi de diriger LibreChat vers votre propre proxy.

Configuration

La clé API correspond à la valeur définie dans votre configuration de proxy LiteLLM plutôt qu'à une clé de fournisseur, utilisez donc l'espace réservé ci-dessous ou le vôtre. Pointez baseURL vers votre proxy en cours d'exécution. Ajoutez l'endpoint sous endpoints.custom dans votre librechat.yaml :

    - name: "LiteLLM"
      apiKey: "sk-from-config-file"
      baseURL: "http://localhost:8000/v1"
      # if using LiteLLM example in docker-compose.override.yml.example, use "http://litellm:8000/v1"
      models:
        default: ["gpt-3.5-turbo"]
        fetch: true
      titleConvo: true
      titleModel: "gpt-3.5-turbo"
      summarize: false
      summaryModel: "gpt-3.5-turbo"
      modelDisplayLabel: "LiteLLM"

Notes

• Consultez Using LibreChat with LiteLLM Proxy pour un guide complet sur la configuration du proxy.
• Avec fetch: true, LibreChat charge la liste complète des modèles configurés dans votre proxy, donc default n'est que la sélection initiale.
• Si vous exécutez le proxy fourni dans docker-compose.override.yml.example, définissez baseURL sur http://litellm:8000/v1 afin que les conteneurs puissent communiquer entre eux via le nom du service.