LiteLLM

LiteLLM Proxy is een zelf-gehoste gateway die modellen van vele providers beschikbaar stelt via één enkel OpenAI-compatibel endpoint, zodat je LibreChat naar je eigen proxy kunt laten wijzen.

Configuratie

De API-sleutel komt overeen met de waarde die is ingesteld in je LiteLLM proxy-configuratie in plaats van een provider-sleutel, dus gebruik de onderstaande placeholder of je eigen sleutel. Wijs baseURL naar je actieve proxy. Voeg het endpoint toe onder endpoints.custom in je librechat.yaml:

    - name: "LiteLLM"
      apiKey: "sk-from-config-file"
      baseURL: "http://localhost:8000/v1"
      # if using LiteLLM example in docker-compose.override.yml.example, use "http://litellm:8000/v1"
      models:
        default: ["gpt-3.5-turbo"]
        fetch: true
      titleConvo: true
      titleModel: "gpt-3.5-turbo"
      summarize: false
      summaryModel: "gpt-3.5-turbo"
      modelDisplayLabel: "LiteLLM"

Opmerkingen

• Zie Using LibreChat with LiteLLM Proxy voor een volledige handleiding over het instellen van de proxy.
• Met fetch: true laadt LibreChat de volledige lijst met modellen die in je proxy zijn geconfigureerd, dus default is alleen de initiële selectie.
• Als je de gebundelde proxy uitvoert vanuit docker-compose.override.yml.example, stel dan baseURL in op http://litellm:8000/v1 zodat de containers elkaar kunnen bereiken via de servicenaam.