LiteLLM

LiteLLM Proxy ist ein selbstgehostetes Gateway, das Modelle vieler Anbieter über einen einzigen OpenAI-kompatiblen endpoint bereitstellt, sodass Sie LibreChat auf Ihren eigenen Proxy verweisen können.

Konfiguration

Der API-Schlüssel entspricht dem Wert, der in Ihrer LiteLLM-Proxy-Konfiguration festgelegt wurde, anstatt eines Anbieter-Schlüssels. Verwenden Sie daher den unten stehenden Platzhalter oder Ihren eigenen. Richten Sie baseURL auf Ihren laufenden Proxy aus. Fügen Sie den endpoint unter endpoints.custom in Ihrer librechat.yaml hinzu:

    - name: "LiteLLM"
      apiKey: "sk-from-config-file"
      baseURL: "http://localhost:8000/v1"
      # if using LiteLLM example in docker-compose.override.yml.example, use "http://litellm:8000/v1"
      models:
        default: ["gpt-3.5-turbo"]
        fetch: true
      titleConvo: true
      titleModel: "gpt-3.5-turbo"
      summarize: false
      summaryModel: "gpt-3.5-turbo"
      modelDisplayLabel: "LiteLLM"

Hinweise

• Siehe Using LibreChat with LiteLLM Proxy für eine vollständige Anleitung zur Einrichtung des Proxys.
• Mit fetch: true lädt LibreChat die vollständige Liste der in Ihrem Proxy konfigurierten Modelle, sodass default nur die anfängliche Auswahl darstellt.
• Wenn Sie den gebündelten Proxy aus der docker-compose.override.yml.example ausführen, setzen Sie baseURL auf http://litellm:8000/v1, damit die Container einander über den Dienstnamen erreichen können.