Portkey AI

Portkey ist ein AI-Gateway, das über 250 Modelle über einen OpenAI-kompatiblen endpoint bereitstellt und dabei Observability, über 50 Guardrails, Caching sowie bedingtes Routing mit Fallbacks und Wiederholungsversuchen hinzufügt. Die vollständige Anbieterliste finden Sie in der Portkey-Dokumentation.

Einen API-Schlüssel erhalten

Erstellen Sie einen Schlüssel unter app.portkey.ai und fügen Sie ihn Ihrer .env Datei hinzu. Sie benötigen außerdem eine Gateway-URL, die Portkey für selbst gehostete oder gehostete Gateways bereitstellt:

PORTKEY_API_KEY=your-api-key
PORTKEY_GATEWAY_URL=your-gateway-url

Konfiguration

LibreChat erfordert das Feld apiKey, aber Portkey verwendet es nicht, übergeben Sie daher den String dummy. Die Authentifizierung erfolgt stattdessen über die x-portkey-*-Header. Es gibt zwei Möglichkeiten zur Verbindung, je nachdem, ob Sie über Virtual Keys oder Configs routen. Fügen Sie eines der folgenden unter endpoints.custom in Ihrer librechat.yaml hinzu.

Virtuelle Schlüssel

    - name: "Portkey"
      apiKey: "dummy"
      baseURL: ${PORTKEY_GATEWAY_URL}
      headers:
        x-portkey-api-key: "${PORTKEY_API_KEY}"
        x-portkey-virtual-key: "PORTKEY_OPENAI_VIRTUAL_KEY"
      models:
        default: ["gpt-4o-mini"]
        fetch: true
      titleConvo: true
      titleModel: "current_model"
      summarize: false
      summaryModel: "current_model"
      modelDisplayLabel: "Portkey:OpenAI"
      iconURL: https://images.crunchbase.com/image/upload/c_pad,f_auto,q_auto:eco,dpr_1/rjqy7ghvjoiu4cd1xjbf

Konfigurationen

    - name: "Portkey"
      apiKey: "dummy"
      baseURL: ${PORTKEY_GATEWAY_URL}
      headers:
        x-portkey-api-key: "${PORTKEY_API_KEY}"
        x-portkey-config: "pc-libre-xxx"
      models:
        default: ["llama-3.2"]
        fetch: true
      titleConvo: true
      titleModel: "current_model"
      summarize: false
      summaryModel: "current_model"
      modelDisplayLabel: "Portkey:Llama"
      iconURL: https://images.crunchbase.com/image/upload/c_pad,f_auto,q_auto:eco,dpr_1/rjqy7ghvjoiu4cd1xjbf

Hinweise

Configs ermöglichen es Ihnen, modellspezifische Parameter wie top_p und max_tokens auf der Portkey-Seite festzulegen. Siehe die Configs-Dokumentation.
Ersetzen Sie PORTKEY_OPENAI_VIRTUAL_KEY und pc-libre-xxx durch den virtuellen Schlüssel oder die Konfigurations-ID aus Ihrem Portkey-Dashboard.