Portkey AI

Portkey is een AI-gateway die fungeert als interface voor meer dan 250 modellen via een OpenAI-compatibel endpoint, en voegt observability, 50+ guardrails, caching en voorwaardelijke routering met fallbacks en retries toe. Bekijk de volledige lijst met providers in de Portkey docs.

Een API-sleutel verkrijgen

Maak een sleutel aan op app.portkey.ai en voeg deze toe aan je .env bestand. Je hebt ook een gateway URL nodig, die Portkey verstrekt voor zelf-gehoste of gehoste gateways:

PORTKEY_API_KEY=your-api-key
PORTKEY_GATEWAY_URL=your-gateway-url

Configuratie

LibreChat vereist het apiKey veld, maar Portkey gebruikt dit niet, dus geef de string dummy op. Authenticatie vindt in plaats daarvan plaats via de x-portkey-* headers. Er zijn twee manieren om verbinding te maken, afhankelijk van of je routeert via Virtual Keys of Configs. Voeg een van de volgende toe onder endpoints.custom in je librechat.yaml.

Virtuele sleutels

    - name: "Portkey"
      apiKey: "dummy"
      baseURL: ${PORTKEY_GATEWAY_URL}
      headers:
        x-portkey-api-key: "${PORTKEY_API_KEY}"
        x-portkey-virtual-key: "PORTKEY_OPENAI_VIRTUAL_KEY"
      models:
        default: ["gpt-4o-mini"]
        fetch: true
      titleConvo: true
      titleModel: "current_model"
      summarize: false
      summaryModel: "current_model"
      modelDisplayLabel: "Portkey:OpenAI"
      iconURL: https://images.crunchbase.com/image/upload/c_pad,f_auto,q_auto:eco,dpr_1/rjqy7ghvjoiu4cd1xjbf

Configs

    - name: "Portkey"
      apiKey: "dummy"
      baseURL: ${PORTKEY_GATEWAY_URL}
      headers:
        x-portkey-api-key: "${PORTKEY_API_KEY}"
        x-portkey-config: "pc-libre-xxx"
      models:
        default: ["llama-3.2"]
        fetch: true
      titleConvo: true
      titleModel: "current_model"
      summarize: false
      summaryModel: "current_model"
      modelDisplayLabel: "Portkey:Llama"
      iconURL: https://images.crunchbase.com/image/upload/c_pad,f_auto,q_auto:eco,dpr_1/rjqy7ghvjoiu4cd1xjbf

Opmerkingen

Configs stellen je in staat om modelspecifieke parameters zoals top_p en max_tokens aan de kant van Portkey in te stellen. Zie de Configs docs.
Vervang PORTKEY_OPENAI_VIRTUAL_KEY en pc-libre-xxx door de virtuele sleutel of config-ID uit je Portkey-dashboard.