Portkey AI

Portkey è un gateway AI che gestisce oltre 250 modelli tramite un endpoint compatibile con OpenAI, aggiungendo osservabilità, oltre 50 guardrail, caching e routing condizionale con fallback e tentativi. Consulta l'elenco completo dei provider nella documentazione di Portkey.

Ottieni una API key

Crea una chiave su app.portkey.ai e aggiungila al tuo file .env. Avrai anche bisogno di un gateway URL, che Portkey fornisce per gateway ospitati o self-hosted:

PORTKEY_API_KEY=your-api-key
PORTKEY_GATEWAY_URL=your-gateway-url

Configurazione

LibreChat richiede il campo apiKey, ma Portkey non lo utilizza, quindi inserisci la stringa dummy. L'autenticazione avviene invece tramite gli header x-portkey-*. Esistono due modi per connettersi, a seconda che si utilizzi il routing tramite Virtual Keys o Configs. Aggiungi una delle seguenti opzioni sotto endpoints.custom nel tuo librechat.yaml.

Chiavi virtuali

    - name: "Portkey"
      apiKey: "dummy"
      baseURL: ${PORTKEY_GATEWAY_URL}
      headers:
        x-portkey-api-key: "${PORTKEY_API_KEY}"
        x-portkey-virtual-key: "PORTKEY_OPENAI_VIRTUAL_KEY"
      models:
        default: ["gpt-4o-mini"]
        fetch: true
      titleConvo: true
      titleModel: "current_model"
      summarize: false
      summaryModel: "current_model"
      modelDisplayLabel: "Portkey:OpenAI"
      iconURL: https://images.crunchbase.com/image/upload/c_pad,f_auto,q_auto:eco,dpr_1/rjqy7ghvjoiu4cd1xjbf

Configs

    - name: "Portkey"
      apiKey: "dummy"
      baseURL: ${PORTKEY_GATEWAY_URL}
      headers:
        x-portkey-api-key: "${PORTKEY_API_KEY}"
        x-portkey-config: "pc-libre-xxx"
      models:
        default: ["llama-3.2"]
        fetch: true
      titleConvo: true
      titleModel: "current_model"
      summarize: false
      summaryModel: "current_model"
      modelDisplayLabel: "Portkey:Llama"
      iconURL: https://images.crunchbase.com/image/upload/c_pad,f_auto,q_auto:eco,dpr_1/rjqy7ghvjoiu4cd1xjbf

Note

I Configs ti consentono di impostare parametri specifici del modello come top_p e max_tokens lato Portkey. Consulta la documentazione dei Configs.
Sostituisci PORTKEY_OPENAI_VIRTUAL_KEY e pc-libre-xxx con la chiave virtuale o l'ID di configurazione dalla tua dashboard Portkey.