Portkey AI

Portkey est une passerelle IA qui dessert plus de 250 modèles via un endpoint compatible OpenAI, ajoutant de l'observabilité, plus de 50 garde-fous, de la mise en cache et du routage conditionnel avec mécanismes de secours et tentatives automatiques. Consultez la liste complète des fournisseurs dans la documentation de Portkey.

Obtenir une clé API

Créez une clé sur app.portkey.ai et ajoutez-la à votre fichier .env. Vous aurez également besoin d'une URL de passerelle (gateway URL), que Portkey fournit pour les passerelles auto-hébergées ou hébergées :

PORTKEY_API_KEY=your-api-key
PORTKEY_GATEWAY_URL=your-gateway-url

Configuration

LibreChat nécessite le champ apiKey, mais Portkey ne l'utilise pas, donc passez la chaîne dummy. L'authentification s'effectue via les en-têtes x-portkey-*. Il existe deux manières de se connecter, selon que vous utilisez le routage par Virtual Keys ou par Configs. Ajoutez l'une des options suivantes sous endpoints.custom dans votre librechat.yaml.

Clés virtuelles

    - name: "Portkey"
      apiKey: "dummy"
      baseURL: ${PORTKEY_GATEWAY_URL}
      headers:
        x-portkey-api-key: "${PORTKEY_API_KEY}"
        x-portkey-virtual-key: "PORTKEY_OPENAI_VIRTUAL_KEY"
      models:
        default: ["gpt-4o-mini"]
        fetch: true
      titleConvo: true
      titleModel: "current_model"
      summarize: false
      summaryModel: "current_model"
      modelDisplayLabel: "Portkey:OpenAI"
      iconURL: https://images.crunchbase.com/image/upload/c_pad,f_auto,q_auto:eco,dpr_1/rjqy7ghvjoiu4cd1xjbf

Configs

    - name: "Portkey"
      apiKey: "dummy"
      baseURL: ${PORTKEY_GATEWAY_URL}
      headers:
        x-portkey-api-key: "${PORTKEY_API_KEY}"
        x-portkey-config: "pc-libre-xxx"
      models:
        default: ["llama-3.2"]
        fetch: true
      titleConvo: true
      titleModel: "current_model"
      summarize: false
      summaryModel: "current_model"
      modelDisplayLabel: "Portkey:Llama"
      iconURL: https://images.crunchbase.com/image/upload/c_pad,f_auto,q_auto:eco,dpr_1/rjqy7ghvjoiu4cd1xjbf

Notes

Les Configs vous permettent de définir des paramètres spécifiques au modèle tels que top_p et max_tokens du côté de Portkey. Consultez la documentation des Configs.
Remplacez PORTKEY_OPENAI_VIRTUAL_KEY et pc-libre-xxx par la clé virtuelle ou l'ID de configuration provenant de votre tableau de bord Portkey.