Portkey AI

Portkeyは、OpenAI互換のendpointを通じて250以上のモデルをフロントエンドとして提供するAIゲートウェイであり、可観測性、50以上のガードレール、キャッシング、およびフォールバックやリトライを伴う条件付きルーティング機能を追加します。プロバイダーの全リストはPortkey docsを参照してください。

APIキーを取得する

app.portkey.ai でキーを作成し、.env ファイルに追加します。また、ゲートウェイURLも必要になります。これは、セルフホスト型またはホスト型のゲートウェイ向けにPortkeyが提供しています：

PORTKEY_API_KEY=your-api-key
PORTKEY_GATEWAY_URL=your-gateway-url

LibreChatは apiKey フィールドを必須としますが、Portkeyではこれを使用しないため、文字列 dummy を渡してください。認証は代わりに x-portkey-* ヘッダーを通じて行われます。Virtual Keys または Configs のどちらでルーティングするかによって、接続方法は2通りあります。librechat.yaml 内の endpoints.custom に以下のいずれかを追加してください。

Virtual Keys

    - name: "Portkey"
      apiKey: "dummy"
      baseURL: ${PORTKEY_GATEWAY_URL}
      headers:
        x-portkey-api-key: "${PORTKEY_API_KEY}"
        x-portkey-virtual-key: "PORTKEY_OPENAI_VIRTUAL_KEY"
      models:
        default: ["gpt-4o-mini"]
        fetch: true
      titleConvo: true
      titleModel: "current_model"
      summarize: false
      summaryModel: "current_model"
      modelDisplayLabel: "Portkey:OpenAI"
      iconURL: https://images.crunchbase.com/image/upload/c_pad,f_auto,q_auto:eco,dpr_1/rjqy7ghvjoiu4cd1xjbf

設定 (Configs)

    - name: "Portkey"
      apiKey: "dummy"
      baseURL: ${PORTKEY_GATEWAY_URL}
      headers:
        x-portkey-api-key: "${PORTKEY_API_KEY}"
        x-portkey-config: "pc-libre-xxx"
      models:
        default: ["llama-3.2"]
        fetch: true
      titleConvo: true
      titleModel: "current_model"
      summarize: false
      summaryModel: "current_model"
      modelDisplayLabel: "Portkey:Llama"
      iconURL: https://images.crunchbase.com/image/upload/c_pad,f_auto,q_auto:eco,dpr_1/rjqy7ghvjoiu4cd1xjbf

注記

Configsを使用すると、Portkey側で top_p や max_tokens といったモデル固有のパラメータを設定できます。Configs docs を参照してください。
PORTKEY_OPENAI_VIRTUAL_KEY および pc-libre-xxx を、Portkeyダッシュボードの仮想キーまたは設定IDに置き換えてください。