LibreChatPortkey AI
LibreChatでPortkey AIをカスタムendpointとして設定する。
Portkeyは、OpenAI互換のendpointを通じて250以上のモデルをフロントエンドとして提供するAIゲートウェイであり、可観測性、50以上のガードレール、キャッシング、およびフォールバックやリトライを伴う条件付きルーティング機能を追加します。プロバイダーの全リストはPortkey docsを参照してください。
APIキーを取得する
app.portkey.ai でキーを作成し、.env ファイルに追加します。また、ゲートウェイURLも必要になります。これは、セルフホスト型またはホスト型のゲートウェイ向けにPortkeyが提供しています：
PORTKEY_API_KEY=your-api-key
PORTKEY_GATEWAY_URL=your-gateway-url設定
LibreChatは apiKey フィールドを必須としますが、Portkeyではこれを使用しないため、文字列 dummy を渡してください。認証は代わりに x-portkey-* ヘッダーを通じて行われます。Virtual Keys または Configs のどちらでルーティングするかによって、接続方法は2通りあります。librechat.yaml 内の endpoints.custom に以下のいずれかを追加してください。
Virtual Keys
- name: "Portkey"
apiKey: "dummy"
baseURL: ${PORTKEY_GATEWAY_URL}
headers:
x-portkey-api-key: "${PORTKEY_API_KEY}"
x-portkey-virtual-key: "PORTKEY_OPENAI_VIRTUAL_KEY"
models:
default: ["gpt-4o-mini"]
fetch: true
titleConvo: true
titleModel: "current_model"
summarize: false
summaryModel: "current_model"
modelDisplayLabel: "Portkey:OpenAI"
iconURL: https://images.crunchbase.com/image/upload/c_pad,f_auto,q_auto:eco,dpr_1/rjqy7ghvjoiu4cd1xjbf設定 (Configs)
- name: "Portkey"
apiKey: "dummy"
baseURL: ${PORTKEY_GATEWAY_URL}
headers:
x-portkey-api-key: "${PORTKEY_API_KEY}"
x-portkey-config: "pc-libre-xxx"
models:
default: ["llama-3.2"]
fetch: true
titleConvo: true
titleModel: "current_model"
summarize: false
summaryModel: "current_model"
modelDisplayLabel: "Portkey:Llama"
iconURL: https://images.crunchbase.com/image/upload/c_pad,f_auto,q_auto:eco,dpr_1/rjqy7ghvjoiu4cd1xjbf注記
- Configsを使用すると、Portkey側で
top_pやmax_tokensといったモデル固有のパラメータを設定できます。Configs docs を参照してください。 PORTKEY_OPENAI_VIRTUAL_KEYおよびpc-libre-xxxを、Portkeyダッシュボードの仮想キーまたは設定IDに置き換えてください。
このガイドはいかがでしたか？