TrueFoundry AI Gateway

LibreChatでTrueFoundry AI Gatewayをカスタムendpointとして設定する。

TrueFoundry AI Gatewayは、アプリケーションとLLMプロバイダーの間に位置するエンタープライズ向けのプロキシ層であり、組み込みの可観測性とガバナンスを備えたOpenAI互換の統合インターフェースを通じて、1000以上のモデルへのアクセスを提供します。

APIキーを取得する

Personal Access Tokenを使用して認証します。PATガイドに従ってトークンを生成し、ゲートウェイURLとともに.envファイルに追加してください：

TRUEFOUNDRY_API_KEY=your-api-key
TRUEFOUNDRY_GATEWAY_URL=your-gateway-url

TrueFoundryコンソールの統合コードスニペットから、ゲートウェイURLとモデル名を取得します。ゲートウェイに追加したものと同じモデル名を使用してください。クイックスタートガイドでセットアップの手順を確認できます。

設定

librechat.yaml の endpoints.custom の下にエンドポイントを追加します：

    - name: "TrueFoundry"
      apiKey: "${TRUEFOUNDRY_API_KEY}"
      baseURL: "${TRUEFOUNDRY_GATEWAY_URL}"
      models:
        default: ["openai-main/gpt-4o-mini", "openai-main/gpt-4o"]
        fetch: true
      titleConvo: true
      titleModel: "current_model"
      summarize: false
      summaryModel: "current_model"
      modelDisplayLabel: "TrueFoundry:OpenAI"

注記

モデル名は、ゲートウェイで設定した統合によって名前空間が指定されます（例: openai-main/gpt-4o）。TrueFoundryコンソールに表示されている名前と一致させてください。
詳細は、TrueFoundry docs を参照してください。