TrueFoundry AI Gateway

TrueFoundry AI Gateway 是位于您的应用程序与 LLM 提供商之间的企业级代理层，通过统一的 OpenAI 兼容接口提供对 1000 多种模型的访问，并内置了可观测性和治理功能。

获取 API key

使用个人访问令牌 (Personal Access Token) 进行身份验证。请按照 PAT guide 生成一个令牌，然后将其与您的网关 URL 一起添加到您的 .env 文件中：

TRUEFOUNDRY_API_KEY=your-api-key
TRUEFOUNDRY_GATEWAY_URL=your-gateway-url

从 TrueFoundry 控制台的统一代码片段中获取网关 URL 和模型名称。请使用您添加到网关的相同模型名称。快速入门指南介绍了设置过程。

配置

在你的 librechat.yaml 中，将 endpoint 添加到 endpoints.custom 下：

    - name: "TrueFoundry"
      apiKey: "${TRUEFOUNDRY_API_KEY}"
      baseURL: "${TRUEFOUNDRY_GATEWAY_URL}"
      models:
        default: ["openai-main/gpt-4o-mini", "openai-main/gpt-4o"]
        fetch: true
      titleConvo: true
      titleModel: "current_model"
      summarize: false
      summaryModel: "current_model"
      modelDisplayLabel: "TrueFoundry:OpenAI"

注意事项

模型名称由您在网关中配置的集成进行命名空间划分，例如 openai-main/gpt-4o。请将其与您 TrueFoundry 控制台中显示的名称相匹配。
更多详情，请参阅 TrueFoundry docs。