TrueFoundry AI Gateway

O TrueFoundry AI Gateway é uma camada de proxy empresarial entre suas aplicações e provedores de LLM, oferecendo acesso a mais de 1000 modelos por meio de uma interface unificada compatível com OpenAI, com observabilidade e governança integradas.

Obtenha uma API key

Autentique-se com um Personal Access Token. Gere um seguindo o guia de PAT, então adicione-o junto com a sua URL de gateway ao seu arquivo .env:

TRUEFOUNDRY_API_KEY=your-api-key
TRUEFOUNDRY_GATEWAY_URL=your-gateway-url

Obtenha a URL do gateway e os nomes dos modelos no trecho de código unificado no console do TrueFoundry. Use os mesmos nomes de modelos que você adicionou ao gateway. O guia de início rápido orienta sobre a configuração.

Configuração

Adicione o endpoint em endpoints.custom no seu librechat.yaml:

    - name: "TrueFoundry"
      apiKey: "${TRUEFOUNDRY_API_KEY}"
      baseURL: "${TRUEFOUNDRY_GATEWAY_URL}"
      models:
        default: ["openai-main/gpt-4o-mini", "openai-main/gpt-4o"]
        fetch: true
      titleConvo: true
      titleModel: "current_model"
      summarize: false
      summaryModel: "current_model"
      modelDisplayLabel: "TrueFoundry:OpenAI"

Notas

• Os nomes dos modelos são organizados por namespace de acordo com a integração que você configurou no gateway, como openai-main/gpt-4o. Corresponda-os aos nomes exibidos no seu console TrueFoundry.
• Para mais detalhes, veja a documentação da TrueFoundry.