TrueFoundry AI Gateway

TrueFoundry AI Gateway is een enterprise proxy-laag tussen uw applicaties en LLM-providers, die toegang biedt tot 1000+ modellen via een uniforme OpenAI-compatibele interface met ingebouwde observability en governance.

Een API-sleutel verkrijgen

Authenticeer met een Personal Access Token. Genereer er een door de PAT guide te volgen en voeg deze vervolgens samen met je gateway URL toe aan je .env bestand:

TRUEFOUNDRY_API_KEY=your-api-key
TRUEFOUNDRY_GATEWAY_URL=your-gateway-url

Verkrijg de gateway-URL en modelnamen uit het geünificeerde codefragment in de TrueFoundry-console. Gebruik dezelfde modelnamen die je aan de gateway hebt toegevoegd. De quick start guide leidt je door de installatie.

Configuratie

Voeg het endpoint toe onder endpoints.custom in je librechat.yaml:

    - name: "TrueFoundry"
      apiKey: "${TRUEFOUNDRY_API_KEY}"
      baseURL: "${TRUEFOUNDRY_GATEWAY_URL}"
      models:
        default: ["openai-main/gpt-4o-mini", "openai-main/gpt-4o"]
        fetch: true
      titleConvo: true
      titleModel: "current_model"
      summarize: false
      summaryModel: "current_model"
      modelDisplayLabel: "TrueFoundry:OpenAI"

Opmerkingen

• Modelnamen zijn voorzien van een namespace op basis van de integratie die je in de gateway hebt geconfigureerd, zoals openai-main/gpt-4o. Laat deze overeenkomen met de namen die worden weergegeven in je TrueFoundry-console.
• Voor meer details, zie de TrueFoundry docs.