TrueFoundry AI Gateway

TrueFoundry AI Gateway è un livello proxy enterprise tra le tue applicazioni e i provider LLM, che offre accesso a oltre 1000 modelli tramite un'interfaccia unificata compatibile con OpenAI, con osservabilità e governance integrate.

Ottieni una API key

Autenticati con un Personal Access Token. Generane uno seguendo la PAT guide, quindi aggiungilo insieme al tuo URL del gateway al tuo file .env:

TRUEFOUNDRY_API_KEY=your-api-key
TRUEFOUNDRY_GATEWAY_URL=your-gateway-url

Ottieni l'URL del gateway e i nomi dei modelli dallo snippet di codice unificato nella console di TrueFoundry. Utilizza gli stessi nomi di modello che hai aggiunto al gateway. La guida rapida illustra la configurazione.

Configurazione

Aggiungi l'endpoint sotto endpoints.custom nel tuo librechat.yaml:

    - name: "TrueFoundry"
      apiKey: "${TRUEFOUNDRY_API_KEY}"
      baseURL: "${TRUEFOUNDRY_GATEWAY_URL}"
      models:
        default: ["openai-main/gpt-4o-mini", "openai-main/gpt-4o"]
        fetch: true
      titleConvo: true
      titleModel: "current_model"
      summarize: false
      summaryModel: "current_model"
      modelDisplayLabel: "TrueFoundry:OpenAI"

Note

• I nomi dei modelli sono organizzati tramite namespace in base all'integrazione configurata nel gateway, come openai-main/gpt-4o. Falli corrispondere ai nomi visualizzati nella tua console TrueFoundry.
• Per maggiori dettagli, consulta la documentazione di TrueFoundry.