TrueFoundry AI Gateway

TrueFoundry AI Gateway ist eine Enterprise-Proxy-Ebene zwischen Ihren Anwendungen und LLM-Anbietern, die über eine einheitliche, mit OpenAI kompatible Schnittstelle Zugriff auf über 1000 Modelle bietet, inklusive integrierter Observability und Governance.

Einen API-Schlüssel erhalten

Authentifizieren Sie sich mit einem Personal Access Token. Generieren Sie einen, indem Sie dem PAT-Leitfaden folgen, und fügen Sie ihn dann zusammen mit Ihrer Gateway-URL zu Ihrer .env Datei hinzu:

TRUEFOUNDRY_API_KEY=your-api-key
TRUEFOUNDRY_GATEWAY_URL=your-gateway-url

Holen Sie sich die Gateway-URL und die Modellnamen aus dem einheitlichen Code-Snippet in der TrueFoundry-Konsole. Verwenden Sie dieselben Modellnamen, die Sie dem Gateway hinzugefügt haben. Der quick start guide führt Sie durch die Einrichtung.

Konfiguration

Fügen Sie den endpoint unter endpoints.custom in Ihrer librechat.yaml hinzu:

    - name: "TrueFoundry"
      apiKey: "${TRUEFOUNDRY_API_KEY}"
      baseURL: "${TRUEFOUNDRY_GATEWAY_URL}"
      models:
        default: ["openai-main/gpt-4o-mini", "openai-main/gpt-4o"]
        fetch: true
      titleConvo: true
      titleModel: "current_model"
      summarize: false
      summaryModel: "current_model"
      modelDisplayLabel: "TrueFoundry:OpenAI"

Hinweise

• Modellnamen werden durch die Integration, die Sie im Gateway konfiguriert haben, mit einem Namespace versehen, wie zum Beispiel openai-main/gpt-4o. Stimmen Sie diese mit den Namen ab, die in Ihrer TrueFoundry-Konsole angezeigt werden.
• Für weitere Details siehe die TrueFoundry docs.