Passerelle IA TrueFoundry

TrueFoundry AI Gateway est une couche de proxy d'entreprise située entre vos applications et les fournisseurs de LLM, offrant un accès à plus de 1000 modèles via une interface unifiée compatible avec OpenAI, avec des fonctionnalités intégrées d'observabilité et de gouvernance.

Obtenir une clé API

Authentifiez-vous avec un Personal Access Token. Générez-en un en suivant le guide PAT, puis ajoutez-le avec votre URL de passerelle à votre fichier .env :

TRUEFOUNDRY_API_KEY=your-api-key
TRUEFOUNDRY_GATEWAY_URL=your-gateway-url

Obtenez l'URL de la passerelle et les noms des modèles à partir de l'extrait de code unifié dans la console TrueFoundry. Utilisez les mêmes noms de modèles que ceux que vous avez ajoutés à la passerelle. Le guide de démarrage rapide détaille la configuration.

Configuration

Ajoutez l'endpoint sous endpoints.custom dans votre librechat.yaml :

    - name: "TrueFoundry"
      apiKey: "${TRUEFOUNDRY_API_KEY}"
      baseURL: "${TRUEFOUNDRY_GATEWAY_URL}"
      models:
        default: ["openai-main/gpt-4o-mini", "openai-main/gpt-4o"]
        fetch: true
      titleConvo: true
      titleModel: "current_model"
      summarize: false
      summaryModel: "current_model"
      modelDisplayLabel: "TrueFoundry:OpenAI"

Notes

• Les noms de modèles sont soumis à un espace de noms selon l'intégration que vous avez configurée dans la passerelle, comme openai-main/gpt-4o. Faites-les correspondre aux noms affichés dans votre console TrueFoundry.
• Pour plus de détails, consultez la documentation TrueFoundry.