TrueFoundry AI Gateway

TrueFoundry AI Gateway es una capa de proxy empresarial entre sus aplicaciones y los proveedores de LLM, que brinda acceso a más de 1000 modelos a través de una interfaz unificada compatible con OpenAI, con observabilidad y gobernanza integradas.

Obtener una API key

Autentíquese con un Personal Access Token. Genere uno siguiendo la guía de PAT, luego agréguelo junto con su URL de gateway a su archivo .env:

TRUEFOUNDRY_API_KEY=your-api-key
TRUEFOUNDRY_GATEWAY_URL=your-gateway-url

Obtenga la URL de la puerta de enlace (gateway) y los nombres de los modelos desde el fragmento de código unificado en la consola de TrueFoundry. Utilice los mismos nombres de modelo que añadió a la puerta de enlace. La guía de inicio rápido le guiará a través de la configuración.

Configuración

Agregue el endpoint bajo endpoints.custom en su librechat.yaml:

    - name: "TrueFoundry"
      apiKey: "${TRUEFOUNDRY_API_KEY}"
      baseURL: "${TRUEFOUNDRY_GATEWAY_URL}"
      models:
        default: ["openai-main/gpt-4o-mini", "openai-main/gpt-4o"]
        fetch: true
      titleConvo: true
      titleModel: "current_model"
      summarize: false
      summaryModel: "current_model"
      modelDisplayLabel: "TrueFoundry:OpenAI"

Notas

• Los nombres de los modelos están organizados por espacios de nombres según la integración que configuró en la puerta de enlace (gateway), como openai-main/gpt-4o. Haga que coincidan con los nombres que se muestran en su consola de TrueFoundry.
• Para más detalles, consulta la documentación de TrueFoundry.