TrueFoundry AI Gateway

TrueFoundry AI Gateway, uygulamalarınız ile LLM sağlayıcıları arasında yer alan kurumsal bir proxy katmanıdır; yerleşik gözlemlenebilirlik ve yönetişim ile OpenAI uyumlu birleşik bir arayüz üzerinden 1000'den fazla modele erişim sağlar.

Bir API anahtarı alın

Kişisel Erişim Jetonu (Personal Access Token) ile kimlik doğrulaması yapın. PAT kılavuzunu takip ederek bir tane oluşturun, ardından bunu ağ geçidi (gateway) URL'nizle birlikte .env dosyanıza ekleyin:

TRUEFOUNDRY_API_KEY=your-api-key
TRUEFOUNDRY_GATEWAY_URL=your-gateway-url

TrueFoundry konsolundaki birleşik kod parçacığından ağ geçidi (gateway) URL'sini ve model adlarını alın. Ağ geçidine eklediğiniz model adlarının aynısını kullanın. Hızlı başlangıç kılavuzu kurulum sürecini adım adım anlatmaktadır.

Yapılandırma

librechat.yaml dosyanızda endpoints.custom altına endpoint'i ekleyin:

    - name: "TrueFoundry"
      apiKey: "${TRUEFOUNDRY_API_KEY}"
      baseURL: "${TRUEFOUNDRY_GATEWAY_URL}"
      models:
        default: ["openai-main/gpt-4o-mini", "openai-main/gpt-4o"]
        fetch: true
      titleConvo: true
      titleModel: "current_model"
      summarize: false
      summaryModel: "current_model"
      modelDisplayLabel: "TrueFoundry:OpenAI"

Notlar

• Model adları, ağ geçidinde yapılandırdığınız entegrasyona göre ad alanlandırılır; örneğin openai-main/gpt-4o. Bunları TrueFoundry konsolunuzda gösterilen adlarla eşleştirin.
• Daha fazla ayrıntı için TrueFoundry docs bölümüne bakın.