TrueFoundry AI Gateway

TrueFoundry AI Gateway adalah lapisan proksi perusahaan antara aplikasi Anda dan penyedia LLM, yang memberikan akses ke 1000+ model melalui antarmuka yang kompatibel dengan OpenAI dengan fitur observabilitas dan tata kelola bawaan.

Dapatkan API key

Lakukan autentikasi dengan Personal Access Token. Buat token dengan mengikuti panduan PAT, lalu tambahkan token tersebut beserta URL gateway Anda ke dalam file .env Anda:

TRUEFOUNDRY_API_KEY=your-api-key
TRUEFOUNDRY_GATEWAY_URL=your-gateway-url

Dapatkan URL gateway dan nama model dari cuplikan kode terpadu di konsol TrueFoundry. Gunakan nama model yang sama dengan yang Anda tambahkan ke gateway. Panduan memulai cepat akan memandu Anda melalui proses penyiapan.

Konfigurasi

Tambahkan endpoint di bawah endpoints.custom dalam librechat.yaml Anda:

    - name: "TrueFoundry"
      apiKey: "${TRUEFOUNDRY_API_KEY}"
      baseURL: "${TRUEFOUNDRY_GATEWAY_URL}"
      models:
        default: ["openai-main/gpt-4o-mini", "openai-main/gpt-4o"]
        fetch: true
      titleConvo: true
      titleModel: "current_model"
      summarize: false
      summaryModel: "current_model"
      modelDisplayLabel: "TrueFoundry:OpenAI"

Catatan

• Nama model di-namespaced berdasarkan integrasi yang Anda konfigurasikan di gateway, seperti openai-main/gpt-4o. Cocokkan nama tersebut dengan nama yang ditampilkan di konsol TrueFoundry Anda.
• Untuk detail lebih lanjut, lihat TrueFoundry docs.