LibreChatPortkey AI
Konfigurasikan Portkey AI sebagai endpoint kustom di LibreChat.
Portkey adalah gateway AI yang menaungi 250+ model melalui endpoint yang kompatibel dengan OpenAI, menambahkan observabilitas, 50+ guardrail, caching, dan perutean kondisional dengan fallback serta percobaan ulang (retries). Lihat daftar penyedia lengkap di Portkey docs.
Dapatkan API key
Buat kunci di app.portkey.ai dan tambahkan ke file .env Anda. Anda juga akan memerlukan gateway URL, yang disediakan oleh Portkey untuk gateway yang di-host sendiri (self-hosted) atau yang di-host:
PORTKEY_API_KEY=your-api-key
PORTKEY_GATEWAY_URL=your-gateway-urlKonfigurasi
LibreChat memerlukan kolom apiKey, namun Portkey tidak menggunakannya, jadi masukkan string dummy. Autentikasi dilakukan melalui header x-portkey-* sebagai gantinya. Terdapat dua cara untuk menghubungkan, tergantung pada apakah Anda melakukan perutean berdasarkan Virtual Keys atau Configs. Tambahkan salah satu dari berikut ini di bawah endpoints.custom dalam librechat.yaml Anda.
Kunci Virtual
- name: "Portkey"
apiKey: "dummy"
baseURL: ${PORTKEY_GATEWAY_URL}
headers:
x-portkey-api-key: "${PORTKEY_API_KEY}"
x-portkey-virtual-key: "PORTKEY_OPENAI_VIRTUAL_KEY"
models:
default: ["gpt-4o-mini"]
fetch: true
titleConvo: true
titleModel: "current_model"
summarize: false
summaryModel: "current_model"
modelDisplayLabel: "Portkey:OpenAI"
iconURL: https://images.crunchbase.com/image/upload/c_pad,f_auto,q_auto:eco,dpr_1/rjqy7ghvjoiu4cd1xjbfKonfigurasi
- name: "Portkey"
apiKey: "dummy"
baseURL: ${PORTKEY_GATEWAY_URL}
headers:
x-portkey-api-key: "${PORTKEY_API_KEY}"
x-portkey-config: "pc-libre-xxx"
models:
default: ["llama-3.2"]
fetch: true
titleConvo: true
titleModel: "current_model"
summarize: false
summaryModel: "current_model"
modelDisplayLabel: "Portkey:Llama"
iconURL: https://images.crunchbase.com/image/upload/c_pad,f_auto,q_auto:eco,dpr_1/rjqy7ghvjoiu4cd1xjbfCatatan
- Configs memungkinkan Anda mengatur parameter khusus model seperti
top_pdanmax_tokensdi sisi Portkey. Lihat dokumentasi Configs. - Ganti
PORTKEY_OPENAI_VIRTUAL_KEYdanpc-libre-xxxdengan virtual key atau ID konfigurasi dari dasbor Portkey Anda.
Bagaimana panduan ini?