Portkey AI

Portkey, 250'den fazla modeli OpenAI uyumlu bir endpoint üzerinden sunan, gözlemlenebilirlik, 50'den fazla güvenlik önlemi (guardrails), önbelleğe alma ve yedekleme ile yeniden deneme özelliklerine sahip koşullu yönlendirme ekleyen bir AI ağ geçididir. Sağlayıcıların tam listesini Portkey docs adresinde görebilirsiniz.

Bir API anahtarı alın

app.portkey.ai adresinde bir anahtar oluşturun ve bunu .env dosyanıza ekleyin. Ayrıca, Portkey'in kendi kendine barındırılan veya barındırılan ağ geçitleri için sağladığı bir ağ geçidi URL'sine de ihtiyacınız olacaktır:

PORTKEY_API_KEY=your-api-key
PORTKEY_GATEWAY_URL=your-gateway-url

Yapılandırma

LibreChat, apiKey alanını gerektirir ancak Portkey bunu kullanmadığı için dummy dizgisini girin. Kimlik doğrulama bunun yerine x-portkey-* başlıkları aracılığıyla gerçekleşir. Virtual Keys veya Configs üzerinden yönlendirme yapmanıza bağlı olarak bağlanmanın iki yolu vardır. librechat.yaml dosyanızdaki endpoints.custom altına aşağıdakilerden birini ekleyin.

Sanal Anahtarlar

    - name: "Portkey"
      apiKey: "dummy"
      baseURL: ${PORTKEY_GATEWAY_URL}
      headers:
        x-portkey-api-key: "${PORTKEY_API_KEY}"
        x-portkey-virtual-key: "PORTKEY_OPENAI_VIRTUAL_KEY"
      models:
        default: ["gpt-4o-mini"]
        fetch: true
      titleConvo: true
      titleModel: "current_model"
      summarize: false
      summaryModel: "current_model"
      modelDisplayLabel: "Portkey:OpenAI"
      iconURL: https://images.crunchbase.com/image/upload/c_pad,f_auto,q_auto:eco,dpr_1/rjqy7ghvjoiu4cd1xjbf

Yapılandırmalar

    - name: "Portkey"
      apiKey: "dummy"
      baseURL: ${PORTKEY_GATEWAY_URL}
      headers:
        x-portkey-api-key: "${PORTKEY_API_KEY}"
        x-portkey-config: "pc-libre-xxx"
      models:
        default: ["llama-3.2"]
        fetch: true
      titleConvo: true
      titleModel: "current_model"
      summarize: false
      summaryModel: "current_model"
      modelDisplayLabel: "Portkey:Llama"
      iconURL: https://images.crunchbase.com/image/upload/c_pad,f_auto,q_auto:eco,dpr_1/rjqy7ghvjoiu4cd1xjbf

Notlar

Configs, top_p ve max_tokens gibi modele özgü parametreleri Portkey tarafında ayarlamanıza olanak tanır. Configs dokümanlarına göz atın.
PORTKEY_OPENAI_VIRTUAL_KEY ve pc-libre-xxx ifadelerini, Portkey panelinizdeki sanal anahtar veya yapılandırma kimliği (config ID) ile değiştirin.