Portkey AI

Portkey to bramka AI, która obsługuje ponad 250 modeli za pośrednictwem endpoint zgodnego z OpenAI, dodając funkcje obserwowalności, ponad 50 mechanizmów guardrails, buforowanie oraz routing warunkowy z obsługą mechanizmów fallback i ponownych prób. Pełną listę dostawców znajdziesz w dokumentacji Portkey.

Uzyskaj klucz API

Utwórz klucz na stronie app.portkey.ai i dodaj go do swojego pliku .env. Będziesz również potrzebować adresu URL bramy (gateway URL), który Portkey udostępnia dla bram hostowanych samodzielnie lub w chmurze:

PORTKEY_API_KEY=your-api-key
PORTKEY_GATEWAY_URL=your-gateway-url

Konfiguracja

LibreChat wymaga pola apiKey, ale Portkey go nie używa, więc należy przekazać ciąg znaków dummy. Uwierzytelnianie odbywa się poprzez nagłówki x-portkey-*. Istnieją dwa sposoby połączenia, w zależności od tego, czy korzystasz z routingu przez Virtual Keys czy Configs. Dodaj jeden z poniższych wpisów w sekcji endpoints.custom w pliku librechat.yaml.

Wirtualne klucze

    - name: "Portkey"
      apiKey: "dummy"
      baseURL: ${PORTKEY_GATEWAY_URL}
      headers:
        x-portkey-api-key: "${PORTKEY_API_KEY}"
        x-portkey-virtual-key: "PORTKEY_OPENAI_VIRTUAL_KEY"
      models:
        default: ["gpt-4o-mini"]
        fetch: true
      titleConvo: true
      titleModel: "current_model"
      summarize: false
      summaryModel: "current_model"
      modelDisplayLabel: "Portkey:OpenAI"
      iconURL: https://images.crunchbase.com/image/upload/c_pad,f_auto,q_auto:eco,dpr_1/rjqy7ghvjoiu4cd1xjbf

Konfiguracje

    - name: "Portkey"
      apiKey: "dummy"
      baseURL: ${PORTKEY_GATEWAY_URL}
      headers:
        x-portkey-api-key: "${PORTKEY_API_KEY}"
        x-portkey-config: "pc-libre-xxx"
      models:
        default: ["llama-3.2"]
        fetch: true
      titleConvo: true
      titleModel: "current_model"
      summarize: false
      summaryModel: "current_model"
      modelDisplayLabel: "Portkey:Llama"
      iconURL: https://images.crunchbase.com/image/upload/c_pad,f_auto,q_auto:eco,dpr_1/rjqy7ghvjoiu4cd1xjbf

Uwagi

Konfiguracje (Configs) pozwalają na ustawienie parametrów specyficznych dla modelu, takich jak top_p i max_tokens po stronie Portkey. Zobacz dokumentację Configs.
Zastąp PORTKEY_OPENAI_VIRTUAL_KEY oraz pc-libre-xxx wirtualnym kluczem lub identyfikatorem konfiguracji z panelu nawigacyjnego Portkey.