Portkey AI

Portkey는 OpenAI 호환 endpoint를 통해 250개 이상의 모델을 지원하는 AI 게이트웨이로, 관측 가능성(observability), 50개 이상의 가드레일, 캐싱, 그리고 폴백(fallback) 및 재시도(retry)를 포함한 조건부 라우팅 기능을 제공합니다. 전체 제공업체 목록은 Portkey docs에서 확인하세요.

API 키 발급받기

app.portkey.ai에서 키를 생성하고 .env 파일에 추가하세요. 또한 게이트웨이 URL이 필요하며, 이는 Portkey에서 셀프 호스팅 또는 호스팅된 게이트웨이용으로 제공합니다:

PORTKEY_API_KEY=your-api-key
PORTKEY_GATEWAY_URL=your-gateway-url

LibreChat은 apiKey 필드를 요구하지만 Portkey는 이를 사용하지 않으므로 dummy라는 문자열을 전달하세요. 인증은 대신 x-portkey-* 헤더를 통해 이루어집니다. Virtual Keys 또는 Configs 중 무엇을 통해 라우팅하느냐에 따라 두 가지 연결 방법이 있습니다. librechat.yaml의 endpoints.custom 아래에 다음 중 하나를 추가하세요.

Virtual Keys

    - name: "Portkey"
      apiKey: "dummy"
      baseURL: ${PORTKEY_GATEWAY_URL}
      headers:
        x-portkey-api-key: "${PORTKEY_API_KEY}"
        x-portkey-virtual-key: "PORTKEY_OPENAI_VIRTUAL_KEY"
      models:
        default: ["gpt-4o-mini"]
        fetch: true
      titleConvo: true
      titleModel: "current_model"
      summarize: false
      summaryModel: "current_model"
      modelDisplayLabel: "Portkey:OpenAI"
      iconURL: https://images.crunchbase.com/image/upload/c_pad,f_auto,q_auto:eco,dpr_1/rjqy7ghvjoiu4cd1xjbf

설정 (Configs)

    - name: "Portkey"
      apiKey: "dummy"
      baseURL: ${PORTKEY_GATEWAY_URL}
      headers:
        x-portkey-api-key: "${PORTKEY_API_KEY}"
        x-portkey-config: "pc-libre-xxx"
      models:
        default: ["llama-3.2"]
        fetch: true
      titleConvo: true
      titleModel: "current_model"
      summarize: false
      summaryModel: "current_model"
      modelDisplayLabel: "Portkey:Llama"
      iconURL: https://images.crunchbase.com/image/upload/c_pad,f_auto,q_auto:eco,dpr_1/rjqy7ghvjoiu4cd1xjbf

참고 사항

Configs를 사용하면 Portkey 측에서 top_p 및 max_tokens와 같은 모델별 매개변수를 설정할 수 있습니다. Configs 문서를 참조하세요.
PORTKEY_OPENAI_VIRTUAL_KEY 및 pc-libre-xxx를 Portkey 대시보드의 가상 키 또는 구성 ID로 교체하세요.