Portkey AI

Portkey es una puerta de enlace de IA que gestiona más de 250 modelos a través de un endpoint compatible con OpenAI, añadiendo observabilidad, más de 50 barreras de seguridad (guardrails), almacenamiento en caché y enrutamiento condicional con alternativas (fallbacks) y reintentos. Consulta la lista completa de proveedores en la documentación de Portkey.

Obtener una API key

Cree una clave en app.portkey.ai y agréguela a su archivo .env. También necesitará una URL de gateway, la cual Portkey proporciona para gateways autohospedados o alojados:

PORTKEY_API_KEY=your-api-key
PORTKEY_GATEWAY_URL=your-gateway-url

Configuración

LibreChat requiere el campo apiKey, pero Portkey no lo utiliza, así que introduzca la cadena dummy. La autenticación se realiza a través de los encabezados x-portkey-*. Hay dos formas de conectarse, dependiendo de si enruta mediante Virtual Keys o Configs. Añada una de las siguientes opciones bajo endpoints.custom en su librechat.yaml.

Virtual Keys

    - name: "Portkey"
      apiKey: "dummy"
      baseURL: ${PORTKEY_GATEWAY_URL}
      headers:
        x-portkey-api-key: "${PORTKEY_API_KEY}"
        x-portkey-virtual-key: "PORTKEY_OPENAI_VIRTUAL_KEY"
      models:
        default: ["gpt-4o-mini"]
        fetch: true
      titleConvo: true
      titleModel: "current_model"
      summarize: false
      summaryModel: "current_model"
      modelDisplayLabel: "Portkey:OpenAI"
      iconURL: https://images.crunchbase.com/image/upload/c_pad,f_auto,q_auto:eco,dpr_1/rjqy7ghvjoiu4cd1xjbf

Configs

    - name: "Portkey"
      apiKey: "dummy"
      baseURL: ${PORTKEY_GATEWAY_URL}
      headers:
        x-portkey-api-key: "${PORTKEY_API_KEY}"
        x-portkey-config: "pc-libre-xxx"
      models:
        default: ["llama-3.2"]
        fetch: true
      titleConvo: true
      titleModel: "current_model"
      summarize: false
      summaryModel: "current_model"
      modelDisplayLabel: "Portkey:Llama"
      iconURL: https://images.crunchbase.com/image/upload/c_pad,f_auto,q_auto:eco,dpr_1/rjqy7ghvjoiu4cd1xjbf

Notas

Las Configs le permiten establecer parámetros específicos del modelo como top_p y max_tokens en el lado de Portkey. Consulte la documentación de Configs.
Reemplace PORTKEY_OPENAI_VIRTUAL_KEY y pc-libre-xxx con la clave virtual o el ID de configuración de su panel de control de Portkey.