Portkey AI

Portkey é um gateway de IA que oferece suporte a mais de 250 modelos por meio de um endpoint compatível com OpenAI, adicionando observabilidade, mais de 50 guardrails, cache e roteamento condicional com fallbacks e novas tentativas. Veja a lista completa de provedores na documentação do Portkey.

Obtenha uma API key

Crie uma chave em app.portkey.ai e adicione-a ao seu arquivo .env. Você também precisará de uma URL de gateway, que o Portkey fornece para gateways auto-hospedados ou hospedados:

PORTKEY_API_KEY=your-api-key
PORTKEY_GATEWAY_URL=your-gateway-url

Configuração

O LibreChat requer o campo apiKey, mas o Portkey não o utiliza, portanto, passe a string dummy. A autenticação ocorre através dos cabeçalhos x-portkey-*. Existem duas maneiras de conectar, dependendo se você roteia por Virtual Keys ou Configs. Adicione uma das opções a seguir em endpoints.custom no seu librechat.yaml.

Chaves Virtuais

    - name: "Portkey"
      apiKey: "dummy"
      baseURL: ${PORTKEY_GATEWAY_URL}
      headers:
        x-portkey-api-key: "${PORTKEY_API_KEY}"
        x-portkey-virtual-key: "PORTKEY_OPENAI_VIRTUAL_KEY"
      models:
        default: ["gpt-4o-mini"]
        fetch: true
      titleConvo: true
      titleModel: "current_model"
      summarize: false
      summaryModel: "current_model"
      modelDisplayLabel: "Portkey:OpenAI"
      iconURL: https://images.crunchbase.com/image/upload/c_pad,f_auto,q_auto:eco,dpr_1/rjqy7ghvjoiu4cd1xjbf

Configs

    - name: "Portkey"
      apiKey: "dummy"
      baseURL: ${PORTKEY_GATEWAY_URL}
      headers:
        x-portkey-api-key: "${PORTKEY_API_KEY}"
        x-portkey-config: "pc-libre-xxx"
      models:
        default: ["llama-3.2"]
        fetch: true
      titleConvo: true
      titleModel: "current_model"
      summarize: false
      summaryModel: "current_model"
      modelDisplayLabel: "Portkey:Llama"
      iconURL: https://images.crunchbase.com/image/upload/c_pad,f_auto,q_auto:eco,dpr_1/rjqy7ghvjoiu4cd1xjbf

Notas

Configs permitem que você defina parâmetros específicos do modelo, como top_p e max_tokens, no lado do Portkey. Veja a documentação de Configs.
Substitua PORTKEY_OPENAI_VIRTUAL_KEY e pc-libre-xxx pela chave virtual ou ID de configuração do seu painel do Portkey.