AWS Bedrock

Vá para a documentação da AWS para se inscrever na AWS e configurar suas credenciais.

Você também precisará ativar o acesso ao modelo para sua conta, o que pode ser feito seguindo estas instruções.

Autenticação

Sempre defina a região do Bedrock que o LibreChat deve usar:

BEDROCK_AWS_DEFAULT_REGION=us-east-1

O LibreChat oferece suporte aos seguintes métodos de autenticação para o Bedrock.

Perfil AWS

BEDROCK_AWS_DEFAULT_REGION=us-east-1
BEDROCK_AWS_PROFILE=your-profile-name

Use isto quando você já tiver credenciais em ~/.aws/config ou ~/.aws/credentials, ou quando seu perfil utilizar o AWS IAM Identity Center, assunção de função (role assumption) ou credential_process.

BEDROCK_AWS_PROFILE é uma configuração específica do LibreChat que passa o perfil selecionado para a cadeia de provedores de credenciais do AWS SDK para Bedrock. Isso limita a seleção de perfil ao Bedrock sem alterar as credenciais usadas por outras integrações. A variável de ambiente padrão da AWS AWS_PROFILE ainda é suportada pela cadeia de provedores padrão do AWS SDK.

Se o seu perfil utiliza credential_process, proteja o arquivo de configuração da AWS e o comando auxiliar. A AWS alerta que material secreto gravado em stderr pode ser capturado ou registrado por SDKs e ferramentas.

Cadeia de provedores de credenciais AWS padrão

Você pode omitir as credenciais e configurações de perfil específicas do Bedrock para permitir que o AWS SDK for JavaScript resolva as credenciais automaticamente:

BEDROCK_AWS_DEFAULT_REGION=us-east-1

Esta é a abordagem preferida para implantações que utilizam funções IAM ou outra fonte de credenciais de curto prazo nativa da AWS. O SDK verifica os provedores de credenciais suportados em ordem de precedência e para na primeira credencial válida que encontrar. Fontes comuns incluem variáveis de ambiente, IAM Identity Center/SSO, arquivos de configuração e credenciais compartilhados, identidade da web, credenciais de contêiner ECS, metadados de instância EC2 e credenciais de processo.

Por exemplo, se as variáveis padrão da AWS AWS_ACCESS_KEY_ID e AWS_SECRET_ACCESS_KEY estiverem definidas, essas credenciais podem ter precedência sobre as credenciais baseadas em perfil em ~/.aws/credentials ou ~/.aws/config.

Chave de API do Bedrock

As chaves de API do Amazon Bedrock autenticam chamadas do Bedrock com autenticação bearer em vez de credenciais AWS assinadas por SigV4. No LibreChat, configure-as com a variável de ambiente de escopo Bedrock:

BEDROCK_AWS_DEFAULT_REGION=us-east-1
BEDROCK_AWS_BEARER_TOKEN=your_bedrock_api_key

BEDROCK_AWS_BEARER_TOKEN é específico do LibreChat. A documentação da AWS e os exemplos brutos do AWS SDK/CLI usam a variável de ambiente padrão da AWS AWS_BEARER_TOKEN_BEDROCK, mas o LibreChat usa intencionalmente um nome com escopo para o Bedrock, para que o token afete apenas a configuração do endpoint do Bedrock. O LibreChat passa esse valor para o AWS SDK como autenticação bearer.

Para permitir que os usuários forneçam sua própria chave de API do Bedrock a partir da interface do LibreChat, defina:

BEDROCK_AWS_DEFAULT_REGION=us-east-1
BEDROCK_AWS_BEARER_TOKEN=user_provided

Chaves de API de curto prazo do Bedrock herdam as permissões do principal da AWS usado para gerá-las, são válidas apenas na região da AWS onde foram geradas e expiram em no máximo 12 horas ou na expiração da sessão de origem. Chaves de API de longo prazo do Bedrock são recomendadas apenas para exploração e desenvolvimento. Consulte a documentação da AWS para usar chaves de API do Bedrock e gerar chaves de API do Bedrock.

Credenciais estáticas do Bedrock

Use variáveis de ambiente estáticas específicas do Bedrock apenas quando perfis ou funções IAM não forem adequados:

BEDROCK_AWS_DEFAULT_REGION=us-east-1
BEDROCK_AWS_ACCESS_KEY_ID=your_access_key_id
BEDROCK_AWS_SECRET_ACCESS_KEY=your_secret_access_key
# BEDROCK_AWS_SESSION_TOKEN=your_session_token

Se BEDROCK_AWS_ACCESS_KEY_ID e BEDROCK_AWS_SECRET_ACCESS_KEY estiverem definidos, o LibreChat os passa diretamente para o cliente Bedrock. Eles devem ser fornecidos juntos e têm precedência sobre BEDROCK_AWS_PROFILE e a cadeia de provedores padrão do SDK para Bedrock.

Se BEDROCK_AWS_BEARER_TOKEN estiver definido, o LibreChat usa autenticação bearer para o Bedrock em vez de credenciais estáticas, BEDROCK_AWS_PROFILE ou a cadeia de provedores padrão do SDK.

Para detalhes sobre o comportamento das credenciais AWS, consulte a cadeia de provedores de credenciais do AWS SDK for JavaScript, a referência de configurações do AWS SDKs and Tools e as notas de segurança do credential_process da AWS.

Configurando modelos

• Você pode opcionalmente especificar quais modelos deseja disponibilizar com BEDROCK_AWS_MODELS:

BEDROCK_AWS_MODELS=anthropic.claude-fable-5,anthropic.claude-opus-4-8,anthropic.claude-opus-4-7,anthropic.claude-sonnet-4-6,meta.llama3-1-8b-instruct-v1:0

Nota: Se omitido, todos os IDs de modelo conhecidos e suportados serão incluídos automaticamente.

• Modelos da classe Claude Fable/Mythos no Bedrock são apenas para perfil de inferência (inference-profile). Use um ID de perfil como us.anthropic.claude-fable-5 e habilite o compartilhamento de dados da Anthropic no console do Bedrock ou na Data Retention API antes de invocá-los.

• Veja todos os IDs de modelo do Bedrock aqui:

  • https://docs.aws.amazon.com/bedrock/latest/userguide/model-ids.html#model-ids-arns

Configuração Adicional

Você pode configurar ainda mais o endpoint Bedrock no seu arquivo librechat.yaml:

endpoints:
  bedrock:
    availableRegions:
      - 'us-east-1'
      - 'us-west-2'
    streamRate: 35
    titleModel: 'anthropic.claude-3-haiku-20240307-v1:0'
    guardrailConfig:
      guardrailIdentifier: 'abc123xyz'
      guardrailVersion: '1'
      trace: 'enabled'
      streamProcessingMode: 'sync'

• streamRate: (Opcional) Define a taxa de processamento de cada novo token em milissegundos.

  • Isso pode ajudar a estabilizar o processamento de solicitações simultâneas e proporcionar uma renderização de fluxo (stream) mais suave no frontend.

• titleModel: (Opcional) Especifique o modelo a ser usado para gerar títulos de conversas.

  • Recomendado: anthropic.claude-3-haiku-20240307-v1:0.
  • Omita ou defina como current_model para usar o mesmo modelo do chat.

• availableRegions: (Opcional) Especifique as regiões da AWS que você deseja disponibilizar.

  • Se fornecido, os usuários verão um menu suspenso para selecionar a região. Se não for selecionado, a região padrão será usada.
  • 

• guardrailConfig: (Opcional) Configure os AWS Bedrock Guardrails para filtragem de conteúdo.

  • guardrailIdentifier: O ID ou ARN do guardrail do seu Console AWS Bedrock.
  • guardrailVersion: O número da versão do guardrail (por exemplo, "1") ou "DRAFT".
  • trace: (Opcional) Habilita o registro de rastreamento (trace logging): "enabled", "disabled" ou "enabled_full".
  • streamProcessingMode: (Opcional) Define o modo de processamento de stream: "sync" ou "async" (o padrão é "sync").
  • Consulte a documentação do AWS Bedrock Guardrails para criar e gerenciar guardrails.

Perfis de Inferência

Os perfis de inferência do AWS Bedrock permitem que você crie configurações de roteamento personalizadas para modelos de fundação, possibilitando o balanceamento de carga entre regiões, alocação de custos e controles de conformidade. Você pode mapear IDs de modelo para ARNs de perfil de inferência personalizados no seu librechat.yaml:

endpoints:
  bedrock:
    inferenceProfiles:
      'us.anthropic.claude-3-7-sonnet-20250219-v1:0': '${BEDROCK_CLAUDE_37_PROFILE}'

Para o guia completo sobre a criação de perfis, configuração do LibreChat, definição de logs e solução de problemas, consulte Bedrock Inference Profiles.

Para a referência de campos YAML, veja Estrutura do Objeto AWS Bedrock.

Upload de Documentos

O Bedrock oferece suporte ao envio de documentos diretamente para o provedor por meio da opção Upload to Provider no menu suspenso de anexos de arquivo. Os documentos são enviados para a API Bedrock Converse como anexos de documentos nativos.

Formatos suportados: PDF, CSV, DOC, DOCX, XLS, XLSX, HTML, TXT e Markdown (.md)

Limitações:

• Tamanho máximo de arquivo por documento: 4.5 MB
• Os nomes de arquivos são higienizados automaticamente para estarem em conformidade com os requisitos de nomenclatura do Bedrock (alfanumérico, espaços, hifens, parênteses, colchetes; máximo de 200 caracteres)

Para mais informações sobre opções de upload de arquivos, consulte a documentação OCR for Documents.

Notas

• Os seguintes modelos não são suportados devido à falta de capacidade de streaming:

  • ai21.j2-mid-v1

• Os seguintes modelos não são suportados devido à falta de suporte ao histórico de conversas:

  • ai21.j2-ultra-v1
  • cohere.command-text-v14
  • cohere.command-light-text-v14

• O endpoint do AWS Bedrock suporta todas as Shared Endpoint Settings através do arquivo de configuração librechat.yaml, incluindo streamRate, titleModel, titleMethod, titlePrompt, titlePromptTemplate e titleEndpoint