Skip to main content
LibreChat is joining ClickHouse to power the open-source Agentic Data Stack šŸŽ‰ Learn more
LibreChat

Estrutura de Objeto do AWS Bedrock

Integrar o AWS Bedrock à sua aplicação permite que você utilize perfeitamente múltiplos modelos de IA hospedados na AWS. Esta seção detalha como configurar o endpoint do AWS Bedrock para suas necessidades.

Exemplo de Configuração

endpoints:
  bedrock:
    titleModel: 'anthropic.claude-3-haiku-20240307-v1:0'
    streamRate: 35
    availableRegions:
      - 'us-east-1'
      - 'us-west-2'
    guardrailConfig:
      guardrailIdentifier: 'your-guardrail-id'
      guardrailVersion: '1'
      trace: 'enabled'
      streamProcessingMode: 'sync'

Nota: O endpoint do AWS Bedrock suporta todas as Shared Endpoint Settings, incluindo streamRate, titleModel, titleMethod, titlePrompt, titlePromptTemplate e titleEndpoint. As configurações mostradas abaixo são específicas para o Bedrock ou possuem padrões específicos do Bedrock.

titleModel

Chave:

KeyTypeDescriptionExample
titleModelStringEspecifica o modelo a ser usado para gerar tĆ­tulos de conversas.Recommended: anthropic.claude-3-haiku-20240307-v1:0. Set to "current_model" to use the same model as the chat.

Padrão: Não especificado

Exemplo:

titleModel: 'anthropic.claude-3-haiku-20240307-v1:0'

streamRate

Chave:

KeyTypeDescriptionExample
streamRateNumberDefine a taxa de processamento de cada novo token em milissegundos.This can help stabilize processing of concurrent requests and provide smoother frontend stream rendering.

Padrão: Não especificado

Exemplo:

streamRate: 35

availableRegions

Chave:

KeyTypeDescriptionExample
availableRegionsArrayEspecifica as regiões da AWS que você deseja disponibilizar para o Bedrock.If provided, users will see a dropdown to select the region. If not selected, the default region is used.

Padrão: Não especificado

Exemplo:

availableRegions:
  - 'us-east-1'
  - 'us-west-2'

models

Chave:

KeyTypeDescriptionExample
modelsArray of StringsEspecifica IDs de modelos personalizados disponĆ­veis para o endpoint Bedrock.When provided, these models appear in the model selector for Bedrock.

Padrão: Não especificado (usa a lista de modelos padrão do Bedrock)

Exemplo:

endpoints:
  bedrock:
    models:
      - 'anthropic.claude-sonnet-4-20250514-v1:0'
      - 'anthropic.claude-haiku-4-20250514-v1:0'
      - 'us.anthropic.claude-sonnet-4-20250514-v1:0'

inferenceProfiles

Chave:

KeyTypeDescriptionExample
inferenceProfilesObject (Record)Mapeia IDs de modelo para ARNs de perfil de inferência para inferência entre regiões. As chaves são IDs de modelo e os valores são o ARN do perfil de inferência ou uma referência de variÔvel de ambiente.When a selected model matches a key, the corresponding ARN is used as the application inference profile.

Padrão: Não especificado

Exemplo:

endpoints:
  bedrock:
    inferenceProfiles:
      'us.anthropic.claude-sonnet-4-20250514-v1:0': '${BEDROCK_INFERENCE_PROFILE_CLAUDE_SONNET}'
      'anthropic.claude-3-7-sonnet-20250219-v1:0': 'arn:aws:bedrock:us-west-2:123456789012:application-inference-profile/abc123'

Notas:

  • Perfis de inferĆŖncia permitem inferĆŖncia entre regiƵes, permitindo que vocĆŖ encaminhe solicitaƧƵes para modelos em diferentes regiƵes da AWS.
  • Os valores suportam interpolação de variĆ”veis de ambiente com a sintaxe ${ENV_VAR}
  • O ID do modelo na chave deve corresponder ao modelo selecionado pelo usuĆ”rio na UI
  • Use com o campo models para disponibilizar IDs de modelos entre regiƵes no seletor de modelos
  • Para um guia completo sobre como criar e gerenciar perfis de inferĆŖncia, veja AWS Bedrock Inference Profiles

Exemplo Combinado:

endpoints:
  bedrock:
    models:
      - 'us.anthropic.claude-sonnet-4-20250514-v1:0'
      - 'us.anthropic.claude-haiku-4-20250514-v1:0'
    inferenceProfiles:
      'us.anthropic.claude-sonnet-4-20250514-v1:0': '${BEDROCK_CLAUDE_SONNET_PROFILE}'
      'us.anthropic.claude-haiku-4-20250514-v1:0': '${BEDROCK_CLAUDE_HAIKU_PROFILE}'

guardrailConfig

Chave:

KeyTypeDescriptionExample
guardrailConfigObjectConfiguração para AWS Bedrock Guardrails para filtrar e moderar entradas e saídas de modelos.Optional. When configured, all Bedrock requests will be validated against the specified guardrail.

Sub-chaves:

KeyTypeDescriptionExample
guardrailIdentifierStringO identificador Ćŗnico do guardrail a ser aplicado.Required when using guardrails.
guardrailVersionStringA versão do guardrail a ser utilizada.Required when using guardrails.
traceStringControla a saída de rastreamento do guardrail para depuração. Opções: "enabled", "enabled_full" ou "disabled".Optional. Default: "disabled"
streamProcessingModeStringControla o modo de processamento de fluxo do guardrail. OpƧƵes: "sync" ou "async".Optional. Default: "sync"

Exemplo:

endpoints:
  bedrock:
    guardrailConfig:
      guardrailIdentifier: 'abc123xyz'
      guardrailVersion: '1'
      trace: 'enabled'
      streamProcessingMode: 'sync'

Notas:

  • Guardrails ajudam a garantir o uso responsĆ”vel da IA ao filtrar conteĆŗdo prejudicial, PII e outras informaƧƵes sensĆ­veis.
  • O guardrailIdentifier pode ser encontrado no console do AWS Bedrock em Guardrails
  • Defina trace como "enabled" ou "enabled_full" durante o desenvolvimento para ver quais polĆ­ticas de guardrail sĆ£o acionadas
  • Defina streamProcessingMode como "async" para transmitir respostas mais rapidamente (ao custo de o guardrail possivelmente permitir a passagem de conteĆŗdo inadequado atĆ© que sua verificação seja concluĆ­da)
  • Para produção, defina trace como "disabled" para reduzir o tamanho do payload da resposta.

Notas

  • A autenticação do AWS Bedrock Ć© configurada por meio de variĆ”veis de ambiente. VocĆŖ pode usar BEDROCK_AWS_PROFILE, a cadeia de provedores de credenciais padrĆ£o do AWS SDK, BEDROCK_AWS_BEARER_TOKEN para chaves de API do Bedrock ou credenciais estĆ”ticas especĆ­ficas do Bedrock. Consulte o guia de configuração do AWS Bedrock para obter detalhes.

Como estĆ” este guia?