Skip to main content
LibreChat is joining ClickHouse to power the open-source Agentic Data Stack 🎉 Learn more
LibreChat

AWS Bedrock Objectstructuur

Door AWS Bedrock te integreren met uw applicatie kunt u naadloos gebruikmaken van meerdere AI-modellen die op AWS worden gehost. Dit gedeelte beschrijft hoe u de AWS Bedrock endpoint configureert voor uw behoeften.

Voorbeeldconfiguratie

endpoints:
  bedrock:
    titleModel: 'anthropic.claude-3-haiku-20240307-v1:0'
    streamRate: 35
    availableRegions:
      - 'us-east-1'
      - 'us-west-2'
    guardrailConfig:
      guardrailIdentifier: 'your-guardrail-id'
      guardrailVersion: '1'
      trace: 'enabled'
      streamProcessingMode: 'sync'

Let op: Het AWS Bedrock endpoint ondersteunt alle Shared Endpoint Settings, inclusief streamRate, titleModel, titleMethod, titlePrompt, titlePromptTemplate en titleEndpoint. De onderstaande instellingen zijn specifiek voor Bedrock of hebben Bedrock-specifieke standaardwaarden.

titleModel

Sleutel:

KeyTypeDescriptionExample
titleModelStringSpecificeert het model dat wordt gebruikt voor het genereren van gesprektitels.Recommended: anthropic.claude-3-haiku-20240307-v1:0. Set to "current_model" to use the same model as the chat.

Standaard: Niet gespecificeerd

Voorbeeld:

titleModel: 'anthropic.claude-3-haiku-20240307-v1:0'

streamRate

Sleutel:

KeyTypeDescriptionExample
streamRateNumberStelt de verwerkingssnelheid van elk nieuw token in milliseconden in.This can help stabilize processing of concurrent requests and provide smoother frontend stream rendering.

Standaard: Niet gespecificeerd

Voorbeeld:

streamRate: 35

availableRegions

Sleutel:

KeyTypeDescriptionExample
availableRegionsArraySpecificeert de AWS-regio's die je beschikbaar wilt maken voor Bedrock.If provided, users will see a dropdown to select the region. If not selected, the default region is used.

Standaard: Niet gespecificeerd

Voorbeeld:

availableRegions:
  - 'us-east-1'
  - 'us-west-2'

models

Sleutel:

KeyTypeDescriptionExample
modelsArray of StringsSpecificeert aangepaste model-ID's die beschikbaar zijn voor de Bedrock endpoint.When provided, these models appear in the model selector for Bedrock.

Standaard: Niet gespecificeerd (gebruikt de standaard Bedrock modellijst)

Voorbeeld:

endpoints:
  bedrock:
    models:
      - 'anthropic.claude-sonnet-4-20250514-v1:0'
      - 'anthropic.claude-haiku-4-20250514-v1:0'
      - 'us.anthropic.claude-sonnet-4-20250514-v1:0'

inferenceProfiles

Sleutel:

KeyTypeDescriptionExample
inferenceProfilesObject (Record)Wijst model-ID's toe aan inference profile ARN's voor cross-region inference. Keys zijn model-ID's en values zijn de inference profile ARN of een omgevingsvariabele-referentie.When a selected model matches a key, the corresponding ARN is used as the application inference profile.

Standaard: Niet gespecificeerd

Voorbeeld:

endpoints:
  bedrock:
    inferenceProfiles:
      'us.anthropic.claude-sonnet-4-20250514-v1:0': '${BEDROCK_INFERENCE_PROFILE_CLAUDE_SONNET}'
      'anthropic.claude-3-7-sonnet-20250219-v1:0': 'arn:aws:bedrock:us-west-2:123456789012:application-inference-profile/abc123'

Opmerkingen:

  • Inference profiles maken inferentie tussen regio's mogelijk, waardoor u verzoeken kunt routeren naar modellen in verschillende AWS-regio's.
  • Waarden ondersteunen omgevingsvariabele-interpolatie met de ${ENV_VAR}-syntaxis
  • De model ID in de key moet overeenkomen met het model dat door de gebruiker in de UI is geselecteerd
  • Gebruik dit met het models veld om model-ID's van verschillende regio's beschikbaar te maken in de model-selector
  • Voor een volledige handleiding over het aanmaken en beheren van inference-profielen, zie AWS Bedrock Inference Profiles

Gecombineerd voorbeeld:

endpoints:
  bedrock:
    models:
      - 'us.anthropic.claude-sonnet-4-20250514-v1:0'
      - 'us.anthropic.claude-haiku-4-20250514-v1:0'
    inferenceProfiles:
      'us.anthropic.claude-sonnet-4-20250514-v1:0': '${BEDROCK_CLAUDE_SONNET_PROFILE}'
      'us.anthropic.claude-haiku-4-20250514-v1:0': '${BEDROCK_CLAUDE_HAIKU_PROFILE}'

guardrailConfig

Sleutel:

KeyTypeDescriptionExample
guardrailConfigObjectConfiguratie voor AWS Bedrock Guardrails om model-inputs en -outputs te filteren en te modereren.Optional. When configured, all Bedrock requests will be validated against the specified guardrail.

Sub-keys:

KeyTypeDescriptionExample
guardrailIdentifierStringDe unieke identificatiecode van de guardrail die moet worden toegepast.Required when using guardrails.
guardrailVersionStringDe versie van de guardrail die moet worden gebruikt.Required when using guardrails.
traceStringBeheert de guardrail trace-uitvoer voor foutopsporing. Opties: "enabled", "enabled_full" of "disabled".Optional. Default: "disabled"
streamProcessingModeStringBeheert de streamverwerkingsmodus van guardrails. Opties: "sync" of "async".Optional. Default: "sync"

Voorbeeld:

endpoints:
  bedrock:
    guardrailConfig:
      guardrailIdentifier: 'abc123xyz'
      guardrailVersion: '1'
      trace: 'enabled'
      streamProcessingMode: 'sync'

Opmerkingen:

  • Guardrails helpen bij het waarborgen van verantwoord AI-gebruik door schadelijke inhoud, PII en andere gevoelige informatie te filteren.
  • De guardrailIdentifier is te vinden in de AWS Bedrock console onder Guardrails
  • Stel trace in op "enabled" of "enabled_full" tijdens de ontwikkeling om te zien welke guardrail-policies worden geactiveerd
  • Stel streamProcessingMode in op "async" om antwoorden sneller te streamen (ten koste van het feit dat de guardrail mogelijk ongepaste inhoud doorlaat totdat de scan is voltooid)
  • Voor productie, stel trace in op "disabled" om de grootte van de response payload te verkleinen

Opmerkingen

  • AWS Bedrock-authenticatie wordt geconfigureerd via omgevingsvariabelen. Je kunt BEDROCK_AWS_PROFILE, de standaard credential provider chain van de AWS SDK, BEDROCK_AWS_BEARER_TOKEN voor Bedrock API-sleutels, of Bedrock-specifieke statische credentials gebruiken. Zie de AWS Bedrock setup guide voor details.

Hoe is deze gids?