AWS Bedrock

Ga naar de AWS docs om je aan te melden voor AWS en je inloggegevens in te stellen.

Je moet ook modeltoegang inschakelen voor je account, wat je kunt doen door deze instructies te volgen.

Authenticatie

Stel altijd de Bedrock-regio in die LibreChat moet gebruiken:

BEDROCK_AWS_DEFAULT_REGION=us-east-1

LibreChat ondersteunt de volgende authenticatiemethoden voor Bedrock.

AWS-profiel

BEDROCK_AWS_DEFAULT_REGION=us-east-1
BEDROCK_AWS_PROFILE=your-profile-name

Gebruik dit wanneer je al inloggegevens hebt in ~/.aws/config of ~/.aws/credentials, of wanneer je profiel gebruikmaakt van AWS IAM Identity Center, role assumption of credential_process.

BEDROCK_AWS_PROFILE is een LibreChat-specifieke instelling die het geselecteerde profiel doorgeeft aan de AWS SDK credential provider chain voor Bedrock. Dit beperkt de profielselectie tot Bedrock zonder de inloggegevens te wijzigen die door andere integraties worden gebruikt. De AWS-standaard AWS_PROFILE omgevingsvariabele wordt nog steeds ondersteund door de AWS SDK default provider chain.

Als je profiel credential_process gebruikt, beveilig dan het AWS-configuratiebestand en het helper-commando. AWS waarschuwt dat geheime informatie die naar stderr wordt geschreven, kan worden vastgelegd of gelogd door SDK's en tools.

Standaard AWS credential provider chain

Je kunt Bedrock-specifieke inloggegevens en profielinstellingen weglaten om de AWS SDK for JavaScript de inloggegevens automatisch te laten bepalen:

BEDROCK_AWS_DEFAULT_REGION=us-east-1

Dit is de geprefereerde aanpak voor implementaties die gebruikmaken van IAM-rollen of een andere AWS-native bron voor kortstondige inloggegevens. De SDK controleert ondersteunde aanbieders van inloggegevens in volgorde van prioriteit en stopt bij de eerste geldige inloggegevens die worden gevonden. Veelvoorkomende bronnen zijn omgevingsvariabelen, IAM Identity Center/SSO, gedeelde configuratie- en inloggegevensbestanden, web-identiteit, ECS-container-inloggegevens, EC2-instantiemetadata en proces-inloggegevens.

Bijvoorbeeld, als de AWS-standaard AWS_ACCESS_KEY_ID en AWS_SECRET_ACCESS_KEY zijn ingesteld, kunnen deze inloggegevens voorrang krijgen op profielgebaseerde inloggegevens in ~/.aws/credentials of ~/.aws/config.

Bedrock API key

Amazon Bedrock API-sleutels verifiëren Bedrock-aanroepen met bearer-authenticatie in plaats van SigV4-ondertekende AWS-inloggegevens. Configureer ze in LibreChat met de omgevingsvariabele voor Bedrock:

BEDROCK_AWS_DEFAULT_REGION=us-east-1
BEDROCK_AWS_BEARER_TOKEN=your_bedrock_api_key

BEDROCK_AWS_BEARER_TOKEN is LibreChat-specifiek. AWS-documentatie en onbewerkte AWS SDK/CLI-voorbeelden gebruiken de AWS-standaard AWS_BEARER_TOKEN_BEDROCK omgevingsvariabele, maar LibreChat gebruikt opzettelijk een naam die specifiek is voor Bedrock, zodat het token alleen invloed heeft op de configuratie van het Bedrock endpoint. LibreChat geeft deze waarde door aan de AWS SDK als bearer-authenticatie.

Om gebruikers hun eigen Bedrock API-sleutel te laten invoeren vanuit de LibreChat UI, stel het volgende in:

BEDROCK_AWS_DEFAULT_REGION=us-east-1
BEDROCK_AWS_BEARER_TOKEN=user_provided

Kortstondige Bedrock API-sleutels erven de rechten van de AWS-principal die is gebruikt om ze te genereren, zijn alleen geldig in de AWS-regio waar ze zijn gegenereerd en verlopen na maximaal 12 uur of bij het verlopen van de bronsessie. Langdurige Bedrock API-sleutels worden alleen aanbevolen voor verkenning en ontwikkeling. Zie de AWS-documentatie voor het gebruik van Bedrock API-sleutels en het genereren van Bedrock API-sleutels.

Statische Bedrock-inloggegevens

Gebruik alleen statische Bedrock-specifieke omgevingsvariabelen wanneer profielen of IAM-rollen niet geschikt zijn:

BEDROCK_AWS_DEFAULT_REGION=us-east-1
BEDROCK_AWS_ACCESS_KEY_ID=your_access_key_id
BEDROCK_AWS_SECRET_ACCESS_KEY=your_secret_access_key
# BEDROCK_AWS_SESSION_TOKEN=your_session_token

Als BEDROCK_AWS_ACCESS_KEY_ID en BEDROCK_AWS_SECRET_ACCESS_KEY zijn ingesteld, geeft LibreChat deze direct door aan de Bedrock-client. Ze moeten samen worden verstrekt en ze krijgen voorrang op BEDROCK_AWS_PROFILE en de standaard SDK-providerketen voor Bedrock.

Als BEDROCK_AWS_BEARER_TOKEN is ingesteld, gebruikt LibreChat bearer-authenticatie voor Bedrock in plaats van statische inloggegevens, BEDROCK_AWS_PROFILE of de standaard providerketen van de SDK.

Voor details over het gedrag van AWS-referenties, zie de AWS SDK for JavaScript credential provider chain, de AWS SDKs and Tools settings reference, en de AWS credential_process security notes.

Modellen configureren

Je kunt optioneel specificeren welke modellen je beschikbaar wilt maken met BEDROCK_AWS_MODELS:

BEDROCK_AWS_MODELS=anthropic.claude-fable-5,anthropic.claude-opus-4-8,anthropic.claude-opus-4-7,anthropic.claude-sonnet-4-6,meta.llama3-1-8b-instruct-v1:0

Let op: Indien weggelaten, worden alle bekende, ondersteunde model-ID's automatisch toegevoegd.

Claude Fable/Mythos-class modellen op Bedrock zijn uitsluitend voor inference-profile. Gebruik een profiel-ID zoals us.anthropic.claude-fable-5 en schakel het delen van Anthropic-gegevens in de Bedrock-console of via de Data Retention API in voordat je ze aanroept.
Bekijk alle Bedrock model-ID's hier:
- https://docs.aws.amazon.com/bedrock/latest/userguide/model-ids.html#model-ids-arns

Aanvullende configuratie

Je kunt de Bedrock endpoint verder configureren in je librechat.yaml bestand:

endpoints:
  bedrock:
    availableRegions:
      - 'us-east-1'
      - 'us-west-2'
    streamRate: 35
    titleModel: 'anthropic.claude-3-haiku-20240307-v1:0'
    guardrailConfig:
      guardrailIdentifier: 'abc123xyz'
      guardrailVersion: '1'
      trace: 'enabled'
      streamProcessingMode: 'sync'

streamRate: (Optioneel) Stel de verwerkingssnelheid van elk nieuw token in milliseconden in.
- Dit kan helpen bij het stabiliseren van de verwerking van gelijktijdige verzoeken en zorgen voor een vloeiendere rendering van streams in de frontend.
titleModel: (Optioneel) Specificeer het model dat gebruikt moet worden voor het genereren van gesprektitels.
- Aanbevolen: anthropic.claude-3-haiku-20240307-v1:0.
- Laat weg of stel in als current_model om hetzelfde model als de chat te gebruiken.
availableRegions: (Optioneel) Specificeer de AWS-regio's die je beschikbaar wilt maken.
- Indien opgegeven, zien gebruikers een vervolgkeuzemenu om de regio te selecteren. Indien niet geselecteerd, wordt de standaardregio gebruikt.
guardrailConfig: (Optioneel) Configureer AWS Bedrock Guardrails voor inhoudsfiltering.
- guardrailIdentifier: De guardrail-ID of ARN uit je AWS Bedrock Console.
- guardrailVersion: Het versienummer van de guardrail (bijv. "1") of "DRAFT".
- trace: (Optioneel) Schakel trace-logging in: "enabled", "disabled", of "enabled_full".
- streamProcessingMode: (Optioneel) Stel de streamverwerkingsmodus in: "sync" of "async" (standaard is "sync").
- Zie de AWS Bedrock Guardrails-documentatie voor het aanmaken en beheren van guardrails.

Inference Profiles

AWS Bedrock inference profiles stellen je in staat om aangepaste routeringsconfiguraties voor foundation models te maken, wat load balancing tussen regio's, kostenallocatie en compliance-controles mogelijk maakt. Je kunt model-ID's koppelen aan aangepaste inference profile ARN's in je librechat.yaml:

endpoints:
  bedrock:
    inferenceProfiles:
      'us.anthropic.claude-3-7-sonnet-20250219-v1:0': '${BEDROCK_CLAUDE_37_PROFILE}'

Voor de volledige handleiding over het aanmaken van profielen, het configureren van LibreChat, het instellen van logging en het oplossen van problemen, zie Bedrock Inference Profiles.

Voor de YAML-veldreferentie, zie AWS Bedrock Object Structure.

Document Uploads

Bedrock ondersteunt het rechtstreeks uploaden van documenten naar de provider via de optie Upload to Provider in het vervolgkeuzemenu voor bestandsbijlagen. Documenten worden als native documentbijlagen naar de Bedrock Converse API verzonden.

Ondersteunde formaten: PDF, CSV, DOC, DOCX, XLS, XLSX, HTML, TXT en Markdown (.md)

Beperkingen:

Maximale bestandsgrootte per document: 4.5 MB
Bestandsnamen worden automatisch opgeschoond om te voldoen aan de naamgevingsvereisten van Bedrock (alfanumeriek, spaties, koppeltekens, haakjes, vierkante haken; maximaal 200 tekens)

Voor meer informatie over opties voor het uploaden van bestanden, zie de OCR for Documents documentatie.

Opmerkingen

De volgende modellen worden niet ondersteund vanwege een gebrek aan streaming-functionaliteit:
- ai21.j2-mid-v1
De volgende modellen worden niet ondersteund vanwege het ontbreken van ondersteuning voor gespreksgeschiedenis:
- ai21.j2-ultra-v1
- cohere.command-text-v14
- cohere.command-light-text-v14
Het AWS Bedrock endpoint ondersteunt alle Shared Endpoint Settings via het librechat.yaml configuratiebestand, inclusief streamRate, titleModel, titleMethod, titlePrompt, titlePromptTemplate en titleEndpoint

AWS Bedrock

Op deze pagina