AWS Bedrock

Besuchen Sie die AWS docs, um sich bei AWS anzumelden und Ihre Zugangsdaten einzurichten.

Sie müssen außerdem den Modellzugriff für Ihr Konto aktivieren, was Sie tun können, indem Sie diesen Anweisungen folgen.

Authentifizierung

Legen Sie immer die Bedrock-Region fest, die LibreChat verwenden soll:

BEDROCK_AWS_DEFAULT_REGION=us-east-1

LibreChat unterstützt die folgenden Authentifizierungsmethoden für Bedrock.

AWS-Profil

BEDROCK_AWS_DEFAULT_REGION=us-east-1
BEDROCK_AWS_PROFILE=your-profile-name

Verwenden Sie dies, wenn Sie bereits Anmeldeinformationen in ~/.aws/config oder ~/.aws/credentials haben oder wenn Ihr Profil AWS IAM Identity Center, Rollenübernahme oder credential_process verwendet.

BEDROCK_AWS_PROFILE ist eine LibreChat-spezifische Einstellung, die das ausgewählte Profil an die AWS SDK-Anmeldeinformations-Provider-Kette für Bedrock weitergibt. Dies begrenzt die Profilauswahl auf Bedrock, ohne die von anderen Integrationen verwendeten Anmeldeinformationen zu ändern. Die AWS-Standardumgebungsvariable AWS_PROFILE wird weiterhin von der AWS SDK-Standard-Provider-Kette unterstützt.

Wenn Ihr Profil credential_process verwendet, sichern Sie die AWS-Konfigurationsdatei und den Hilfsbefehl. AWS warnt davor, dass geheime Informationen, die in stderr geschrieben werden, von SDKs und Tools erfasst oder protokolliert werden können.

Standard-AWS-Anmeldeinformationsanbieterkette

Sie können Bedrock-spezifische Anmeldeinformationen und Profileinstellungen weglassen, damit das AWS SDK for JavaScript die Anmeldeinformationen automatisch auflöst:

BEDROCK_AWS_DEFAULT_REGION=us-east-1

Dies ist der bevorzugte Ansatz für Bereitstellungen, die IAM-Rollen oder eine andere AWS-native Quelle für kurzfristige Anmeldeinformationen verwenden. Das SDK prüft unterstützte Anbieter von Anmeldeinformationen in der festgelegten Rangfolge und stoppt bei den ersten gültigen Anmeldeinformationen, die es findet. Zu den gängigen Quellen gehören Umgebungsvariablen, IAM Identity Center/SSO, gemeinsam genutzte Konfigurations- und Anmeldedateien, Web-Identität, ECS-Container-Anmeldeinformationen, EC2-Instanz-Metadaten und Prozess-Anmeldeinformationen.

Wenn beispielsweise die AWS-Standardvariablen AWS_ACCESS_KEY_ID und AWS_SECRET_ACCESS_KEY gesetzt sind, können diese Anmeldeinformationen Vorrang vor profilbasierten Anmeldeinformationen in ~/.aws/credentials oder ~/.aws/config haben.

Bedrock API-Schlüssel

Amazon Bedrock API-Schlüssel authentifizieren Bedrock-Aufrufe mit Bearer-Auth anstelle von SigV4-signierten AWS-Anmeldeinformationen. Konfigurieren Sie diese in LibreChat mit der für Bedrock vorgesehenen Umgebungsvariable:

BEDROCK_AWS_DEFAULT_REGION=us-east-1
BEDROCK_AWS_BEARER_TOKEN=your_bedrock_api_key

BEDROCK_AWS_BEARER_TOKEN ist LibreChat-spezifisch. Die AWS-Dokumentation und rohe AWS SDK/CLI-Beispiele verwenden die AWS-Standardumgebungsvariable AWS_BEARER_TOKEN_BEDROCK, aber LibreChat verwendet absichtlich einen auf Bedrock bezogenen Namen, damit sich das Token nur auf die Bedrock-endpoint-Konfiguration auswirkt. LibreChat übergibt diesen Wert an das AWS SDK als Bearer-Authentifizierung.

Damit Benutzer ihren eigenen Bedrock API-Schlüssel über die LibreChat-Benutzeroberfläche bereitstellen können, legen Sie Folgendes fest:

BEDROCK_AWS_DEFAULT_REGION=us-east-1
BEDROCK_AWS_BEARER_TOKEN=user_provided

Kurzfristige Bedrock API-Keys erben die Berechtigungen des AWS-Principals, der zu ihrer Erstellung verwendet wurde, sind nur in der AWS-Region gültig, in der sie erstellt wurden, und laufen nach spätestens 12 Stunden oder mit Ablauf der Quellsitzung ab. Langfristige Bedrock API-Keys werden nur für Erkundungs- und Entwicklungszwecke empfohlen. Siehe die AWS-Dokumentation zur Verwendung von Bedrock API-Keys und zur Erstellung von Bedrock API-Keys.

Statische Bedrock-Anmeldedaten

Verwenden Sie statische Bedrock-spezifische Umgebungsvariablen nur, wenn Profile oder IAM-Rollen nicht geeignet sind:

BEDROCK_AWS_DEFAULT_REGION=us-east-1
BEDROCK_AWS_ACCESS_KEY_ID=your_access_key_id
BEDROCK_AWS_SECRET_ACCESS_KEY=your_secret_access_key
# BEDROCK_AWS_SESSION_TOKEN=your_session_token

Wenn BEDROCK_AWS_ACCESS_KEY_ID und BEDROCK_AWS_SECRET_ACCESS_KEY gesetzt sind, übergibt LibreChat diese direkt an den Bedrock-Client. Sie müssen zusammen bereitgestellt werden und haben Vorrang vor BEDROCK_AWS_PROFILE sowie der standardmäßigen SDK-Provider-Kette für Bedrock.

Wenn BEDROCK_AWS_BEARER_TOKEN gesetzt ist, verwendet LibreChat für Bedrock eine Bearer-Authentifizierung anstelle von statischen Anmeldeinformationen, BEDROCK_AWS_PROFILE oder der standardmäßigen SDK-Provider-Kette.

Für Details zum Verhalten von AWS-Anmeldeinformationen siehe die AWS SDK for JavaScript credential provider chain, die AWS SDKs and Tools settings reference und die AWS credential_process security notes.

Modelle konfigurieren

Sie können optional angeben, welche Modelle mit BEDROCK_AWS_MODELS verfügbar gemacht werden sollen:

BEDROCK_AWS_MODELS=anthropic.claude-fable-5,anthropic.claude-opus-4-8,anthropic.claude-opus-4-7,anthropic.claude-sonnet-4-6,meta.llama3-1-8b-instruct-v1:0

Hinweis: Falls weggelassen, werden automatisch alle bekannten, unterstützten Modell-IDs einbezogen.

Claude Fable/Mythos-Klasse-Modelle auf Bedrock sind nur über Inference-Profile verfügbar. Verwenden Sie eine Profil-ID wie us.anthropic.claude-fable-5 und aktivieren Sie die Anthropic-Datenfreigabe in der Bedrock-Konsole oder über die Data Retention API, bevor Sie diese aufrufen.
Alle Bedrock Modell-IDs finden Sie hier:
- https://docs.aws.amazon.com/bedrock/latest/userguide/model-ids.html#model-ids-arns

Zusätzliche Konfiguration

Sie können den Bedrock endpoint in Ihrer librechat.yaml Datei weiter konfigurieren:

endpoints:
  bedrock:
    availableRegions:
      - 'us-east-1'
      - 'us-west-2'
    streamRate: 35
    titleModel: 'anthropic.claude-3-haiku-20240307-v1:0'
    guardrailConfig:
      guardrailIdentifier: 'abc123xyz'
      guardrailVersion: '1'
      trace: 'enabled'
      streamProcessingMode: 'sync'

streamRate: (Optional) Legt die Verarbeitungsrate für jedes neue Token in Millisekunden fest.
- Dies kann dazu beitragen, die Verarbeitung gleichzeitiger Anfragen zu stabilisieren und ein flüssigeres Stream-Rendering im Frontend zu ermöglichen.
titleModel: (Optional) Geben Sie das Modell an, das für die Generierung von Konversationstiteln verwendet werden soll.
- Empfohlen: anthropic.claude-3-haiku-20240307-v1:0.
- Lassen oder setzen Sie es auf current_model, um dasselbe Modell wie im Chat zu verwenden.
availableRegions: (Optional) Geben Sie die AWS-Regionen an, die Sie verfügbar machen möchten.
- Falls angegeben, sehen Benutzer ein Dropdown-Menü zur Auswahl der Region. Wenn keine Auswahl getroffen wird, wird die Standardregion verwendet.
guardrailConfig: (Optional) Konfigurieren Sie AWS Bedrock Guardrails für die Inhaltsfilterung.
- guardrailIdentifier: Die Guardrail-ID oder der ARN aus Ihrer AWS Bedrock Console.
- guardrailVersion: Die Versionsnummer des Guardrails (z. B. "1") oder "DRAFT".
- trace: (Optional) Trace-Logging aktivieren: "enabled", "disabled" oder "enabled_full".
- streamProcessingMode: (Optional) Legt den Stream-Verarbeitungsmodus fest: "sync" oder "async" (Standard ist "sync").
- Siehe die AWS Bedrock Guardrails-Dokumentation zum Erstellen und Verwalten von Guardrails.

Inference Profiles

AWS Bedrock Inference-Profile ermöglichen es Ihnen, benutzerdefinierte Routing-Konfigurationen für Basismodelle zu erstellen, was regionsübergreifenden Lastausgleich, Kostenzuweisung und Compliance-Kontrollen ermöglicht. Sie können Modell-IDs in Ihrer librechat.yaml benutzerdefinierten Inference-Profil-ARNs zuordnen:

endpoints:
  bedrock:
    inferenceProfiles:
      'us.anthropic.claude-3-7-sonnet-20250219-v1:0': '${BEDROCK_CLAUDE_37_PROFILE}'

Für den vollständigen Leitfaden zum Erstellen von Profilen, zum Konfigurieren von LibreChat, zum Einrichten der Protokollierung und zur Fehlerbehebung siehe Bedrock Inference Profiles.

Für die YAML-Feldreferenz siehe AWS Bedrock Object Structure.

Dokumenten-Uploads

Bedrock unterstützt das direkte Hochladen von Dokumenten an den Anbieter über die Option Upload to Provider im Dropdown-Menü für Dateianhänge. Dokumente werden als native Dokumentenanhänge an die Bedrock Converse API gesendet.

Unterstützte Formate: PDF, CSV, DOC, DOCX, XLS, XLSX, HTML, TXT und Markdown (.md)

Einschränkungen:

Maximale Dateigröße pro Dokument: 4,5 MB
Dateinamen werden automatisch bereinigt, um den Namensanforderungen von Bedrock zu entsprechen (alphanumerisch, Leerzeichen, Bindestriche, Klammern, eckige Klammern; maximal 200 Zeichen).

Weitere Informationen zu Optionen für den Datei-Upload finden Sie in der Dokumentation zu OCR for Documents.

Hinweise

Die folgenden Modelle werden aufgrund fehlender Streaming-Funktionalität nicht unterstützt:
- ai21.j2-mid-v1
Die folgenden Modelle werden aufgrund fehlender Unterstützung für den Konversationsverlauf nicht unterstützt:
- ai21.j2-ultra-v1
- cohere.command-text-v14
- cohere.command-light-text-v14
Der AWS Bedrock endpoint unterstützt alle Shared Endpoint Settings über die Konfigurationsdatei librechat.yaml, einschließlich streamRate, titleModel, titleMethod, titlePrompt, titlePromptTemplate und titleEndpoint.