Skip to main content
LibreChat is joining ClickHouse to power the open-source Agentic Data Stack 🎉 Learn more
LibreChat

AWS Bedrock Objektstruktur

Die Integration von AWS Bedrock in Ihre Anwendung ermöglicht es Ihnen, nahtlos mehrere KI-Modelle zu nutzen, die auf AWS gehostet werden. Dieser Abschnitt beschreibt, wie Sie den AWS Bedrock endpoint für Ihre Anforderungen konfigurieren.

Beispielkonfiguration

endpoints:
  bedrock:
    titleModel: 'anthropic.claude-3-haiku-20240307-v1:0'
    streamRate: 35
    availableRegions:
      - 'us-east-1'
      - 'us-west-2'
    guardrailConfig:
      guardrailIdentifier: 'your-guardrail-id'
      guardrailVersion: '1'
      trace: 'enabled'
      streamProcessingMode: 'sync'

Hinweis: Der AWS Bedrock endpoint unterstützt alle Shared Endpoint Settings, einschließlich streamRate, titleModel, titleMethod, titlePrompt, titlePromptTemplate und titleEndpoint. Die unten aufgeführten Einstellungen sind spezifisch für Bedrock oder haben Bedrock-spezifische Standardwerte.

titleModel

Schlüssel:

KeyTypeDescriptionExample
titleModelStringGibt das Modell an, das für die Generierung von Konversationstiteln verwendet werden soll.Recommended: anthropic.claude-3-haiku-20240307-v1:0. Set to "current_model" to use the same model as the chat.

Standard: Nicht angegeben

Beispiel:

titleModel: 'anthropic.claude-3-haiku-20240307-v1:0'

streamRate

Schlüssel:

KeyTypeDescriptionExample
streamRateNumberLegt die Verarbeitungsrate für jedes neue Token in Millisekunden fest.This can help stabilize processing of concurrent requests and provide smoother frontend stream rendering.

Standard: Nicht angegeben

Beispiel:

streamRate: 35

availableRegions

Schlüssel:

KeyTypeDescriptionExample
availableRegionsArrayGibt die AWS-Regionen an, die Sie für Bedrock verfügbar machen möchten.If provided, users will see a dropdown to select the region. If not selected, the default region is used.

Standard: Nicht angegeben

Beispiel:

availableRegions:
  - 'us-east-1'
  - 'us-west-2'

models

Schlüssel:

KeyTypeDescriptionExample
modelsArray of StringsGibt benutzerdefinierte Modell-IDs an, die für den Bedrock endpoint verfügbar sind.When provided, these models appear in the model selector for Bedrock.

Standard: Nicht angegeben (verwendet die Standard-Modellliste von Bedrock)

Beispiel:

endpoints:
  bedrock:
    models:
      - 'anthropic.claude-sonnet-4-20250514-v1:0'
      - 'anthropic.claude-haiku-4-20250514-v1:0'
      - 'us.anthropic.claude-sonnet-4-20250514-v1:0'

inferenceProfiles

Schlüssel:

KeyTypeDescriptionExample
inferenceProfilesObject (Record)Ordnet Modell-IDs Inference-Profil-ARNs für regionsübergreifende Inferenz zu. Die Schlüssel sind Modell-IDs und die Werte sind die Inference-Profil-ARN oder ein Umgebungsvariablen-Verweis.When a selected model matches a key, the corresponding ARN is used as the application inference profile.

Standard: Nicht angegeben

Beispiel:

endpoints:
  bedrock:
    inferenceProfiles:
      'us.anthropic.claude-sonnet-4-20250514-v1:0': '${BEDROCK_INFERENCE_PROFILE_CLAUDE_SONNET}'
      'anthropic.claude-3-7-sonnet-20250219-v1:0': 'arn:aws:bedrock:us-west-2:123456789012:application-inference-profile/abc123'

Hinweise:

  • Inference-Profile ermöglichen regionsübergreifende Inferenz, wodurch Sie Anfragen an Modelle in verschiedenen AWS-Regionen weiterleiten können.
  • Werte unterstützen die Umgebungsvariablen-Interpolation mit der ${ENV_VAR}-Syntax
  • Die Modell-ID im Schlüssel muss mit dem vom Benutzer in der UI ausgewählten Modell übereinstimmen.
  • Verwenden Sie dies zusammen mit dem Feld models, um regionsübergreifende Modell-IDs im Modellauswahlmenü verfügbar zu machen.
  • Für eine vollständige Anleitung zum Erstellen und Verwalten von Inference Profiles, siehe AWS Bedrock Inference Profiles

Kombiniertes Beispiel:

endpoints:
  bedrock:
    models:
      - 'us.anthropic.claude-sonnet-4-20250514-v1:0'
      - 'us.anthropic.claude-haiku-4-20250514-v1:0'
    inferenceProfiles:
      'us.anthropic.claude-sonnet-4-20250514-v1:0': '${BEDROCK_CLAUDE_SONNET_PROFILE}'
      'us.anthropic.claude-haiku-4-20250514-v1:0': '${BEDROCK_CLAUDE_HAIKU_PROFILE}'

guardrailConfig

Schlüssel:

KeyTypeDescriptionExample
guardrailConfigObjectKonfiguration für AWS Bedrock Guardrails zum Filtern und Moderieren von Modelleingaben und -ausgaben.Optional. When configured, all Bedrock requests will be validated against the specified guardrail.

Untergeordnete Schlüssel:

KeyTypeDescriptionExample
guardrailIdentifierStringDie eindeutige Kennung des anzuwendenden Guardrails.Required when using guardrails.
guardrailVersionStringDie zu verwendende Version des Guardrails.Required when using guardrails.
traceStringSteuert die Guardrail-Trace-Ausgabe für das Debugging. Optionen: "enabled", "enabled_full" oder "disabled".Optional. Default: "disabled"
streamProcessingModeStringSteuert den Guardrail-Stream-Verarbeitungsmodus. Optionen: "sync" oder "async".Optional. Default: "sync"

Beispiel:

endpoints:
  bedrock:
    guardrailConfig:
      guardrailIdentifier: 'abc123xyz'
      guardrailVersion: '1'
      trace: 'enabled'
      streamProcessingMode: 'sync'

Hinweise:

  • Guardrails tragen dazu bei, eine verantwortungsvolle KI-Nutzung sicherzustellen, indem sie schädliche Inhalte, PII und andere sensible Informationen filtern.
  • Die guardrailIdentifier finden Sie in der AWS Bedrock Konsole unter Guardrails
  • Setze trace während der Entwicklung auf "enabled" oder "enabled_full", um zu sehen, welche Guardrail-Richtlinien ausgelöst werden.
  • Setze streamProcessingMode auf "async", um Antworten schneller zu streamen (auf Kosten der Sicherheitsvorkehrungen, die möglicherweise unangemessene Inhalte durchlassen, bis deren Überprüfung abgeschlossen ist).
  • Für die Produktion setzen Sie trace auf "disabled", um die Größe der Antwort-Payload zu reduzieren.

Hinweise

  • Die Authentifizierung für AWS Bedrock wird über Umgebungsvariablen konfiguriert. Sie können BEDROCK_AWS_PROFILE, die Standard-Credential-Provider-Kette des AWS SDK, BEDROCK_AWS_BEARER_TOKEN für Bedrock-API-Schlüssel oder Bedrock-spezifische statische Anmeldeinformationen verwenden. Weitere Informationen finden Sie im AWS Bedrock-Einrichtungsleitfaden.

Wie finden Sie diese Anleitung?