AWS Bedrock Objektstruktur
Die Integration von AWS Bedrock in Ihre Anwendung ermöglicht es Ihnen, nahtlos mehrere KI-Modelle zu nutzen, die auf AWS gehostet werden. Dieser Abschnitt beschreibt, wie Sie den AWS Bedrock endpoint für Ihre Anforderungen konfigurieren.
Beispielkonfiguration
Hinweis: Der AWS Bedrock endpoint unterstützt alle Shared Endpoint Settings, einschließlich
streamRate,titleModel,titleMethod,titlePrompt,titlePromptTemplateundtitleEndpoint. Die unten aufgeführten Einstellungen sind spezifisch für Bedrock oder haben Bedrock-spezifische Standardwerte.
titleModel
Schlüssel:
| Key | Type | Description | Example |
|---|---|---|---|
| titleModel | String | Gibt das Modell an, das für die Generierung von Konversationstiteln verwendet werden soll. | Recommended: anthropic.claude-3-haiku-20240307-v1:0. Set to "current_model" to use the same model as the chat. |
Standard: Nicht angegeben
Beispiel:
streamRate
Schlüssel:
| Key | Type | Description | Example |
|---|---|---|---|
| streamRate | Number | Legt die Verarbeitungsrate für jedes neue Token in Millisekunden fest. | This can help stabilize processing of concurrent requests and provide smoother frontend stream rendering. |
Standard: Nicht angegeben
Beispiel:
availableRegions
Schlüssel:
| Key | Type | Description | Example |
|---|---|---|---|
| availableRegions | Array | Gibt die AWS-Regionen an, die Sie für Bedrock verfügbar machen möchten. | If provided, users will see a dropdown to select the region. If not selected, the default region is used. |
Standard: Nicht angegeben
Beispiel:
models
Schlüssel:
| Key | Type | Description | Example |
|---|---|---|---|
| models | Array of Strings | Gibt benutzerdefinierte Modell-IDs an, die für den Bedrock endpoint verfügbar sind. | When provided, these models appear in the model selector for Bedrock. |
Standard: Nicht angegeben (verwendet die Standard-Modellliste von Bedrock)
Beispiel:
inferenceProfiles
Schlüssel:
| Key | Type | Description | Example |
|---|---|---|---|
| inferenceProfiles | Object (Record) | Ordnet Modell-IDs Inference-Profil-ARNs für regionsübergreifende Inferenz zu. Die Schlüssel sind Modell-IDs und die Werte sind die Inference-Profil-ARN oder ein Umgebungsvariablen-Verweis. | When a selected model matches a key, the corresponding ARN is used as the application inference profile. |
Standard: Nicht angegeben
Beispiel:
Hinweise:
- Inference-Profile ermöglichen regionsübergreifende Inferenz, wodurch Sie Anfragen an Modelle in verschiedenen AWS-Regionen weiterleiten können.
- Werte unterstützen die Umgebungsvariablen-Interpolation mit der
${ENV_VAR}-Syntax - Die Modell-ID im Schlüssel muss mit dem vom Benutzer in der UI ausgewählten Modell übereinstimmen.
- Verwenden Sie dies zusammen mit dem Feld
models, um regionsübergreifende Modell-IDs im Modellauswahlmenü verfügbar zu machen. - Für eine vollständige Anleitung zum Erstellen und Verwalten von Inference Profiles, siehe AWS Bedrock Inference Profiles
Kombiniertes Beispiel:
guardrailConfig
Schlüssel:
| Key | Type | Description | Example |
|---|---|---|---|
| guardrailConfig | Object | Konfiguration für AWS Bedrock Guardrails zum Filtern und Moderieren von Modelleingaben und -ausgaben. | Optional. When configured, all Bedrock requests will be validated against the specified guardrail. |
Untergeordnete Schlüssel:
| Key | Type | Description | Example |
|---|---|---|---|
| guardrailIdentifier | String | Die eindeutige Kennung des anzuwendenden Guardrails. | Required when using guardrails. |
| guardrailVersion | String | Die zu verwendende Version des Guardrails. | Required when using guardrails. |
| trace | String | Steuert die Guardrail-Trace-Ausgabe für das Debugging. Optionen: "enabled", "enabled_full" oder "disabled". | Optional. Default: "disabled" |
| streamProcessingMode | String | Steuert den Guardrail-Stream-Verarbeitungsmodus. Optionen: "sync" oder "async". | Optional. Default: "sync" |
Beispiel:
Hinweise:
- Guardrails tragen dazu bei, eine verantwortungsvolle KI-Nutzung sicherzustellen, indem sie schädliche Inhalte, PII und andere sensible Informationen filtern.
- Die
guardrailIdentifierfinden Sie in der AWS Bedrock Konsole unter Guardrails - Setze
tracewährend der Entwicklung auf"enabled"oder"enabled_full", um zu sehen, welche Guardrail-Richtlinien ausgelöst werden. - Setze
streamProcessingModeauf"async", um Antworten schneller zu streamen (auf Kosten der Sicherheitsvorkehrungen, die möglicherweise unangemessene Inhalte durchlassen, bis deren Überprüfung abgeschlossen ist). - Für die Produktion setzen Sie
traceauf"disabled", um die Größe der Antwort-Payload zu reduzieren.
Hinweise
- Die Authentifizierung für AWS Bedrock wird über Umgebungsvariablen konfiguriert. Sie können
BEDROCK_AWS_PROFILE, die Standard-Credential-Provider-Kette des AWS SDK,BEDROCK_AWS_BEARER_TOKENfür Bedrock-API-Schlüssel oder Bedrock-spezifische statische Anmeldeinformationen verwenden. Weitere Informationen finden Sie im AWS Bedrock-Einrichtungsleitfaden.
Wie finden Sie diese Anleitung?