Structure de l'objet AWS Bedrock
L'intégration d'AWS Bedrock avec votre application vous permet d'utiliser de manière transparente plusieurs modèles d'IA hébergés sur AWS. Cette section détaille comment configurer l'endpoint AWS Bedrock pour vos besoins.
Exemple de configuration
Note : L'endpoint AWS Bedrock prend en charge tous les Shared Endpoint Settings, y compris
streamRate,titleModel,titleMethod,titlePrompt,titlePromptTemplateettitleEndpoint. Les paramètres présentés ci-dessous sont spécifiques à Bedrock ou possèdent des valeurs par défaut spécifiques à Bedrock.
titleModel
Clé :
| Key | Type | Description | Example |
|---|---|---|---|
| titleModel | String | Spécifie le modèle à utiliser pour générer les titres de conversation. | Recommended: anthropic.claude-3-haiku-20240307-v1:0. Set to "current_model" to use the same model as the chat. |
Par défaut : Non spécifié
Exemple :
streamRate
Clé :
| Key | Type | Description | Example |
|---|---|---|---|
| streamRate | Number | Définit la vitesse de traitement de chaque nouveau jeton en millisecondes. | This can help stabilize processing of concurrent requests and provide smoother frontend stream rendering. |
Par défaut : Non spécifié
Exemple :
availableRegions
Clé :
| Key | Type | Description | Example |
|---|---|---|---|
| availableRegions | Array | Spécifie les régions AWS que vous souhaitez rendre disponibles pour Bedrock. | If provided, users will see a dropdown to select the region. If not selected, the default region is used. |
Par défaut : Non spécifié
Exemple :
models
Clé :
| Key | Type | Description | Example |
|---|---|---|---|
| models | Array of Strings | Spécifie les ID de modèles personnalisés disponibles pour l'endpoint Bedrock. | When provided, these models appear in the model selector for Bedrock. |
Par défaut : Non spécifié (utilise la liste de modèles Bedrock par défaut)
Exemple :
inferenceProfiles
Clé :
| Key | Type | Description | Example |
|---|---|---|---|
| inferenceProfiles | Object (Record) | Associe les ID de modèle aux ARN de profil d'inférence pour l'inférence inter-région. Les clés sont les ID de modèle et les valeurs sont l'ARN du profil d'inférence ou une référence de variable d'environnement. | When a selected model matches a key, the corresponding ARN is used as the application inference profile. |
Par défaut : Non spécifié
Exemple :
Notes :
- Les profils d'inférence permettent l'inférence inter-régionale, vous autorisant à acheminer les requêtes vers des modèles dans différentes régions AWS.
- Les valeurs prennent en charge l'interpolation des variables d'environnement avec la syntaxe
${ENV_VAR} - L'ID du modèle dans la clé doit correspondre au modèle sélectionné par l'utilisateur dans l'interface utilisateur.
- À utiliser avec le champ
modelspour rendre les ID de modèles inter-régions disponibles dans le sélecteur de modèles - Pour un guide complet sur la création et la gestion des profils d'inférence, consultez AWS Bedrock Inference Profiles
Exemple combiné :
guardrailConfig
Clé :
| Key | Type | Description | Example |
|---|---|---|---|
| guardrailConfig | Object | Configuration pour les Guardrails AWS Bedrock afin de filtrer et modérer les entrées et sorties des modèles. | Optional. When configured, all Bedrock requests will be validated against the specified guardrail. |
Sous-clés :
| Key | Type | Description | Example |
|---|---|---|---|
| guardrailIdentifier | String | L'identifiant unique du garde-fou à appliquer. | Required when using guardrails. |
| guardrailVersion | String | La version du garde-fou à utiliser. | Required when using guardrails. |
| trace | String | Contrôle la sortie de trace des guardrails pour le débogage. Options : "enabled", "enabled_full" ou "disabled". | Optional. Default: "disabled" |
| streamProcessingMode | String | Contrôle le mode de traitement du flux de la barrière de sécurité. Options : "sync" ou "async". | Optional. Default: "sync" |
Exemple :
Notes :
- Les Guardrails aident à garantir une utilisation responsable de l'IA en filtrant les contenus nuisibles, les PII et autres informations sensibles.
- Le
guardrailIdentifierse trouve dans la console AWS Bedrock sous Guardrails - Définissez
tracesur"enabled"ou"enabled_full"pendant le développement pour voir quelles politiques de garde-fou (guardrail policies) sont déclenchées - Définissez
streamProcessingModesur"async"pour diffuser les réponses plus rapidement (au risque que les garde-fous laissent passer du contenu inapproprié jusqu'à ce que leur analyse soit terminée) - Pour la production, définissez
tracesur"disabled"afin de réduire la taille de la charge utile de réponse.
Notes
- L'authentification AWS Bedrock est configurée via des variables d'environnement. Vous pouvez utiliser
BEDROCK_AWS_PROFILE, la chaîne de fournisseur d'informations d'identification par défaut du SDK AWS,BEDROCK_AWS_BEARER_TOKENpour les clés API Bedrock, ou des informations d'identification statiques spécifiques à Bedrock. Consultez le guide de configuration AWS Bedrock pour plus de détails.
Que pensez-vous de ce guide ?