Skip to main content
LibreChat is joining ClickHouse to power the open-source Agentic Data Stack 🎉 Learn more
LibreChat

Structure de l'objet AWS Bedrock

L'intégration d'AWS Bedrock avec votre application vous permet d'utiliser de manière transparente plusieurs modèles d'IA hébergés sur AWS. Cette section détaille comment configurer l'endpoint AWS Bedrock pour vos besoins.

Exemple de configuration

endpoints:
  bedrock:
    titleModel: 'anthropic.claude-3-haiku-20240307-v1:0'
    streamRate: 35
    availableRegions:
      - 'us-east-1'
      - 'us-west-2'
    guardrailConfig:
      guardrailIdentifier: 'your-guardrail-id'
      guardrailVersion: '1'
      trace: 'enabled'
      streamProcessingMode: 'sync'

Note : L'endpoint AWS Bedrock prend en charge tous les Shared Endpoint Settings, y compris streamRate, titleModel, titleMethod, titlePrompt, titlePromptTemplate et titleEndpoint. Les paramètres présentés ci-dessous sont spécifiques à Bedrock ou possèdent des valeurs par défaut spécifiques à Bedrock.

titleModel

Clé :

KeyTypeDescriptionExample
titleModelStringSpécifie le modèle à utiliser pour générer les titres de conversation.Recommended: anthropic.claude-3-haiku-20240307-v1:0. Set to "current_model" to use the same model as the chat.

Par défaut : Non spécifié

Exemple :

titleModel: 'anthropic.claude-3-haiku-20240307-v1:0'

streamRate

Clé :

KeyTypeDescriptionExample
streamRateNumberDéfinit la vitesse de traitement de chaque nouveau jeton en millisecondes.This can help stabilize processing of concurrent requests and provide smoother frontend stream rendering.

Par défaut : Non spécifié

Exemple :

streamRate: 35

availableRegions

Clé :

KeyTypeDescriptionExample
availableRegionsArraySpécifie les régions AWS que vous souhaitez rendre disponibles pour Bedrock.If provided, users will see a dropdown to select the region. If not selected, the default region is used.

Par défaut : Non spécifié

Exemple :

availableRegions:
  - 'us-east-1'
  - 'us-west-2'

models

Clé :

KeyTypeDescriptionExample
modelsArray of StringsSpécifie les ID de modèles personnalisés disponibles pour l'endpoint Bedrock.When provided, these models appear in the model selector for Bedrock.

Par défaut : Non spécifié (utilise la liste de modèles Bedrock par défaut)

Exemple :

endpoints:
  bedrock:
    models:
      - 'anthropic.claude-sonnet-4-20250514-v1:0'
      - 'anthropic.claude-haiku-4-20250514-v1:0'
      - 'us.anthropic.claude-sonnet-4-20250514-v1:0'

inferenceProfiles

Clé :

KeyTypeDescriptionExample
inferenceProfilesObject (Record)Associe les ID de modèle aux ARN de profil d'inférence pour l'inférence inter-région. Les clés sont les ID de modèle et les valeurs sont l'ARN du profil d'inférence ou une référence de variable d'environnement.When a selected model matches a key, the corresponding ARN is used as the application inference profile.

Par défaut : Non spécifié

Exemple :

endpoints:
  bedrock:
    inferenceProfiles:
      'us.anthropic.claude-sonnet-4-20250514-v1:0': '${BEDROCK_INFERENCE_PROFILE_CLAUDE_SONNET}'
      'anthropic.claude-3-7-sonnet-20250219-v1:0': 'arn:aws:bedrock:us-west-2:123456789012:application-inference-profile/abc123'

Notes :

  • Les profils d'inférence permettent l'inférence inter-régionale, vous autorisant à acheminer les requêtes vers des modèles dans différentes régions AWS.
  • Les valeurs prennent en charge l'interpolation des variables d'environnement avec la syntaxe ${ENV_VAR}
  • L'ID du modèle dans la clé doit correspondre au modèle sélectionné par l'utilisateur dans l'interface utilisateur.
  • À utiliser avec le champ models pour rendre les ID de modèles inter-régions disponibles dans le sélecteur de modèles
  • Pour un guide complet sur la création et la gestion des profils d'inférence, consultez AWS Bedrock Inference Profiles

Exemple combiné :

endpoints:
  bedrock:
    models:
      - 'us.anthropic.claude-sonnet-4-20250514-v1:0'
      - 'us.anthropic.claude-haiku-4-20250514-v1:0'
    inferenceProfiles:
      'us.anthropic.claude-sonnet-4-20250514-v1:0': '${BEDROCK_CLAUDE_SONNET_PROFILE}'
      'us.anthropic.claude-haiku-4-20250514-v1:0': '${BEDROCK_CLAUDE_HAIKU_PROFILE}'

guardrailConfig

Clé :

KeyTypeDescriptionExample
guardrailConfigObjectConfiguration pour les Guardrails AWS Bedrock afin de filtrer et modérer les entrées et sorties des modèles.Optional. When configured, all Bedrock requests will be validated against the specified guardrail.

Sous-clés :

KeyTypeDescriptionExample
guardrailIdentifierStringL'identifiant unique du garde-fou à appliquer.Required when using guardrails.
guardrailVersionStringLa version du garde-fou à utiliser.Required when using guardrails.
traceStringContrôle la sortie de trace des guardrails pour le débogage. Options : "enabled", "enabled_full" ou "disabled".Optional. Default: "disabled"
streamProcessingModeStringContrôle le mode de traitement du flux de la barrière de sécurité. Options : "sync" ou "async".Optional. Default: "sync"

Exemple :

endpoints:
  bedrock:
    guardrailConfig:
      guardrailIdentifier: 'abc123xyz'
      guardrailVersion: '1'
      trace: 'enabled'
      streamProcessingMode: 'sync'

Notes :

  • Les Guardrails aident à garantir une utilisation responsable de l'IA en filtrant les contenus nuisibles, les PII et autres informations sensibles.
  • Le guardrailIdentifier se trouve dans la console AWS Bedrock sous Guardrails
  • Définissez trace sur "enabled" ou "enabled_full" pendant le développement pour voir quelles politiques de garde-fou (guardrail policies) sont déclenchées
  • Définissez streamProcessingMode sur "async" pour diffuser les réponses plus rapidement (au risque que les garde-fous laissent passer du contenu inapproprié jusqu'à ce que leur analyse soit terminée)
  • Pour la production, définissez trace sur "disabled" afin de réduire la taille de la charge utile de réponse.

Notes

  • L'authentification AWS Bedrock est configurée via des variables d'environnement. Vous pouvez utiliser BEDROCK_AWS_PROFILE, la chaîne de fournisseur d'informations d'identification par défaut du SDK AWS, BEDROCK_AWS_BEARER_TOKEN pour les clés API Bedrock, ou des informations d'identification statiques spécifiques à Bedrock. Consultez le guide de configuration AWS Bedrock pour plus de détails.

Que pensez-vous de ce guide ?