AWS Bedrock

Vai alla documentazione AWS per registrarti ad AWS e configurare le tue credenziali.

Dovrai anche attivare l'accesso al modello per il tuo account, cosa che puoi fare seguendo queste istruzioni.

Autenticazione

Imposta sempre la regione Bedrock che LibreChat deve utilizzare:

BEDROCK_AWS_DEFAULT_REGION=us-east-1

LibreChat supporta i seguenti metodi di autenticazione per Bedrock.

Profilo AWS

BEDROCK_AWS_DEFAULT_REGION=us-east-1
BEDROCK_AWS_PROFILE=your-profile-name

Utilizza questa opzione quando disponi già delle credenziali in ~/.aws/config o ~/.aws/credentials, oppure quando il tuo profilo utilizza AWS IAM Identity Center, l'assunzione di ruoli (role assumption) o credential_process.

BEDROCK_AWS_PROFILE è un'impostazione specifica di LibreChat che trasmette il profilo selezionato alla catena del provider di credenziali AWS SDK per Bedrock. Questo limita la selezione del profilo a Bedrock senza modificare le credenziali utilizzate da altre integrazioni. La variabile d'ambiente standard AWS AWS_PROFILE è ancora supportata dalla catena del provider predefinita di AWS SDK.

Se il tuo profilo utilizza credential_process, proteggi il file di configurazione AWS e il comando helper. AWS avverte che il materiale segreto scritto su stderr può essere catturato o registrato da SDK e strumenti.

Catena di provider di credenziali AWS predefinita

Puoi omettere le credenziali specifiche di Bedrock e le impostazioni del profilo per consentire all'AWS SDK for JavaScript di risolvere le credenziali automaticamente:

BEDROCK_AWS_DEFAULT_REGION=us-east-1

Questo è l'approccio preferito per le distribuzioni che utilizzano ruoli IAM o un'altra fonte di credenziali a breve termine nativa di AWS. L'SDK controlla i provider di credenziali supportati in ordine di precedenza e si ferma alle prime credenziali valide che trova. Le fonti comuni includono variabili d'ambiente, IAM Identity Center/SSO, file di configurazione e credenziali condivisi, web identity, credenziali del container ECS, metadati dell'istanza EC2 e credenziali di processo.

Ad esempio, se le variabili standard AWS AWS_ACCESS_KEY_ID e AWS_SECRET_ACCESS_KEY sono impostate, tali credenziali possono avere la precedenza sulle credenziali basate su profilo in ~/.aws/credentials o ~/.aws/config.

Chiave API di Bedrock

Le chiavi API di Amazon Bedrock autenticano le chiamate a Bedrock con bearer auth invece delle credenziali AWS firmate SigV4. In LibreChat, configurale con la variabile d'ambiente dedicata a Bedrock:

BEDROCK_AWS_DEFAULT_REGION=us-east-1
BEDROCK_AWS_BEARER_TOKEN=your_bedrock_api_key

BEDROCK_AWS_BEARER_TOKEN è specifico per LibreChat. La documentazione AWS e gli esempi grezzi di AWS SDK/CLI utilizzano la variabile d'ambiente standard AWS AWS_BEARER_TOKEN_BEDROCK, ma LibreChat utilizza intenzionalmente un nome limitato a Bedrock in modo che il token influisca solo sulla configurazione dell'endpoint Bedrock. LibreChat passa questo valore all'AWS SDK come autenticazione bearer.

Per consentire agli utenti di fornire la propria chiave API Bedrock dall'interfaccia utente di LibreChat, impostare:

BEDROCK_AWS_DEFAULT_REGION=us-east-1
BEDROCK_AWS_BEARER_TOKEN=user_provided

Le chiavi API Bedrock a breve termine ereditano le autorizzazioni del principal AWS utilizzato per generarle, sono valide solo nella regione AWS in cui sono state generate e scadono al massimo dopo 12 ore o alla scadenza della sessione di origine. Le chiavi API Bedrock a lungo termine sono consigliate solo per l'esplorazione e lo sviluppo. Consulta la documentazione AWS per l'utilizzo delle chiavi API Bedrock e per la generazione delle chiavi API Bedrock.

Credenziali Bedrock statiche

Utilizzare le variabili d'ambiente statiche specifiche per Bedrock solo quando i profili o i ruoli IAM non sono adatti:

BEDROCK_AWS_DEFAULT_REGION=us-east-1
BEDROCK_AWS_ACCESS_KEY_ID=your_access_key_id
BEDROCK_AWS_SECRET_ACCESS_KEY=your_secret_access_key
# BEDROCK_AWS_SESSION_TOKEN=your_session_token

Se BEDROCK_AWS_ACCESS_KEY_ID e BEDROCK_AWS_SECRET_ACCESS_KEY sono impostati, LibreChat li passa direttamente al client Bedrock. Devono essere forniti insieme e hanno la precedenza su BEDROCK_AWS_PROFILE e sulla catena di provider predefinita dell'SDK per Bedrock.

Se BEDROCK_AWS_BEARER_TOKEN è impostato, LibreChat utilizza l'autenticazione bearer per Bedrock invece delle credenziali statiche, BEDROCK_AWS_PROFILE o la catena di provider predefinita dell'SDK.

Per i dettagli sul comportamento delle credenziali AWS, consulta la catena del provider di credenziali dell'AWS SDK for JavaScript, il riferimento alle impostazioni degli SDK e degli strumenti AWS e le note sulla sicurezza di credential_process di AWS.

Configurazione dei modelli

Puoi facoltativamente specificare quali modelli rendere disponibili con BEDROCK_AWS_MODELS:

BEDROCK_AWS_MODELS=anthropic.claude-fable-5,anthropic.claude-opus-4-8,anthropic.claude-opus-4-7,anthropic.claude-sonnet-4-6,meta.llama3-1-8b-instruct-v1:0

Nota: Se omesso, tutti gli ID modello noti e supportati verranno inclusi automaticamente.

I modelli Claude Fable/Mythos-class su Bedrock sono esclusivamente basati su inference-profile. Utilizza un ID profilo come us.anthropic.claude-fable-5 e abilita la condivisione dei dati Anthropic nella console Bedrock o tramite la Data Retention API prima di invocarli.
Vedi tutti gli ID dei modelli Bedrock qui:
- https://docs.aws.amazon.com/bedrock/latest/userguide/model-ids.html#model-ids-arns

Configurazione aggiuntiva

Puoi configurare ulteriormente l'endpoint Bedrock nel tuo file librechat.yaml:

endpoints:
  bedrock:
    availableRegions:
      - 'us-east-1'
      - 'us-west-2'
    streamRate: 35
    titleModel: 'anthropic.claude-3-haiku-20240307-v1:0'
    guardrailConfig:
      guardrailIdentifier: 'abc123xyz'
      guardrailVersion: '1'
      trace: 'enabled'
      streamProcessingMode: 'sync'

streamRate: (Opzionale) Imposta la velocità di elaborazione di ogni nuovo token in millisecondi.
- Questo può aiutare a stabilizzare l'elaborazione delle richieste simultanee e a fornire un rendering del flusso frontend più fluido.
titleModel: (Opzionale) Specifica il modello da utilizzare per la generazione dei titoli delle conversazioni.
- Consigliato: anthropic.claude-3-haiku-20240307-v1:0.
- Omettere o impostare come current_model per utilizzare lo stesso modello della chat.
availableRegions: (Opzionale) Specifica le regioni AWS che desideri rendere disponibili.
- Se fornita, gli utenti vedranno un menu a discesa per selezionare la regione. Se non selezionata, viene utilizzata la regione predefinita.
guardrailConfig: (Opzionale) Configura i Guardrail di AWS Bedrock per il filtraggio dei contenuti.
- guardrailIdentifier: L'ID o l'ARN del guardrail dalla tua console AWS Bedrock.
- guardrailVersion: Il numero di versione del guardrail (ad esempio, "1") o "DRAFT".
- trace: (Opzionale) Abilita il logging di traccia: "enabled", "disabled" o "enabled_full".
- streamProcessingMode: (Opzionale) Imposta la modalità di elaborazione del flusso: "sync" o "async" (l'impostazione predefinita è "sync").
- Consulta la documentazione di AWS Bedrock Guardrails per creare e gestire i guardrail.

Profili di inferenza

I profili di inferenza AWS Bedrock ti consentono di creare configurazioni di routing personalizzate per i foundation model, abilitando il bilanciamento del carico tra regioni, l'allocazione dei costi e i controlli di conformità. Puoi mappare gli ID dei modelli agli ARN dei profili di inferenza personalizzati nel tuo librechat.yaml:

endpoints:
  bedrock:
    inferenceProfiles:
      'us.anthropic.claude-3-7-sonnet-20250219-v1:0': '${BEDROCK_CLAUDE_37_PROFILE}'

Per la guida completa sulla creazione di profili, la configurazione di LibreChat, l'impostazione dei log e la risoluzione dei problemi, consulta Bedrock Inference Profiles.

Per il riferimento ai campi YAML, consulta Struttura dell'oggetto AWS Bedrock.

Caricamento documenti

Bedrock supporta il caricamento diretto dei documenti al provider tramite l'opzione Upload to Provider nel menu a discesa degli allegati. I documenti vengono inviati all'API Bedrock Converse come allegati di documenti nativi.

Formati supportati: PDF, CSV, DOC, DOCX, XLS, XLSX, HTML, TXT e Markdown (.md)

Limitazioni:

Dimensione massima del file per documento: 4.5 MB
I nomi dei file vengono automaticamente sanificati per conformarsi ai requisiti di denominazione di Bedrock (alfanumerici, spazi, trattini, parentesi tonde, parentesi quadre; massimo 200 caratteri)

Per ulteriori informazioni sulle opzioni di caricamento file, consulta la documentazione OCR for Documents.

Note

I seguenti modelli non sono supportati a causa della mancanza della funzionalità di streaming:
- ai21.j2-mid-v1
I seguenti modelli non sono supportati a causa della mancanza di supporto per la cronologia delle conversazioni:
- ai21.j2-ultra-v1
- cohere.command-text-v14
- cohere.command-light-text-v14
L'endpoint AWS Bedrock supporta tutte le Shared Endpoint Settings tramite il file di configurazione librechat.yaml, inclusi streamRate, titleModel, titleMethod, titlePrompt, titlePromptTemplate e titleEndpoint

AWS Bedrock

In questa pagina