LibreChat is joining ClickHouse to power the open-source Agentic Data Stack 🎉 Learn more
LibreChat

AWS Bedrock

AWS docs にアクセスして、AWSへの登録と認証情報の設定を行ってください。

また、アカウントのモデルアクセスを有効にする必要もあります。これについては、こちらの指示に従ってください。

認証

LibreChatが使用するBedrockのリージョンを必ず設定してください：

BEDROCK_AWS_DEFAULT_REGION=us-east-1

LibreChatは、Bedrockに対して以下の認証方法をサポートしています。

AWS profile

BEDROCK_AWS_DEFAULT_REGION=us-east-1
BEDROCK_AWS_PROFILE=your-profile-name

~/.aws/config または ~/.aws/credentials に認証情報が既に存在する場合、あるいはプロファイルで AWS IAM Identity Center、ロールの引き受け（role assumption）、または credential_process を使用している場合は、これを使用してください。

BEDROCK_AWS_PROFILE は、選択したプロファイルを Bedrock 用の AWS SDK 認証情報プロバイダーチェーンに渡すための LibreChat 固有の設定です。これにより、他の統合で使用される認証情報を変更することなく、プロファイルの選択範囲を Bedrock に限定できます。AWS 標準の AWS_PROFILE 環境変数は、引き続き AWS SDK のデフォルトプロバイダーチェーンでサポートされています。

プロファイルで credential_process を使用している場合は、AWS設定ファイルとヘルパーコマンドを保護してください。AWSは、stderr に書き込まれたシークレット情報がSDKやツールによってキャプチャまたはログ記録される可能性があると警告しています。

デフォルトのAWS認証情報プロバイダーチェーン

Bedrock固有の認証情報やプロファイル設定を省略して、AWS SDK for JavaScriptが自動的に認証情報を解決するように設定できます：

BEDROCK_AWS_DEFAULT_REGION=us-east-1

これは、IAMロールやその他のAWSネイティブな短期認証情報ソースを使用するデプロイメントで推奨されるアプローチです。SDKはサポートされている認証情報プロバイダーを優先順位に従ってチェックし、最初に見つかった有効な認証情報で停止します。一般的なソースには、環境変数、IAM Identity Center/SSO、共有設定および認証情報ファイル、Webアイデンティティ、ECSコンテナ認証情報、EC2インスタンスメタデータ、およびプロセス認証情報が含まれます。

例えば、AWS標準の AWS_ACCESS_KEY_ID および AWS_SECRET_ACCESS_KEY が設定されている場合、それらの認証情報は ~/.aws/credentials や ~/.aws/config にあるプロファイルベースの認証情報よりも優先されることがあります。

Bedrock API key

Amazon Bedrock APIキーは、SigV4署名付きのAWS認証情報の代わりに、Bearer認証を使用してBedrockの呼び出しを認証します。LibreChatでは、Bedrockスコープの環境変数を使用して以下のように設定します：

BEDROCK_AWS_DEFAULT_REGION=us-east-1
BEDROCK_AWS_BEARER_TOKEN=your_bedrock_api_key

BEDROCK_AWS_BEARER_TOKEN は LibreChat 固有のものです。AWS のドキュメントや生の AWS SDK/CLI の例では AWS 標準の AWS_BEARER_TOKEN_BEDROCK 環境変数が使用されますが、LibreChat ではトークンが Bedrock endpoint の設定にのみ影響するように、意図的に Bedrock スコープの名前を使用しています。LibreChat はこの値を bearer 認証として AWS SDK に渡します。

ユーザーがLibreChatのUIから独自のBedrock APIキーを提供できるようにするには、以下を設定します：

BEDROCK_AWS_DEFAULT_REGION=us-east-1
BEDROCK_AWS_BEARER_TOKEN=user_provided

短期的な Bedrock API キーは、それらを生成するために使用された AWS プリンシパルの権限を継承し、生成された AWS リージョン内でのみ有効であり、最大12時間またはソースセッションの有効期限のいずれか早い方で期限切れになります。長期的な Bedrock API キーは、調査および開発目的でのみ推奨されます。Bedrock API キーの使用方法および生成方法については、AWS ドキュメントを参照してください。

Bedrockの静的認証情報

プロファイルやIAMロールが適していない場合にのみ、静的なBedrock固有の環境変数を使用してください：

BEDROCK_AWS_DEFAULT_REGION=us-east-1
BEDROCK_AWS_ACCESS_KEY_ID=your_access_key_id
BEDROCK_AWS_SECRET_ACCESS_KEY=your_secret_access_key
# BEDROCK_AWS_SESSION_TOKEN=your_session_token

BEDROCK_AWS_ACCESS_KEY_ID と BEDROCK_AWS_SECRET_ACCESS_KEY が設定されている場合、LibreChat はそれらを直接 Bedrock クライアントに渡します。これらはセットで提供する必要があり、BEDROCK_AWS_PROFILE や Bedrock の SDK デフォルトプロバイダーチェーンよりも優先されます。

BEDROCK_AWS_BEARER_TOKEN が設定されている場合、LibreChat は静的認証情報、BEDROCK_AWS_PROFILE、または SDK のデフォルトプロバイダーチェーンの代わりに、Bedrock 用の Bearer 認証を使用します。

AWS認証情報の動作の詳細については、AWS SDK for JavaScript credential provider chain、AWS SDKs and Tools settings reference、およびAWS credential_process security notesを参照してください。

モデルの設定

  • BEDROCK_AWS_MODELS を使用して、利用可能にするモデルをオプションで指定できます：
BEDROCK_AWS_MODELS=anthropic.claude-fable-5,anthropic.claude-opus-4-8,anthropic.claude-opus-4-7,anthropic.claude-sonnet-4-6,meta.llama3-1-8b-instruct-v1:0

注: 省略した場合、サポートされているすべての既知のモデルIDが自動的に含まれます。

  • Bedrock上のClaude Fable/Mythosクラスのモデルは、推論プロファイル専用です。us.anthropic.claude-fable-5のようなプロファイルIDを使用し、呼び出す前にBedrockコンソールまたはData Retention APIでAnthropicのデータ共有を有効にしてください。

  • すべての Bedrock モデル ID はこちらをご覧ください:

追加設定

librechat.yaml ファイルで Bedrock endpoint をさらに設定できます：

endpoints:
  bedrock:
    availableRegions:
      - 'us-east-1'
      - 'us-west-2'
    streamRate: 35
    titleModel: 'anthropic.claude-3-haiku-20240307-v1:0'
    guardrailConfig:
      guardrailIdentifier: 'abc123xyz'
      guardrailVersion: '1'
      trace: 'enabled'
      streamProcessingMode: 'sync'

  • streamRate: (オプション) 各新しいトークンの処理速度をミリ秒単位で設定します。

    • これにより、同時リクエストの処理を安定させ、フロントエンドのストリームレンダリングをよりスムーズにすることができます。

  • titleModel: (オプション) 会話タイトルの生成に使用するモデルを指定します。

    • 推奨: anthropic.claude-3-haiku-20240307-v1:0。
    • 省略するか、current_model に設定すると、チャットと同じモデルが使用されます。

  • availableRegions: (オプション) 利用可能にする AWS リージョンを指定します。

    • 指定されている場合、ユーザーはリージョンを選択するためのドロップダウンを表示できます。選択されていない場合は、デフォルトのリージョンが使用されます。
    • image

  • guardrailConfig: (オプション) コンテンツフィルタリングのために AWS Bedrock Guardrails を設定します。

    • guardrailIdentifier: AWS Bedrockコンソールから取得したガードレールのIDまたはARN。
    • guardrailVersion: ガードレールのバージョン番号（例: "1"）または "DRAFT"。
    • trace: (オプション) トレースログを有効にします: "enabled"、"disabled"、または "enabled_full"。
    • streamProcessingMode: (オプション) ストリーム処理モードを設定します: "sync" または "async" (デフォルトは "sync")。
    • Guardrailsの作成および管理については、AWS Bedrock Guardrails documentationを参照してください。

Inference Profiles

AWS Bedrockの推論プロファイル（inference profiles）を使用すると、基盤モデルのカスタムルーティング設定を作成でき、リージョン間での負荷分散、コスト配分、およびコンプライアンス制御が可能になります。librechat.yaml内で、モデルIDをカスタム推論プロファイルのARNにマッピングできます：

endpoints:
  bedrock:
    inferenceProfiles:
      'us.anthropic.claude-3-7-sonnet-20250219-v1:0': '${BEDROCK_CLAUDE_37_PROFILE}'

プロファイルの作成、LibreChatの設定、ログ記録のセットアップ、およびトラブルシューティングに関する完全なガイドについては、Bedrock Inference Profiles を参照してください。

YAMLフィールドのリファレンスについては、AWS Bedrock Object Structure を参照してください。

ドキュメントのアップロード

Bedrockは、ファイル添付ドロップダウンメニューにある Upload to Provider オプションを使用して、ドキュメントをプロバイダーに直接アップロードすることをサポートしています。ドキュメントは、ネイティブのドキュメント添付ファイルとして Bedrock Converse API に送信されます。

サポートされている形式: PDF, CSV, DOC, DOCX, XLS, XLSX, HTML, TXT, および Markdown (.md)

制限事項:

  • ドキュメントあたりの最大ファイルサイズ: 4.5 MB
  • ファイル名は、Bedrockの命名要件（英数字、スペース、ハイフン、括弧、角括弧、最大200文字）に準拠するように自動的にサニタイズされます。

ファイルアップロードオプションの詳細については、OCR for Documents のドキュメントを参照してください。

注記

  • 以下のモデルは、ストリーミング機能がないためサポートされていません：

    • ai21.j2-mid-v1

  • 以下のモデルは、会話履歴のサポートがないためサポートされていません：

    • ai21.j2-ultra-v1
    • cohere.command-text-v14
    • cohere.command-light-text-v14

  • AWS Bedrock endpointは、librechat.yaml設定ファイルを通じて、Shared Endpoint Settingsのすべての設定をサポートしています。これには、streamRate、titleModel、titleMethod、titlePrompt、titlePromptTemplate、およびtitleEndpointが含まれます。

このガイドはいかがでしたか？

GitHub で編集