Cấu trúc đối tượng AWS Bedrock

Việc tích hợp AWS Bedrock với ứng dụng của bạn cho phép bạn sử dụng liền mạch nhiều mô hình AI được lưu trữ trên AWS. Phần này trình bày chi tiết cách cấu hình endpoint AWS Bedrock cho nhu cầu của bạn.

Cấu hình ví dụ

endpoints:
  bedrock:
    titleModel: 'anthropic.claude-3-haiku-20240307-v1:0'
    streamRate: 35
    availableRegions:
      - 'us-east-1'
      - 'us-west-2'
    guardrailConfig:
      guardrailIdentifier: 'your-guardrail-id'
      guardrailVersion: '1'
      trace: 'enabled'
      streamProcessingMode: 'sync'

Lưu ý: Endpoint AWS Bedrock hỗ trợ tất cả Shared Endpoint Settings, bao gồm streamRate, titleModel, titleMethod, titlePrompt, titlePromptTemplate, và titleEndpoint. Các cài đặt được hiển thị bên dưới là dành riêng cho Bedrock hoặc có các giá trị mặc định cụ thể cho Bedrock.

titleModel

Khóa:

Key	Type	Description	Example
titleModel	String	Chỉ định model được sử dụng để tạo tiêu đề cuộc trò chuyện.	Recommended: anthropic.claude-3-haiku-20240307-v1:0. Set to "current_model" to use the same model as the chat.

Mặc định: Không xác định

Ví dụ:

titleModel: 'anthropic.claude-3-haiku-20240307-v1:0'

streamRate

Khóa:

Key	Type	Description	Example
streamRate	Number	Thiết lập tốc độ xử lý mỗi token mới tính bằng mili giây.	This can help stabilize processing of concurrent requests and provide smoother frontend stream rendering.

Mặc định: Không xác định

Ví dụ:

streamRate: 35

availableRegions

Khóa:

Key	Type	Description	Example
availableRegions	Array	Chỉ định các khu vực AWS mà bạn muốn cung cấp cho Bedrock.	If provided, users will see a dropdown to select the region. If not selected, the default region is used.

Mặc định: Không xác định

Ví dụ:

availableRegions:
  - 'us-east-1'
  - 'us-west-2'

models

Khóa:

Key	Type	Description	Example
models	Array of Strings	Chỉ định các ID mô hình tùy chỉnh khả dụng cho endpoint Bedrock.	When provided, these models appear in the model selector for Bedrock.

Mặc định: Không xác định (sử dụng danh sách model Bedrock mặc định)

Ví dụ:

endpoints:
  bedrock:
    models:
      - 'anthropic.claude-sonnet-4-20250514-v1:0'
      - 'anthropic.claude-haiku-4-20250514-v1:0'
      - 'us.anthropic.claude-sonnet-4-20250514-v1:0'

inferenceProfiles

Khóa:

Key	Type	Description	Example
inferenceProfiles	Object (Record)	Ánh xạ các ID mô hình tới các ARN cấu hình suy luận để suy luận đa vùng. Các khóa là ID mô hình và các giá trị là ARN cấu hình suy luận hoặc tham chiếu biến môi trường.	When a selected model matches a key, the corresponding ARN is used as the application inference profile.

Mặc định: Không xác định

Ví dụ:

endpoints:
  bedrock:
    inferenceProfiles:
      'us.anthropic.claude-sonnet-4-20250514-v1:0': '${BEDROCK_INFERENCE_PROFILE_CLAUDE_SONNET}'
      'anthropic.claude-3-7-sonnet-20250219-v1:0': 'arn:aws:bedrock:us-west-2:123456789012:application-inference-profile/abc123'

Ghi chú:

Inference profiles cho phép suy luận đa vùng, cho phép bạn định tuyến các yêu cầu đến các model ở những vùng AWS khác nhau.
Các giá trị hỗ trợ nội suy biến môi trường với cú pháp ${ENV_VAR}
ID mô hình trong khóa phải khớp với mô hình do người dùng chọn trong giao diện người dùng (UI)
Sử dụng với trường models để làm cho các ID mô hình liên vùng khả dụng trong trình chọn mô hình
Để có hướng dẫn đầy đủ về cách tạo và quản lý các cấu hình suy luận (inference profiles), hãy xem AWS Bedrock Inference Profiles

Ví dụ kết hợp:

endpoints:
  bedrock:
    models:
      - 'us.anthropic.claude-sonnet-4-20250514-v1:0'
      - 'us.anthropic.claude-haiku-4-20250514-v1:0'
    inferenceProfiles:
      'us.anthropic.claude-sonnet-4-20250514-v1:0': '${BEDROCK_CLAUDE_SONNET_PROFILE}'
      'us.anthropic.claude-haiku-4-20250514-v1:0': '${BEDROCK_CLAUDE_HAIKU_PROFILE}'

guardrailConfig

Khóa:

Key	Type	Description	Example
guardrailConfig	Object	Cấu hình cho AWS Bedrock Guardrails để lọc và kiểm duyệt đầu vào và đầu ra của model.	Optional. When configured, all Bedrock requests will be validated against the specified guardrail.

Các khóa phụ:

Key	Type	Description	Example
guardrailIdentifier	String	Định danh duy nhất của guardrail cần áp dụng.	Required when using guardrails.
guardrailVersion	String	Phiên bản guardrail cần sử dụng.	Required when using guardrails.
trace	String	Kiểm soát đầu ra vết guardrail để gỡ lỗi. Các tùy chọn: "enabled", "enabled_full", hoặc "disabled".	Optional. Default: "disabled"
streamProcessingMode	String	Kiểm soát chế độ xử lý luồng guardrail. Các tùy chọn: "sync" hoặc "async".	Optional. Default: "sync"

Ví dụ:

endpoints:
  bedrock:
    guardrailConfig:
      guardrailIdentifier: 'abc123xyz'
      guardrailVersion: '1'
      trace: 'enabled'
      streamProcessingMode: 'sync'

Ghi chú:

Guardrails giúp đảm bảo việc sử dụng AI có trách nhiệm bằng cách lọc nội dung độc hại, PII và các thông tin nhạy cảm khác.
Bạn có thể tìm thấy guardrailIdentifier trong bảng điều khiển AWS Bedrock tại mục Guardrails
Đặt trace thành "enabled" hoặc "enabled_full" trong quá trình phát triển để xem những chính sách guardrail nào được kích hoạt
Đặt streamProcessingMode thành "async" để truyền phát phản hồi nhanh hơn (đổi lại, các rào chắn bảo mật có thể cho phép nội dung không phù hợp lọt qua cho đến khi quá trình quét hoàn tất)
Đối với môi trường production, hãy đặt trace thành "disabled" để giảm kích thước payload phản hồi.

Ghi chú

Xác thực AWS Bedrock được cấu hình thông qua các biến môi trường. Bạn có thể sử dụng BEDROCK_AWS_PROFILE, chuỗi cung cấp thông tin xác thực mặc định của AWS SDK, BEDROCK_AWS_BEARER_TOKEN cho các khóa API Bedrock, hoặc thông tin xác thực tĩnh dành riêng cho Bedrock. Xem hướng dẫn thiết lập AWS Bedrock để biết chi tiết.

Cấu trúc đối tượng AWS Bedrock

Trên trang này