AWS Bedrock

AWS docs로 이동하여 AWS에 가입하고 자격 증명을 설정하세요.

또한 계정에 대한 모델 액세스를 활성화해야 하며, 이 지침을 따라 수행할 수 있습니다.

인증

LibreChat이 사용할 Bedrock 리전을 항상 설정하세요:

BEDROCK_AWS_DEFAULT_REGION=us-east-1

LibreChat은 Bedrock에 대해 다음 인증 방법을 지원합니다.

AWS profile

BEDROCK_AWS_DEFAULT_REGION=us-east-1
BEDROCK_AWS_PROFILE=your-profile-name

~/.aws/config 또는 ~/.aws/credentials에 이미 자격 증명이 있거나, 프로필이 AWS IAM Identity Center, 역할 가정(role assumption) 또는 credential_process를 사용하는 경우 이 방법을 사용하세요.

BEDROCK_AWS_PROFILE는 선택된 프로필을 Bedrock을 위한 AWS SDK 자격 증명 공급자 체인으로 전달하는 LibreChat 전용 설정입니다. 이 설정은 다른 통합에서 사용하는 자격 증명을 변경하지 않고 Bedrock에 대한 프로필 선택 범위를 지정합니다. AWS 표준 AWS_PROFILE 환경 변수는 여전히 AWS SDK 기본 공급자 체인에서 지원됩니다.

프로필에서 credential_process를 사용하는 경우, AWS 구성 파일과 헬퍼 명령을 안전하게 보호하십시오. AWS는 stderr에 기록된 비밀 정보가 SDK 및 도구에 의해 캡처되거나 기록될 수 있다고 경고합니다.

기본 AWS 자격 증명 공급자 체인

Bedrock 관련 자격 증명 및 프로필 설정을 생략하여 AWS SDK for JavaScript가 자격 증명을 자동으로 확인하도록 할 수 있습니다:

BEDROCK_AWS_DEFAULT_REGION=us-east-1

IAM 역할이나 기타 AWS 네이티브 단기 자격 증명 소스를 사용하는 배포에 권장되는 방식입니다. SDK는 지원되는 자격 증명 공급자를 우선순위에 따라 확인하며, 처음으로 유효한 자격 증명을 찾으면 중단합니다. 일반적인 소스로는 환경 변수, IAM Identity Center/SSO, 공유 구성 및 자격 증명 파일, 웹 자격 증명, ECS 컨테이너 자격 증명, EC2 인스턴스 메타데이터, 프로세스 자격 증명 등이 있습니다.

예를 들어, 표준 AWS 환경 변수인 AWS_ACCESS_KEY_ID 및 AWS_SECRET_ACCESS_KEY가 설정되어 있으면, 해당 자격 증명이 ~/.aws/credentials 또는 ~/.aws/config에 있는 프로필 기반 자격 증명보다 우선할 수 있습니다.

Bedrock API key

Amazon Bedrock API 키는 SigV4로 서명된 AWS 자격 증명 대신 Bearer 인증을 사용하여 Bedrock 호출을 인증합니다. LibreChat에서 이를 구성하려면 Bedrock 범위의 환경 변수를 사용하세요:

BEDROCK_AWS_DEFAULT_REGION=us-east-1
BEDROCK_AWS_BEARER_TOKEN=your_bedrock_api_key

BEDROCK_AWS_BEARER_TOKEN은 LibreChat 전용입니다. AWS 문서 및 원시 AWS SDK/CLI 예제에서는 AWS 표준인 AWS_BEARER_TOKEN_BEDROCK 환경 변수를 사용하지만, LibreChat은 토큰이 Bedrock endpoint 구성에만 영향을 미치도록 의도적으로 Bedrock 범위의 이름을 사용합니다. LibreChat은 이 값을 bearer 인증으로 AWS SDK에 전달합니다.

사용자가 LibreChat UI에서 직접 Bedrock API 키를 제공할 수 있도록 하려면 다음을 설정하세요:

BEDROCK_AWS_DEFAULT_REGION=us-east-1
BEDROCK_AWS_BEARER_TOKEN=user_provided

단기 Bedrock API 키는 이를 생성하는 데 사용된 AWS 주체(principal)의 권한을 상속받으며, 생성된 AWS 리전 내에서만 유효하고, 최대 12시간 또는 소스 세션 만료 시점 중 더 빠른 시점에 만료됩니다. 장기 Bedrock API 키는 탐색 및 개발 용도로만 권장됩니다. Bedrock API 키 사용 및 Bedrock API 키 생성에 관한 AWS 문서를 참조하세요.

정적 Bedrock 자격 증명

프로필이나 IAM 역할을 사용할 수 없는 경우에만 정적 Bedrock 전용 환경 변수를 사용하세요:

BEDROCK_AWS_DEFAULT_REGION=us-east-1
BEDROCK_AWS_ACCESS_KEY_ID=your_access_key_id
BEDROCK_AWS_SECRET_ACCESS_KEY=your_secret_access_key
# BEDROCK_AWS_SESSION_TOKEN=your_session_token

BEDROCK_AWS_ACCESS_KEY_ID 및 BEDROCK_AWS_SECRET_ACCESS_KEY가 설정된 경우, LibreChat은 이를 Bedrock 클라이언트에 직접 전달합니다. 이 두 값은 반드시 함께 제공되어야 하며, BEDROCK_AWS_PROFILE 및 Bedrock을 위한 SDK 기본 공급자 체인보다 우선합니다.

BEDROCK_AWS_BEARER_TOKEN이 설정된 경우, LibreChat은 정적 자격 증명, BEDROCK_AWS_PROFILE 또는 SDK 기본 공급자 체인 대신 Bedrock에 대해 bearer 인증을 사용합니다.

AWS 자격 증명 동작에 대한 자세한 내용은 AWS SDK for JavaScript 자격 증명 공급자 체인, AWS SDK 및 도구 설정 참조 및 AWS credential_process 보안 참고 사항을 참조하세요.

모델 구성하기

BEDROCK_AWS_MODELS를 사용하여 사용 가능한 모델을 선택적으로 지정할 수 있습니다:

BEDROCK_AWS_MODELS=anthropic.claude-fable-5,anthropic.claude-opus-4-8,anthropic.claude-opus-4-7,anthropic.claude-sonnet-4-6,meta.llama3-1-8b-instruct-v1:0

참고: 생략할 경우, 알려진 모든 지원 모델 ID가 자동으로 포함됩니다.

Bedrock의 Claude Fable/Mythos 클래스 모델은 추론 프로필(inference-profile) 전용입니다. us.anthropic.claude-fable-5와 같은 프로필 ID를 사용하고, 모델을 호출하기 전에 Bedrock 콘솔 또는 Data Retention API에서 Anthropic 데이터 공유를 활성화하십시오.
모든 Bedrock 모델 ID는 여기에서 확인하세요:
- https://docs.aws.amazon.com/bedrock/latest/userguide/model-ids.html#model-ids-arns

추가 구성

librechat.yaml 파일에서 Bedrock endpoint를 추가로 구성할 수 있습니다:

endpoints:
  bedrock:
    availableRegions:
      - 'us-east-1'
      - 'us-west-2'
    streamRate: 35
    titleModel: 'anthropic.claude-3-haiku-20240307-v1:0'
    guardrailConfig:
      guardrailIdentifier: 'abc123xyz'
      guardrailVersion: '1'
      trace: 'enabled'
      streamProcessingMode: 'sync'

streamRate: (선택 사항) 각 새 토큰을 처리하는 속도를 밀리초 단위로 설정합니다.
- 이는 동시 요청 처리를 안정화하고 프론트엔드 스트림 렌더링을 더 원활하게 만드는 데 도움이 될 수 있습니다.
titleModel: (선택 사항) 대화 제목을 생성하는 데 사용할 모델을 지정합니다.
- 권장 사항: anthropic.claude-3-haiku-20240307-v1:0.
- 생략하거나 current_model로 설정하면 채팅과 동일한 모델을 사용합니다.
availableRegions: (선택 사항) 사용 가능한 AWS 리전을 지정합니다.
- 제공되는 경우, 사용자는 드롭다운을 통해 리전을 선택할 수 있습니다. 선택하지 않으면 기본 리전이 사용됩니다.
guardrailConfig: (선택 사항) 콘텐츠 필터링을 위해 AWS Bedrock Guardrails를 구성합니다.
- guardrailIdentifier: AWS Bedrock 콘솔에서 제공하는 가드레일 ID 또는 ARN입니다.
- guardrailVersion: 가드레일 버전 번호(예: "1") 또는 "DRAFT".
- trace: (선택 사항) 추적 로깅 활성화: "enabled", "disabled" 또는 "enabled_full".
- streamProcessingMode: (선택 사항) 스트림 처리 모드를 설정합니다: "sync" 또는 "async" (기본값은 "sync"입니다).
- 가드레일 생성 및 관리에 대한 내용은 AWS Bedrock Guardrails documentation을 참조하세요.

Inference Profiles

AWS Bedrock inference profile을 사용하면 파운데이션 모델에 대한 사용자 지정 라우팅 구성을 생성하여 리전 간 로드 밸런싱, 비용 할당 및 규정 준수 제어를 활성화할 수 있습니다. librechat.yaml에서 모델 ID를 사용자 지정 inference profile ARN에 매핑할 수 있습니다:

endpoints:
  bedrock:
    inferenceProfiles:
      'us.anthropic.claude-3-7-sonnet-20250219-v1:0': '${BEDROCK_CLAUDE_37_PROFILE}'

프로필 생성, LibreChat 구성, 로깅 설정 및 문제 해결에 대한 전체 가이드는 **Bedrock Inference Profiles**를 참조하세요.

YAML 필드 참조는 **AWS Bedrock Object Structure**를 확인하세요.

문서 업로드

Bedrock은 파일 첨부 드롭다운 메뉴의 Upload to Provider 옵션을 통해 문서를 공급자에게 직접 업로드하는 기능을 지원합니다. 문서는 기본 문서 첨부 파일로서 Bedrock Converse API로 전송됩니다.

지원되는 형식: PDF, CSV, DOC, DOCX, XLS, XLSX, HTML, TXT 및 Markdown (.md)

제한 사항:

문서당 최대 파일 크기: 4.5 MB
파일 이름은 Bedrock의 명명 규칙(영숫자, 공백, 하이픈, 괄호, 대괄호; 최대 200자)을 준수하도록 자동으로 정리됩니다.

파일 업로드 옵션에 대한 자세한 내용은 OCR for Documents 문서를 참조하세요.

참고 사항

다음 모델들은 스트리밍 기능을 지원하지 않아 지원되지 않습니다:
- ai21.j2-mid-v1
다음 모델들은 대화 기록 지원이 부족하여 지원되지 않습니다:
- ai21.j2-ultra-v1
- cohere.command-text-v14
- cohere.command-light-text-v14
AWS Bedrock endpoint는 librechat.yaml 구성 파일을 통해 streamRate, titleModel, titleMethod, titlePrompt, titlePromptTemplate, titleEndpoint를 포함한 모든 Shared Endpoint Settings을 지원합니다.