LibreChat is joining ClickHouse to power the open-source Agentic Data Stack 🎉 Learn more
LibreChat
KonfigurasiAI yang telah dikonfigurasi sebelumnyaAWS Bedrock

AWS Bedrock

Kunjungi AWS docs untuk mendaftar ke AWS dan mengatur kredensial Anda.

Anda juga perlu mengaktifkan akses model untuk akun Anda, yang dapat dilakukan dengan mengikuti petunjuk ini.

Autentikasi

Selalu atur region Bedrock yang harus digunakan oleh LibreChat:

BEDROCK_AWS_DEFAULT_REGION=us-east-1

LibreChat mendukung metode autentikasi berikut untuk Bedrock.

Profil AWS

BEDROCK_AWS_DEFAULT_REGION=us-east-1
BEDROCK_AWS_PROFILE=your-profile-name

Gunakan ini jika Anda sudah memiliki kredensial di ~/.aws/config atau ~/.aws/credentials, atau jika profil Anda menggunakan AWS IAM Identity Center, role assumption, atau credential_process.

BEDROCK_AWS_PROFILE adalah pengaturan khusus LibreChat yang meneruskan profil yang dipilih ke rantai penyedia kredensial AWS SDK untuk Bedrock. Ini membatasi pemilihan profil ke Bedrock tanpa mengubah kredensial yang digunakan oleh integrasi lain. Variabel lingkungan AWS_PROFILE standar AWS tetap didukung oleh rantai penyedia default AWS SDK.

Jika profil Anda menggunakan credential_process, amankan file konfigurasi AWS dan perintah helper. AWS memperingatkan bahwa materi rahasia yang ditulis ke stderr dapat ditangkap atau dicatat oleh SDK dan alat bantu.

Rantai penyedia kredensial AWS default

Anda dapat mengabaikan kredensial dan pengaturan profil khusus Bedrock agar AWS SDK for JavaScript dapat menyelesaikan kredensial secara otomatis:

BEDROCK_AWS_DEFAULT_REGION=us-east-1

Ini adalah pendekatan yang lebih disukai untuk penyebaran yang menggunakan peran IAM atau sumber kredensial jangka pendek asli AWS lainnya. SDK memeriksa penyedia kredensial yang didukung sesuai urutan prioritas dan berhenti pada kredensial valid pertama yang ditemukannya. Sumber umum meliputi variabel lingkungan, IAM Identity Center/SSO, file konfigurasi dan kredensial bersama, identitas web, kredensial kontainer ECS, metadata instans EC2, dan kredensial proses.

Sebagai contoh, jika AWS_ACCESS_KEY_ID dan AWS_SECRET_ACCESS_KEY standar AWS telah diatur, kredensial tersebut dapat lebih diutamakan daripada kredensial berbasis profil di ~/.aws/credentials atau ~/.aws/config.

Kunci API Bedrock

Kunci API Amazon Bedrock mengautentikasi panggilan Bedrock dengan bearer auth, bukan kredensial AWS yang ditandatangani SigV4. Di LibreChat, konfigurasikan kunci tersebut dengan variabel lingkungan yang dicakup untuk Bedrock:

BEDROCK_AWS_DEFAULT_REGION=us-east-1
BEDROCK_AWS_BEARER_TOKEN=your_bedrock_api_key

BEDROCK_AWS_BEARER_TOKEN bersifat spesifik untuk LibreChat. Dokumentasi AWS dan contoh AWS SDK/CLI mentah menggunakan variabel lingkungan standar AWS AWS_BEARER_TOKEN_BEDROCK, namun LibreChat secara sengaja menggunakan nama yang dicakup untuk Bedrock agar token tersebut hanya memengaruhi konfigurasi endpoint Bedrock. LibreChat meneruskan nilai ini ke AWS SDK sebagai bearer auth.

Untuk memungkinkan pengguna memberikan kunci API Bedrock mereka sendiri dari UI LibreChat, atur:

BEDROCK_AWS_DEFAULT_REGION=us-east-1
BEDROCK_AWS_BEARER_TOKEN=user_provided

Kunci API Bedrock jangka pendek mewarisi izin dari principal AWS yang digunakan untuk menghasilkannya, hanya berlaku di wilayah AWS tempat kunci tersebut dibuat, dan kedaluwarsa paling lambat 12 jam atau sesuai masa berlaku sesi sumber. Kunci API Bedrock jangka panjang hanya direkomendasikan untuk eksplorasi dan pengembangan. Lihat dokumentasi AWS untuk menggunakan kunci API Bedrock dan menghasilkan kunci API Bedrock.

Kredensial Bedrock statis

Gunakan variabel lingkungan khusus Bedrock statis hanya jika profil atau peran IAM tidak sesuai:

BEDROCK_AWS_DEFAULT_REGION=us-east-1
BEDROCK_AWS_ACCESS_KEY_ID=your_access_key_id
BEDROCK_AWS_SECRET_ACCESS_KEY=your_secret_access_key
# BEDROCK_AWS_SESSION_TOKEN=your_session_token

Jika BEDROCK_AWS_ACCESS_KEY_ID dan BEDROCK_AWS_SECRET_ACCESS_KEY diatur, LibreChat akan meneruskannya secara langsung ke klien Bedrock. Keduanya harus disediakan bersamaan, dan mereka akan lebih diutamakan daripada BEDROCK_AWS_PROFILE serta rantai penyedia default SDK untuk Bedrock.

Jika BEDROCK_AWS_BEARER_TOKEN diatur, LibreChat menggunakan autentikasi bearer untuk Bedrock alih-alih kredensial statis, BEDROCK_AWS_PROFILE, atau rantai penyedia default SDK.

Untuk detail perilaku kredensial AWS, lihat rantai penyedia kredensial AWS SDK for JavaScript, referensi pengaturan AWS SDKs and Tools, dan catatan keamanan credential_process AWS.

Mengonfigurasi model

  • Anda dapat menentukan model mana yang ingin disediakan dengan BEDROCK_AWS_MODELS secara opsional:
BEDROCK_AWS_MODELS=anthropic.claude-fable-5,anthropic.claude-opus-4-8,anthropic.claude-opus-4-7,anthropic.claude-sonnet-4-6,meta.llama3-1-8b-instruct-v1:0

Catatan: Jika dihilangkan, semua ID model yang diketahui dan didukung akan disertakan secara otomatis.

Konfigurasi Tambahan

Anda dapat mengonfigurasi lebih lanjut endpoint Bedrock di dalam file librechat.yaml Anda:

endpoints:
  bedrock:
    availableRegions:
      - 'us-east-1'
      - 'us-west-2'
    streamRate: 35
    titleModel: 'anthropic.claude-3-haiku-20240307-v1:0'
    guardrailConfig:
      guardrailIdentifier: 'abc123xyz'
      guardrailVersion: '1'
      trace: 'enabled'
      streamProcessingMode: 'sync'

  • streamRate: (Opsional) Mengatur kecepatan pemrosesan setiap token baru dalam milidetik.

    • Ini dapat membantu menstabilkan pemrosesan permintaan konkuren dan memberikan rendering stream frontend yang lebih lancar.

  • titleModel: (Opsional) Tentukan model yang akan digunakan untuk membuat judul percakapan.

    • Direkomendasikan: anthropic.claude-3-haiku-20240307-v1:0.
    • Abaikan atau atur sebagai current_model untuk menggunakan model yang sama dengan obrolan.

  • availableRegions: (Opsional) Tentukan region AWS yang ingin Anda sediakan.

    • Jika disediakan, pengguna akan melihat menu tarik-turun untuk memilih region. Jika tidak dipilih, region default akan digunakan.
    • image

  • guardrailConfig: (Opsional) Konfigurasikan AWS Bedrock Guardrails untuk penyaringan konten.

    • guardrailIdentifier: ID atau ARN guardrail dari Konsol AWS Bedrock Anda.
    • guardrailVersion: Nomor versi guardrail (contoh: "1") atau "DRAFT".
    • trace: (Opsional) Mengaktifkan pencatatan jejak (trace logging): "enabled", "disabled", atau "enabled_full".
    • streamProcessingMode: (Opsional) Mengatur mode pemrosesan stream: "sync" atau "async" (default ke "sync").
    • Lihat dokumentasi AWS Bedrock Guardrails untuk membuat dan mengelola guardrails.

Profil Inferensi

Profil inferensi AWS Bedrock memungkinkan Anda membuat konfigurasi perutean kustom untuk model dasar, yang memungkinkan penyeimbangan beban lintas wilayah, alokasi biaya, dan kontrol kepatuhan. Anda dapat memetakan ID model ke ARN profil inferensi kustom di dalam librechat.yaml Anda:

endpoints:
  bedrock:
    inferenceProfiles:
      'us.anthropic.claude-3-7-sonnet-20250219-v1:0': '${BEDROCK_CLAUDE_37_PROFILE}'

Untuk panduan lengkap mengenai pembuatan profil, konfigurasi LibreChat, pengaturan logging, dan pemecahan masalah, lihat Bedrock Inference Profiles.

Untuk referensi kolom YAML, lihat Struktur Objek AWS Bedrock.

Unggah Dokumen

Bedrock mendukung pengunggahan dokumen secara langsung ke penyedia melalui opsi Upload to Provider di menu tarik-turun lampiran file. Dokumen dikirim ke Bedrock Converse API sebagai lampiran dokumen asli.

Format yang didukung: PDF, CSV, DOC, DOCX, XLS, XLSX, HTML, TXT, dan Markdown (.md)

Batasan:

  • Ukuran file maksimum per dokumen: 4.5 MB
  • Nama file secara otomatis dibersihkan agar sesuai dengan persyaratan penamaan Bedrock (alfanumerik, spasi, tanda hubung, tanda kurung, tanda kurung siku; maksimal 200 karakter)

Untuk informasi lebih lanjut mengenai opsi unggah file, lihat dokumentasi OCR for Documents.

Catatan

  • Model berikut tidak didukung karena kurangnya kemampuan streaming:

    • ai21.j2-mid-v1

  • Model berikut tidak didukung karena kurangnya dukungan riwayat percakapan:

    • ai21.j2-ultra-v1
    • cohere.command-text-v14
    • cohere.command-light-text-v14

  • Endpoint AWS Bedrock mendukung semua Shared Endpoint Settings melalui file konfigurasi librechat.yaml, termasuk streamRate, titleModel, titleMethod, titlePrompt, titlePromptTemplate, dan titleEndpoint

Bagaimana panduan ini?

Edit di GitHub

Google

Halaman sebelumnya

Profil Inferensi Bedrock

Konfigurasikan dan gunakan profil inferensi kustom AWS Bedrock dengan LibreChat untuk penyeimbangan beban lintas wilayah, alokasi biaya, dan kontrol kepatuhan.

Di halaman ini

AutentikasiProfil AWSRantai penyedia kredensial AWS defaultKunci API BedrockKredensial Bedrock statisMengonfigurasi modelKonfigurasi TambahanProfil InferensiUnggah DokumenCatatan