AWS Bedrock

AWS'ye kaydolmak ve kimlik bilgilerinizi ayarlamak için AWS docs sayfasına gidin.

Ayrıca hesabınız için model erişimini açmanız gerekecektir; bunu bu talimatları takip ederek yapabilirsiniz.

Kimlik Doğrulama

LibreChat'in kullanması gereken Bedrock bölgesini her zaman ayarlayın:

BEDROCK_AWS_DEFAULT_REGION=us-east-1

LibreChat, Bedrock için aşağıdaki kimlik doğrulama yöntemlerini destekler.

AWS profili

BEDROCK_AWS_DEFAULT_REGION=us-east-1
BEDROCK_AWS_PROFILE=your-profile-name

Bunu, ~/.aws/config veya ~/.aws/credentials dosyalarında kimlik bilgileriniz zaten mevcut olduğunda ya da profiliniz AWS IAM Identity Center, rol üstlenme veya credential_process kullandığında kullanın.

BEDROCK_AWS_PROFILE, seçilen profili Bedrock için AWS SDK kimlik bilgisi sağlayıcı zincirine ileten LibreChat'e özgü bir ayardır. Bu, diğer entegrasyonlar tarafından kullanılan kimlik bilgilerini değiştirmeden profil seçimini Bedrock ile sınırlandırır. AWS standardı olan AWS_PROFILE ortam değişkeni, AWS SDK varsayılan sağlayıcı zinciri tarafından desteklenmeye devam etmektedir.

Profiliniz credential_process kullanıyorsa, AWS yapılandırma dosyasını ve yardımcı komutu güvenli hale getirin. AWS, stderr içine yazılan gizli materyallerin SDK'lar ve araçlar tarafından yakalanabileceği veya günlüğe kaydedilebileceği konusunda uyarıda bulunur.

Varsayılan AWS kimlik bilgisi sağlayıcı zinciri

AWS SDK for JavaScript'in kimlik bilgilerini otomatik olarak çözümlemesine izin vermek için Bedrock'a özgü kimlik bilgilerini ve profil ayarlarını atlayabilirsiniz:

BEDROCK_AWS_DEFAULT_REGION=us-east-1

Bu, IAM rolleri veya başka bir AWS tabanlı kısa süreli kimlik bilgisi kaynağı kullanan dağıtımlar için tercih edilen yaklaşımdır. SDK, desteklenen kimlik bilgisi sağlayıcılarını öncelik sırasına göre kontrol eder ve bulduğu ilk geçerli kimlik bilgisinde durur. Yaygın kaynaklar arasında ortam değişkenleri, IAM Identity Center/SSO, paylaşılan yapılandırma ve kimlik bilgisi dosyaları, web kimliği, ECS konteyner kimlik bilgileri, EC2 örnek meta verileri ve işlem kimlik bilgileri bulunur.

Örneğin, AWS standardındaki AWS_ACCESS_KEY_ID ve AWS_SECRET_ACCESS_KEY ayarlanmışsa, bu kimlik bilgileri ~/.aws/credentials veya ~/.aws/config dosyalarındaki profil tabanlı kimlik bilgilerine göre öncelik kazanabilir.

Bedrock API key

Amazon Bedrock API anahtarları, SigV4 imzalı AWS kimlik bilgileri yerine bearer auth ile Bedrock çağrılarının kimliğini doğrular. LibreChat içinde bunları, Bedrock kapsamlı ortam değişkeni ile yapılandırın:

BEDROCK_AWS_DEFAULT_REGION=us-east-1
BEDROCK_AWS_BEARER_TOKEN=your_bedrock_api_key

BEDROCK_AWS_BEARER_TOKEN, LibreChat'e özeldir. AWS belgeleri ve ham AWS SDK/CLI örnekleri, AWS standardı olan AWS_BEARER_TOKEN_BEDROCK ortam değişkenini kullanır; ancak LibreChat, belirtecin yalnızca Bedrock endpoint yapılandırmasını etkilemesi için kasıtlı olarak Bedrock kapsamlı bir isim kullanır. LibreChat, bu değeri AWS SDK'ya bearer kimlik doğrulaması olarak iletir.

Kullanıcıların LibreChat arayüzünden kendi Bedrock API anahtarlarını sağlamalarına izin vermek için şunu ayarlayın:

BEDROCK_AWS_DEFAULT_REGION=us-east-1
BEDROCK_AWS_BEARER_TOKEN=user_provided

Kısa süreli Bedrock API anahtarları, oluşturuldukları AWS asıl kullanıcısının (principal) izinlerini devralır, yalnızca oluşturuldukları AWS bölgesinde geçerlidir ve en geç 12 saat sonra veya kaynak oturumun süresi dolduğunda geçerliliklerini yitirirler. Uzun süreli Bedrock API anahtarları yalnızca keşif ve geliştirme süreçleri için önerilir. Bedrock API anahtarlarını kullanma ve Bedrock API anahtarları oluşturma konuları için AWS belgelerine bakın.

Statik Bedrock kimlik bilgileri

Profiller veya IAM rolleri uygun olmadığında yalnızca statik Bedrock'a özgü ortam değişkenlerini kullanın:

BEDROCK_AWS_DEFAULT_REGION=us-east-1
BEDROCK_AWS_ACCESS_KEY_ID=your_access_key_id
BEDROCK_AWS_SECRET_ACCESS_KEY=your_secret_access_key
# BEDROCK_AWS_SESSION_TOKEN=your_session_token

BEDROCK_AWS_ACCESS_KEY_ID ve BEDROCK_AWS_SECRET_ACCESS_KEY ayarlanmışsa, LibreChat bunları doğrudan Bedrock istemcisine iletir. Bunlar birlikte sağlanmalıdır ve BEDROCK_AWS_PROFILE ile Bedrock için SDK varsayılan sağlayıcı zincirine göre önceliklidirler.

BEDROCK_AWS_BEARER_TOKEN ayarlanmışsa, LibreChat Bedrock için statik kimlik bilgileri, BEDROCK_AWS_PROFILE veya SDK varsayılan sağlayıcı zinciri yerine bearer kimlik doğrulamasını kullanır.

AWS kimlik bilgisi davranışına ilişkin ayrıntılar için AWS SDK for JavaScript credential provider chain, AWS SDKs and Tools settings reference ve AWS credential_process security notes bölümlerine bakın.

Modelleri yapılandırma

İsteğe bağlı olarak BEDROCK_AWS_MODELS ile hangi modelleri kullanıma sunmak istediğinizi belirtebilirsiniz:

BEDROCK_AWS_MODELS=anthropic.claude-fable-5,anthropic.claude-opus-4-8,anthropic.claude-opus-4-7,anthropic.claude-sonnet-4-6,meta.llama3-1-8b-instruct-v1:0

Not: Belirtilmediği takdirde, bilinen ve desteklenen tüm model kimlikleri otomatik olarak dahil edilecektir.

Bedrock üzerindeki Claude Fable/Mythos sınıfı modeller yalnızca çıkarım profili (inference-profile) olarak kullanılabilir. us.anthropic.claude-fable-5 gibi bir profil kimliği kullanın ve bu modelleri çağırmadan önce Bedrock konsolunda veya Data Retention API üzerinden Anthropic veri paylaşımını etkinleştirin.
Tüm Bedrock model kimliklerini (ID) burada görebilirsiniz:
- https://docs.aws.amazon.com/bedrock/latest/userguide/model-ids.html#model-ids-arns

Ek Yapılandırma

Bedrock endpoint'ini librechat.yaml dosyanızda daha ayrıntılı yapılandırabilirsiniz:

endpoints:
  bedrock:
    availableRegions:
      - 'us-east-1'
      - 'us-west-2'
    streamRate: 35
    titleModel: 'anthropic.claude-3-haiku-20240307-v1:0'
    guardrailConfig:
      guardrailIdentifier: 'abc123xyz'
      guardrailVersion: '1'
      trace: 'enabled'
      streamProcessingMode: 'sync'

streamRate: (İsteğe bağlı) Her yeni token'ın işlenme hızını milisaniye cinsinden ayarlayın.
- Bu, eşzamanlı isteklerin işlenmesini stabilize etmeye ve daha akıcı bir arayüz akış oluşturma deneyimi sağlamaya yardımcı olabilir.
titleModel: (İsteğe bağlı) Sohbet başlıklarını oluşturmak için kullanılacak modeli belirtin.
- Önerilen: anthropic.claude-3-haiku-20240307-v1:0.
- Sohbet ile aynı modeli kullanmak için atlayın veya current_model olarak ayarlayın.
availableRegions: (İsteğe bağlı) Kullanılabilir olmasını istediğiniz AWS bölgelerini belirtin.
- Sağlandığı takdirde, kullanıcılar bölgeyi seçmek için bir açılır menü görecektir. Seçilmediği takdirde, varsayılan bölge kullanılır.
guardrailConfig: (İsteğe bağlı) İçerik filtreleme için AWS Bedrock Guardrails yapılandırmasını ayarlayın.
- guardrailIdentifier: AWS Bedrock Konsolunuzdan aldığınız guardrail kimliği veya ARN'si.
- guardrailVersion: Guardrail sürüm numarası (örneğin, "1") veya "DRAFT".
- trace: (İsteğe bağlı) İzleme günlüğünü etkinleştirin: "enabled", "disabled" veya "enabled_full".
- streamProcessingMode: (İsteğe bağlı) Akış işleme modunu ayarlayın: "sync" veya "async" (varsayılan "sync" değeridir).
- Guardrails oluşturmak ve yönetmek için AWS Bedrock Guardrails belgelerine bakın.

Çıkarım Profilleri

AWS Bedrock çıkarım profilleri, temel modeller için özel yönlendirme yapılandırmaları oluşturmanıza olanak tanıyarak bölgeler arası yük dengeleme, maliyet tahsisi ve uyumluluk kontrolleri sağlar. Model kimliklerini librechat.yaml dosyanızdaki özel çıkarım profili ARN'leri ile eşleştirebilirsiniz:

endpoints:
  bedrock:
    inferenceProfiles:
      'us.anthropic.claude-3-7-sonnet-20250219-v1:0': '${BEDROCK_CLAUDE_37_PROFILE}'

Profiller oluşturma, LibreChat yapılandırma, günlük kaydını ayarlama ve sorun giderme ile ilgili tam kılavuz için Bedrock Inference Profiles bölümüne bakın.

YAML alan referansı için AWS Bedrock Nesne Yapısı bölümüne bakın.

Belge Yüklemeleri

Bedrock, dosya eki açılır menüsündeki Upload to Provider seçeneği aracılığıyla belgelerin doğrudan sağlayıcıya yüklenmesini destekler. Belgeler, Bedrock Converse API'sine yerel belge ekleri olarak gönderilir.

Desteklenen formatlar: PDF, CSV, DOC, DOCX, XLS, XLSX, HTML, TXT ve Markdown (.md)

Sınırlamalar:

Belge başına maksimum dosya boyutu: 4.5 MB
Dosya adları, Bedrock'un adlandırma gereksinimlerine (alfanümerik, boşluklar, kısa çizgiler, parantezler, köşeli parantezler; maksimum 200 karakter) uyacak şekilde otomatik olarak temizlenir.

Dosya yükleme seçenekleri hakkında daha fazla bilgi için OCR for Documents belgelerine bakın.

Notlar

Aşağıdaki modeller, akış (streaming) yeteneği eksikliği nedeniyle desteklenmemektedir:
- ai21.j2-mid-v1
Aşağıdaki modeller, sohbet geçmişi desteğinin bulunmaması nedeniyle desteklenmemektedir:
- ai21.j2-ultra-v1
- cohere.command-text-v14
- cohere.command-light-text-v14
AWS Bedrock endpoint, streamRate, titleModel, titleMethod, titlePrompt, titlePromptTemplate ve titleEndpoint dahil olmak üzere librechat.yaml yapılandırma dosyası aracılığıyla tüm Shared Endpoint Settings özelliklerini destekler.

AWS Bedrock

Bu sayfada