Skip to main content
LibreChat is joining ClickHouse to power the open-source Agentic Data Stack 🎉 Learn more
LibreChat

AWS Bedrock Nesne Yapısı

AWS Bedrock'u uygulamanızla entegre etmek, AWS üzerinde barındırılan birden fazla yapay zeka modelini sorunsuz bir şekilde kullanmanıza olanak tanır. Bu bölüm, AWS Bedrock endpoint yapılandırmasını ihtiyaçlarınıza göre nasıl yapacağınızı detaylandırmaktadır.

Örnek Yapılandırma

endpoints:
  bedrock:
    titleModel: 'anthropic.claude-3-haiku-20240307-v1:0'
    streamRate: 35
    availableRegions:
      - 'us-east-1'
      - 'us-west-2'
    guardrailConfig:
      guardrailIdentifier: 'your-guardrail-id'
      guardrailVersion: '1'
      trace: 'enabled'
      streamProcessingMode: 'sync'

Not: AWS Bedrock endpoint, streamRate, titleModel, titleMethod, titlePrompt, titlePromptTemplate ve titleEndpoint dahil olmak üzere tüm Shared Endpoint Settings ayarlarını destekler. Aşağıda gösterilen ayarlar Bedrock'a özeldir veya Bedrock'a özgü varsayılan değerlere sahiptir.

titleModel

Anahtar:

KeyTypeDescriptionExample
titleModelStringSohbet başlıklarını oluşturmak için kullanılacak modeli belirtir.Recommended: anthropic.claude-3-haiku-20240307-v1:0. Set to "current_model" to use the same model as the chat.

Varsayılan: Belirtilmemiş

Örnek:

titleModel: 'anthropic.claude-3-haiku-20240307-v1:0'

streamRate

Anahtar:

KeyTypeDescriptionExample
streamRateNumberHer yeni token'ın işlenme hızını milisaniye cinsinden ayarlar.This can help stabilize processing of concurrent requests and provide smoother frontend stream rendering.

Varsayılan: Belirtilmemiş

Örnek:

streamRate: 35

availableRegions

Anahtar:

KeyTypeDescriptionExample
availableRegionsArrayBedrock için kullanılabilir olmasını istediğiniz AWS bölgelerini belirtir.If provided, users will see a dropdown to select the region. If not selected, the default region is used.

Varsayılan: Belirtilmemiş

Örnek:

availableRegions:
  - 'us-east-1'
  - 'us-west-2'

models

Anahtar:

KeyTypeDescriptionExample
modelsArray of StringsBedrock endpoint'i için kullanılabilir özel model kimliklerini (ID) belirtir.When provided, these models appear in the model selector for Bedrock.

Varsayılan: Belirtilmemiş (varsayılan Bedrock model listesini kullanır)

Örnek:

endpoints:
  bedrock:
    models:
      - 'anthropic.claude-sonnet-4-20250514-v1:0'
      - 'anthropic.claude-haiku-4-20250514-v1:0'
      - 'us.anthropic.claude-sonnet-4-20250514-v1:0'

inferenceProfiles

Anahtar:

KeyTypeDescriptionExample
inferenceProfilesObject (Record)Çapraz bölge çıkarımı için model kimliklerini çıkarım profili ARN'leri ile eşleştirir. Anahtarlar model kimlikleri, değerler ise çıkarım profili ARN'si veya bir ortam değişkeni referansıdır.When a selected model matches a key, the corresponding ARN is used as the application inference profile.

Varsayılan: Belirtilmemiş

Örnek:

endpoints:
  bedrock:
    inferenceProfiles:
      'us.anthropic.claude-sonnet-4-20250514-v1:0': '${BEDROCK_INFERENCE_PROFILE_CLAUDE_SONNET}'
      'anthropic.claude-3-7-sonnet-20250219-v1:0': 'arn:aws:bedrock:us-west-2:123456789012:application-inference-profile/abc123'

Notlar:

  • Inference profilleri, çapraz bölge çıkarımını (cross-region inference) etkinleştirerek istekleri farklı AWS bölgelerindeki modellere yönlendirmenize olanak tanır.
  • Değerler, ${ENV_VAR} sözdizimi ile ortam değişkeni enterpolasyonunu destekler.
  • Anahtardaki model ID, kullanıcı tarafından arayüzde (UI) seçilen model ile eşleşmelidir.
  • Model seçicide bölgeler arası model kimliklerini kullanılabilir hale getirmek için models alanı ile birlikte kullanın
  • Çıkarım profilleri oluşturma ve yönetme hakkında kapsamlı bir kılavuz için AWS Bedrock Inference Profiles bölümüne bakın.

Birleşik Örnek:

endpoints:
  bedrock:
    models:
      - 'us.anthropic.claude-sonnet-4-20250514-v1:0'
      - 'us.anthropic.claude-haiku-4-20250514-v1:0'
    inferenceProfiles:
      'us.anthropic.claude-sonnet-4-20250514-v1:0': '${BEDROCK_CLAUDE_SONNET_PROFILE}'
      'us.anthropic.claude-haiku-4-20250514-v1:0': '${BEDROCK_CLAUDE_HAIKU_PROFILE}'

guardrailConfig

Anahtar:

KeyTypeDescriptionExample
guardrailConfigObjectModel giriş ve çıkışlarını filtrelemek ve denetlemek için AWS Bedrock Guardrails yapılandırması.Optional. When configured, all Bedrock requests will be validated against the specified guardrail.

Alt anahtarlar:

KeyTypeDescriptionExample
guardrailIdentifierStringUygulanacak guardrail'in benzersiz tanımlayıcısı.Required when using guardrails.
guardrailVersionStringKullanılacak guardrail sürümü.Required when using guardrails.
traceStringHata ayıklama için guardrail izleme çıktısını kontrol eder. Seçenekler: "enabled", "enabled_full" veya "disabled".Optional. Default: "disabled"
streamProcessingModeStringGuardrail akış işleme modunu kontrol eder. Seçenekler: "sync" veya "async".Optional. Default: "sync"

Örnek:

endpoints:
  bedrock:
    guardrailConfig:
      guardrailIdentifier: 'abc123xyz'
      guardrailVersion: '1'
      trace: 'enabled'
      streamProcessingMode: 'sync'

Notlar:

  • Guardrails, zararlı içerikleri, PII (Kişisel Tanımlanabilir Bilgiler) ve diğer hassas bilgileri filtreleyerek sorumlu AI kullanımını sağlamaya yardımcı olur.
  • guardrailIdentifier değerini AWS Bedrock konsolunda Guardrails altında bulabilirsiniz.
  • Geliştirme sırasında hangi guardrail politikalarının tetiklendiğini görmek için trace değerini "enabled" veya "enabled_full" olarak ayarlayın.
  • streamProcessingMode değerini "async" olarak ayarlayarak yanıtları daha hızlı akıtın (bu durum, tarama tamamlanana kadar güvenlik önlemlerinin uygunsuz içeriğe izin verme riskini beraberinde getirebilir)
  • Üretim ortamı için, yanıt yükü boyutunu azaltmak amacıyla trace değerini "disabled" olarak ayarlayın.

Notlar

  • AWS Bedrock kimlik doğrulaması, ortam değişkenleri aracılığıyla yapılandırılır. BEDROCK_AWS_PROFILE değişkenini, AWS SDK varsayılan kimlik bilgisi sağlayıcı zincirini, Bedrock API anahtarları için BEDROCK_AWS_BEARER_TOKEN değişkenini veya Bedrock'a özgü statik kimlik bilgilerini kullanabilirsiniz. Ayrıntılar için AWS Bedrock kurulum kılavuzuna bakın.

Bu rehber nasıl?