Anthropic Vertex AI Nesne Yapısı

LibreChat, Anthropic Claude modellerini Google Cloud Vertex AI aracılığıyla çalıştırmayı destekler. Bu, Claude modellerini mevcut Google Cloud altyapınız, faturalandırmanız ve kimlik bilgilerinizle kullanmanıza olanak tanır.

Ortam değişkenlerini kullanarak hızlı kurulum için Anthropic yapılandırma kılavuzuna bakın

Avantajlar

• Birleşik Faturalandırma: Mevcut Google Cloud faturalandırma hesabınızı kullanın
• Kurumsal Özellikler: Google Cloud'un kurumsal güvenlik ve uyumluluk özelliklerine erişin
• Bölgesel Uyumluluk: Veri yerleşimi gereksinimlerini karşılamak için belirli bölgelerde dağıtın
• Mevcut Altyapı: Mevcut GCP hizmet hesaplarınızdan ve IAM politikalarınızdan yararlanın

Ön Koşullar

Anthropic Vertex AI yapılandırmasından önce şunlara sahip olduğunuzdan emin olun:

1. Vertex AI API'si etkinleştirilmiş Google Cloud Project
2. Vertex AI User rolüne (roles/aiplatform.user) sahip Service Account
3. Vertex AI Model Garden üzerinde etkinleştirilmiş Claude models
4. Service Account Key (JSON dosyası) indirilmiş ve LibreChat tarafından erişilebilir durumda

Örnek Yapılandırma

endpoints:
  anthropic:
    streamRate: 20
    titleModel: "claude-3.5-haiku"  # Use the visible model name (key from models config)

    vertex:
      region: "us-east5"
      # serviceKeyFile: "/path/to/service-account.json"  # Optional, defaults to api/data/auth.json
      # projectId: "${VERTEX_PROJECT_ID}"  # Optional, auto-detected from service key

      # Model mapping: visible name -> Vertex AI deployment name
      models:
        claude-opus-4.5:
          deploymentName: claude-opus-4-5@20251101
        claude-sonnet-4:
          deploymentName: claude-sonnet-4-20250514
        claude-3.7-sonnet:
          deploymentName: claude-3-7-sonnet-20250219
        claude-3.5-sonnet:
          deploymentName: claude-3-5-sonnet-v2@20241022
        claude-3.5-haiku:
          deploymentName: claude-3-5-haiku@20241022

Not: Anthropic endpoint, streamRate, titleModel, titleMethod, titlePrompt, titlePromptTemplate ve titleEndpoint dahil olmak üzere tüm Shared Endpoint Settings ayarlarını destekler.

vertex

vertex nesnesi, tüm Vertex AI'a özgü yapılandırma seçeneklerini içerir.

region

Anahtar:

Varsayılan: us-east5

Kullanılabilir Bölgeler:

• global (çoğu kullanım durumu için önerilir)
• us-east5
• us-central1
• europe-west1
• europe-west4
• asia-southeast1

İpucu: En yakın uygun bölgeye otomatik yönlendirme sağladığı için global bölgesi önerilir. Belirli bölgeleri yalnızca veri yerleşimi gereksinimleriniz varsa kullanın.

Örnek:

region: "global"

projectId

Anahtar:

Varsayılan: Hizmet anahtarı dosyasından otomatik olarak algılanır

Örnek:

projectId: "${GOOGLE_PROJECT_ID}"

serviceKeyFile

Anahtar:

Varsayılan: api/data/auth.json (veya GOOGLE_SERVICE_KEY_FILE ortam değişkeni)

Örnek:

serviceKeyFile: "/etc/secrets/gcp-service-account.json"

models

models alanı, mevcut Claude modellerini tanımlar ve kullanıcı dostu isimleri Vertex AI dağıtım kimlikleriyle (deployment IDs) eşleştirir. Bu, Azure OpenAI model eşleme ile benzer şekilde çalışır.

Format Seçenekleri

Modelleri üç şekilde yapılandırabilirsiniz:

Seçenek 1: Basit Dizi

Doğrudan gerçek Vertex AI model kimliklerini (ID) kullanın. Bunlar arayüzde göründüğü gibi gösterilecektir:

models:
  - "claude-sonnet-4-20250514"
  - "claude-3-7-sonnet-20250219"
  - "claude-3-5-haiku@20241022"

Seçenek 2: Özel İsimlere Sahip Nesne (Önerilen)

Kullanıcı dostu adları Vertex AI dağıtım adlarıyla eşleştirin:

models:
  claude-opus-4.5:           # Visible in UI
    deploymentName: claude-opus-4-5@20251101  # Actual Vertex AI model ID
  claude-sonnet-4:
    deploymentName: claude-sonnet-4-20250514
  claude-3.5-haiku:
    deploymentName: claude-3-5-haiku@20241022

Seçenek 3: Varsayılan ile Karma Format

Varsayılan bir dağıtım adı ayarlayın ve bunu devralan modeller için boolean değerleri kullanın:

deploymentName: claude-sonnet-4-20250514  # Default deployment
models:
  claude-sonnet-4: true  # Uses default deploymentName
  claude-3.5-haiku:
    deploymentName: claude-3-5-haiku@20241022  # Override for this model

Model Nesnesi Özellikleri

Örnek:

models:
  claude-sonnet-4:
    deploymentName: claude-sonnet-4-20250514

Ortam Değişkeni Alternatifi

Daha basit kurulumlar için, Vertex AI'ı YAML yerine ortam değişkenlerini kullanarak yapılandırabilirsiniz:

# Enable Vertex AI mode
ANTHROPIC_USE_VERTEX=true

# Vertex AI region (optional, defaults to us-east5)
ANTHROPIC_VERTEX_REGION=global

# Path to service account key (optional, defaults to api/data/auth.json)
GOOGLE_SERVICE_KEY_FILE=/path/to/service-account.json

Not: Ortam değişkenlerini kullanırken, model eşleme (model mapping) özelliği kullanılamaz. Bilinen tüm Claude modelleri otomatik olarak dahil edilecektir.

Tam Örnekler

Temel Kurulum

Varsayılanları kullanan minimal yapılandırma (Vertex AI, vertex bölümünün varlığıyla etkinleştirilir):

endpoints:
  anthropic:
    vertex:
      region: us-east5

Bu şunları kullanır:

• Bölge: us-east5
• Hizmet anahtarı: api/data/auth.json (veya GOOGLE_SERVICE_KEY_FILE env var)
• Proje Kimliği: Hizmet anahtarından otomatik olarak algılandı
• Modeller: Bilinen tüm Claude modelleri

Model Eşleştirme ile Üretim Kurulumu

Özel model adları ve başlıkları ile tam yapılandırma:

endpoints:
  anthropic:
    streamRate: 20
    titleModel: "haiku"
    titleMethod: "completion"

    vertex:
      region: "global"
      serviceKeyFile: "${GOOGLE_SERVICE_KEY_FILE}"

      models:
        opus:
          deploymentName: claude-opus-4-5@20251101
        sonnet:
          deploymentName: claude-sonnet-4-20250514
        haiku:
          deploymentName: claude-3-5-haiku@20241022

Çoklu Bölge Kurulumu

Her dağıtım için yalnızca bir bölge yapılandırabilirsiniz. Çoklu bölge ihtiyaçları için ayrı LibreChat örnekleri veya özel endpoint'ler kullanmayı düşünün.

Sorun Giderme

Yaygın Hatalar

"Varsayılan kimlik bilgileri yüklenemedi"

• Hizmet hesabı anahtar dosyasının belirtilen yolda bulunduğundan emin olun
• Dosya izinlerini kontrol edin (LibreChat süreci tarafından okunabilir olmalıdır)
• JSON dosyasının geçerli olduğunu ve bozulmadığını doğrulayın

"Permission denied" veya "403 Forbidden"

• Hizmet hesabının Vertex AI User rolüne sahip olduğunu doğrulayın
• Claude modellerinin Vertex AI Model Garden'ınızda etkinleştirildiğinden emin olun
• Hizmet hesabının doğru projeye ait olduğunu kontrol edin

"Model bulunamadı"

• deploymentName içindeki model kimliğinin (model ID) doğru olduğunu kontrol edin
• Modelin seçtiğiniz bölgede kullanılabilir olduğunu doğrulayın
• Modelin Vertex AI Model Garden üzerinde etkinleştirildiğinden emin olun

Bölge Sorunları

"Invalid region" veya "Region not supported"

• Yukarıda listelenen desteklenen bölgelerden birini kullanın
• Otomatik yönlendirme sağlayan global bölgesini kullanmayı deneyin
• Claude'un kullanılabildiği bölgelerin güncel listesi için Google Cloud'un belgelerine göz atın

"Model bölgenizde kullanılamıyor"

• Tüm Claude modelleri tüm bölgelerde kullanılamaz
• Kullanılabilir bir bölgeye otomatik yönlendirme için global bölgesine geçmeyi deneyin
• Bölgenizde hangi modellerin mevcut olduğunu görmek için Vertex AI Model Garden sayfasını kontrol edin.
• Daha geniş model kullanılabilirliğine sahip farklı bir bölge kullanmayı düşünün (örneğin, us-east5)

Gecikme sorunları

• Yüksek gecikme süresi yaşıyorsanız, kullanıcılarınıza coğrafi olarak daha yakın bir bölge kullanmayı deneyin
• global bölgesi otomatik olarak en yakın kullanılabilir bölgeye yönlendirme yapar
• Sıkı gecikme gereksinimleri olan üretim iş yükleri için farklı bölgeleri test edin ve kullanım durumunuz için en iyi performansı sunanı seçin.

Kurulumu Doğrulama

1. Hizmet hesabı anahtarınızın geçerli olduğundan emin olun:

   gcloud auth activate-service-account --key-file=/path/to/key.json
   gcloud auth list

2. Vertex AI erişimini test edin:

   gcloud ai models list --region=us-east5

3. Claude model erişimini doğrulayın:

   curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json" \
     "https://us-east5-aiplatform.googleapis.com/v1/projects/YOUR_PROJECT/locations/us-east5/publishers/anthropic/models/claude-3-5-haiku@20241022:rawPredict" \
     -d '{"anthropic_version": "vertex-2023-10-16", "max_tokens": 100, "messages": [{"role": "user", "content": "Hello"}]}'

Notlar

• Vertex AI ve doğrudan Anthropic API birbirini dışlar. Bir vertex yapılandırma bölümü mevcut olduğunda, ANTHROPIC_API_KEY ortam değişkeni yok sayılır.
• Web arama işlevi Vertex AI ile tam olarak desteklenmektedir.
• Vertex AI uyumluluğu için otomatik başlık filtreleme aracılığıyla Prompt caching desteklenmektedir.
• Function calling ve tool use, doğrudan Anthropic API ile aynı şekilde çalışır.