Anthropic Vertex AI Objektstruktur

LibreChat unterstützt die Ausführung von Anthropic Claude Modellen über Google Cloud Vertex AI. Dies ermöglicht es Ihnen, Claude Modelle mit Ihrer bestehenden Google Cloud Infrastruktur, Abrechnung und Ihren Anmeldedaten zu verwenden.

Für eine schnelle Einrichtung mithilfe von Umgebungsvariablen siehe den Anthropic Konfigurationsleitfaden

Vorteile

• Einheitliche Abrechnung: Verwenden Sie Ihr bestehendes Google Cloud-Abrechnungskonto
• Enterprise-Funktionen: Zugriff auf die Sicherheits- und Compliance-Funktionen von Google Cloud für Unternehmen
• Regionale Compliance: Bereitstellung in spezifischen Regionen, um Anforderungen an die Datenresidenz zu erfüllen
• Bestehende Infrastruktur: Nutzen Sie Ihre aktuellen GCP-Dienstkonten und IAM-Richtlinien

Voraussetzungen

Bevor Sie Anthropic Vertex AI konfigurieren, stellen Sie sicher, dass Sie Folgendes haben:

1. Google Cloud Project mit aktivierter Vertex AI API
2. Dienstkonto mit der Rolle Vertex AI User (roles/aiplatform.user)
3. Claude-Modelle, die in Ihrem Vertex AI Model Garden aktiviert sind
4. Service Account Key (JSON-Datei), heruntergeladen und für LibreChat zugänglich

Beispielkonfiguration

endpoints:
  anthropic:
    streamRate: 20
    titleModel: "claude-3.5-haiku"  # Use the visible model name (key from models config)
 
    vertex:
      region: "us-east5"
      # serviceKeyFile: "/path/to/service-account.json"  # Optional, defaults to api/data/auth.json
      # projectId: "${VERTEX_PROJECT_ID}"  # Optional, auto-detected from service key
 
      # Model mapping: visible name -> Vertex AI deployment name
      models:
        claude-opus-4.5:
          deploymentName: claude-opus-4-5@20251101
        claude-sonnet-4:
          deploymentName: claude-sonnet-4-20250514
        claude-3.7-sonnet:
          deploymentName: claude-3-7-sonnet-20250219
        claude-3.5-sonnet:
          deploymentName: claude-3-5-sonnet-v2@20241022
        claude-3.5-haiku:
          deploymentName: claude-3-5-haiku@20241022

Hinweis: Der Anthropic endpoint unterstützt alle Shared Endpoint Settings, einschließlich streamRate, titleModel, titleMethod, titlePrompt, titlePromptTemplate und titleEndpoint.

vertex

Das vertex Objekt enthält alle Vertex AI-spezifischen Konfigurationsoptionen.

region

Schlüssel:

Standard: us-east5

Verfügbare Regionen:

• global (für die meisten Anwendungsfälle empfohlen)
• us-east5
• us-central1
• europe-west1
• europe-west4
• asia-southeast1

Tipp: Die global Region wird empfohlen, da sie ein automatisches Routing zur nächstgelegenen verfügbaren Region bietet. Verwenden Sie spezifische Regionen nur, wenn Sie Anforderungen an die Datenresidenz haben.

Beispiel:

region: "global"

projectId

Schlüssel:

Standard: Automatisch aus der Dienstschlüsseldatei erkannt

Beispiel:

projectId: "${GOOGLE_PROJECT_ID}"

serviceKeyFile

Schlüssel:

Standard: api/data/auth.json (oder Umgebungsvariable GOOGLE_SERVICE_KEY_FILE)

Beispiel:

serviceKeyFile: "/etc/secrets/gcp-service-account.json"

models

Das models-Feld definiert die verfügbaren Claude-Modelle und ordnet benutzerfreundliche Namen den Vertex AI-Deployment-IDs zu. Dies funktioniert ähnlich wie das Azure OpenAI-Modell-Mapping.

Formatoptionen

Sie können Modelle auf drei Arten konfigurieren:

Option 1: Einfaches Array

Verwenden Sie die tatsächlichen Vertex AI Modell-IDs direkt. Diese werden in der Benutzeroberfläche unverändert angezeigt:

models:
  - "claude-sonnet-4-20250514"
  - "claude-3-7-sonnet-20250219"
  - "claude-3-5-haiku@20241022"

Option 2: Objekt mit benutzerdefinierten Namen (Empfohlen)

Ordnen Sie benutzerfreundliche Namen den Vertex AI-Bereitstellungsnamen zu:

models:
  claude-opus-4.5:           # Visible in UI
    deploymentName: claude-opus-4-5@20251101  # Actual Vertex AI model ID
  claude-sonnet-4:
    deploymentName: claude-sonnet-4-20250514
  claude-3.5-haiku:
    deploymentName: claude-3-5-haiku@20241022

Option 3: Gemischtes Format mit Standardwert

Legen Sie einen Standard-Bereitstellungsnamen fest und verwenden Sie boolesche Werte für Modelle, die diesen übernehmen:

deploymentName: claude-sonnet-4-20250514  # Default deployment
models:
  claude-sonnet-4: true  # Uses default deploymentName
  claude-3.5-haiku:
    deploymentName: claude-3-5-haiku@20241022  # Override for this model

Model Object Properties

Beispiel:

models:
  claude-sonnet-4:
    deploymentName: claude-sonnet-4-20250514

Alternative für Umgebungsvariablen

Für einfachere Setups können Sie Vertex AI mithilfe von Umgebungsvariablen anstelle von YAML konfigurieren:

# Enable Vertex AI mode
ANTHROPIC_USE_VERTEX=true
 
# Vertex AI region (optional, defaults to us-east5)
ANTHROPIC_VERTEX_REGION=global
 
# Path to service account key (optional, defaults to api/data/auth.json)
GOOGLE_SERVICE_KEY_FILE=/path/to/service-account.json

Hinweis: Bei der Verwendung von Umgebungsvariablen ist das Model Mapping nicht verfügbar. Alle bekannten Claude-Modelle werden automatisch einbezogen.

Vollständige Beispiele

Grundlegende Einrichtung

Minimale Konfiguration unter Verwendung der Standardwerte (Vertex AI wird durch das Vorhandensein des vertex-Abschnitts aktiviert):

endpoints:
  anthropic:
    vertex:
      region: us-east5

Dies verwendet:

• Region: us-east5
• Service-Schlüssel: api/data/auth.json (oder GOOGLE_SERVICE_KEY_FILE env var)
• Projekt-ID: Automatisch vom Dienstschlüssel erkannt
• Modelle: Alle bekannten Claude-Modelle

Produktions-Setup mit Model Mapping

Vollständige Konfiguration mit benutzerdefinierten Modellnamen und Titeln:

endpoints:
  anthropic:
    streamRate: 20
    titleModel: "haiku"
    titleMethod: "completion"
 
    vertex:
      region: "global"
      serviceKeyFile: "${GOOGLE_SERVICE_KEY_FILE}"
 
      models:
        opus:
          deploymentName: claude-opus-4-5@20251101
        sonnet:
          deploymentName: claude-sonnet-4-20250514
        haiku:
          deploymentName: claude-3-5-haiku@20241022

Multi-Region-Setup

Sie können nur eine Region pro Deployment konfigurieren. Für Anforderungen mit mehreren Regionen sollten Sie separate LibreChat-Instanzen oder benutzerdefinierte endpoints in Betracht ziehen.

Fehlerbehebung

Häufige Fehler

"Die Standard-Anmeldedaten konnten nicht geladen werden"

• Stellen Sie sicher, dass die Dienstkonto-Schlüsseldatei unter dem angegebenen Pfad vorhanden ist
• Überprüfen Sie die Dateiberechtigungen (müssen für den LibreChat-Prozess lesbar sein)
• Überprüfen Sie, ob die JSON-Datei gültig und nicht beschädigt ist

"Permission denied" oder "403 Forbidden"

• Stellen Sie sicher, dass das Dienstkonto über die Rolle Vertex AI User verfügt.
• Stellen Sie sicher, dass Claude-Modelle in Ihrem Vertex AI Model Garden aktiviert sind.
• Überprüfen Sie, ob das Dienstkonto zum richtigen Projekt gehört

"Modell nicht gefunden"

• Überprüfen Sie, ob die Modell-ID in deploymentName korrekt ist
• Überprüfen Sie, ob das Modell in der von Ihnen ausgewählten Region verfügbar ist
• Stellen Sie sicher, dass das Modell in Ihrem Vertex AI Model Garden aktiviert ist.

Region-Probleme

"Invalid region" oder "Region not supported"

• Verwenden Sie eine der oben aufgeführten unterstützten Regionen
• Versuchen Sie es mit der Region global, die ein automatisches Routing bietet.
• Überprüfen Sie die Dokumentation von Google Cloud für die aktuelle Liste der Regionen, in denen Claude verfügbar ist.

"Modell in dieser Region nicht verfügbar"

• Nicht alle Claude-Modelle sind in allen Regionen verfügbar.
• Versuchen Sie, auf die Region global zu wechseln, um eine automatische Weiterleitung zu einer verfügbaren Region zu erhalten.
• Überprüfen Sie den Vertex AI Model Garden, um zu sehen, welche Modelle in Ihrer Region verfügbar sind.
• Erwägen Sie die Verwendung einer anderen Region mit breiterer Modellverfügbarkeit (z. B. us-east5)

Latenzprobleme

• Falls Sie eine hohe Latenz feststellen, versuchen Sie, eine Region zu verwenden, die geografisch näher an Ihren Benutzern liegt.
• Die global Region leitet automatisch an die nächstgelegene verfügbare Region weiter
• Für Produktions-Workloads mit strengen Latenzanforderungen sollten Sie verschiedene Regionen testen und diejenige auswählen, die für Ihren Anwendungsfall die beste Leistung bietet.

Einrichtung überprüfen

1. Stellen Sie sicher, dass Ihr Dienstkontoschlüssel gültig ist:

   gcloud auth activate-service-account --key-file=/path/to/key.json
   gcloud auth list

2. Testen Sie den Vertex AI-Zugriff:

   gcloud ai models list --region=us-east5

3. Überprüfen Sie den Zugriff auf das Claude-Modell:

   curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json" \
     "https://us-east5-aiplatform.googleapis.com/v1/projects/YOUR_PROJECT/locations/us-east5/publishers/anthropic/models/claude-3-5-haiku@20241022:rawPredict" \
     -d '{"anthropic_version": "vertex-2023-10-16", "max_tokens": 100, "messages": [{"role": "user", "content": "Hello"}]}'

Hinweise

• Vertex AI und die direkte Anthropic API schließen sich gegenseitig aus. Wenn ein vertex Konfigurationsabschnitt vorhanden ist, wird die Umgebungsvariable ANTHROPIC_API_KEY ignoriert.
• Die Websuchfunktion wird mit Vertex AI vollständig unterstützt.
• Prompt Caching wird durch automatische Header-Filterung für die Kompatibilität mit Vertex AI unterstützt.
• Function calling und Tool-Nutzung funktionieren genauso wie bei der direkten Anthropic API.