Anthropic Vertex AI Object-structuur

LibreChat ondersteunt het draaien van Anthropic Claude-modellen via Google Cloud Vertex AI. Hiermee kun je Claude-modellen gebruiken met je bestaande Google Cloud-infrastructuur, facturering en inloggegevens.

Voor een snelle installatie met omgevingsvariabelen, zie de Anthropic configuratiegids

Voordelen

• Unified Billing: Gebruik uw bestaande Google Cloud-factureringsaccount
• Enterprise-functies: Krijg toegang tot de enterprise-beveiligings- en compliancefuncties van Google Cloud
• Regionale naleving: Implementeer in specifieke regio's om te voldoen aan vereisten voor gegevensresidentie
• Bestaande infrastructuur: Maak gebruik van uw huidige GCP-serviceaccounts en IAM-beleid

Vereisten

Voordat je Anthropic Vertex AI configureert, moet je ervoor zorgen dat je beschikt over:

1. Google Cloud Project met de Vertex AI API ingeschakeld
2. Service Account met de Vertex AI User rol (roles/aiplatform.user)
3. Claude-modellen ingeschakeld in je Vertex AI Model Garden
4. Service Account Key (JSON-bestand) gedownload en toegankelijk voor LibreChat

Voorbeeldconfiguratie

endpoints:
  anthropic:
    streamRate: 20
    titleModel: "claude-3.5-haiku"  # Use the visible model name (key from models config)

    vertex:
      region: "us-east5"
      # serviceKeyFile: "/path/to/service-account.json"  # Optional, defaults to api/data/auth.json
      # projectId: "${VERTEX_PROJECT_ID}"  # Optional, auto-detected from service key

      # Model mapping: visible name -> Vertex AI deployment name
      models:
        claude-opus-4.5:
          deploymentName: claude-opus-4-5@20251101
        claude-sonnet-4:
          deploymentName: claude-sonnet-4-20250514
        claude-3.7-sonnet:
          deploymentName: claude-3-7-sonnet-20250219
        claude-3.5-sonnet:
          deploymentName: claude-3-5-sonnet-v2@20241022
        claude-3.5-haiku:
          deploymentName: claude-3-5-haiku@20241022

Let op: Het Anthropic endpoint ondersteunt alle Shared Endpoint Settings, inclusief streamRate, titleModel, titleMethod, titlePrompt, titlePromptTemplate en titleEndpoint.

vertex

Het vertex object bevat alle configuratie-opties die specifiek zijn voor Vertex AI.

region

Sleutel:

Standaard: us-east5

Beschikbare regio's:

• global (aanbevolen voor de meeste gebruikssituaties)
• us-east5
• us-central1
• europe-west1
• europe-west4
• asia-southeast1

Tip: De global regio wordt aanbevolen omdat deze automatische routering biedt naar de dichtstbijzijnde beschikbare regio. Gebruik specifieke regio's alleen als je vereisten hebt met betrekking tot gegevensresidentie.

Voorbeeld:

region: "global"

projectId

Sleutel:

Standaard: Automatisch gedetecteerd vanuit het service-sleutelbestand

Voorbeeld:

projectId: "${GOOGLE_PROJECT_ID}"

serviceKeyFile

Sleutel:

Standaard: api/data/auth.json (of GOOGLE_SERVICE_KEY_FILE omgevingsvariabele)

Voorbeeld:

serviceKeyFile: "/etc/secrets/gcp-service-account.json"

models

Het models veld definieert de beschikbare Claude-modellen en koppelt gebruiksvriendelijke namen aan Vertex AI deployment-ID's. Dit werkt op vergelijkbare wijze als Azure OpenAI model mapping.

Opmaakopties

Je kunt modellen op drie manieren configureren:

Optie 1: Eenvoudige array

Gebruik de werkelijke Vertex AI model-ID's direct. Deze worden ongewijzigd weergegeven in de UI:

models:
  - "claude-sonnet-4-20250514"
  - "claude-3-7-sonnet-20250219"
  - "claude-3-5-haiku@20241022"

Optie 2: Object met aangepaste namen (Aanbevolen)

Wijs gebruiksvriendelijke namen toe aan Vertex AI-implementatienamen:

models:
  claude-opus-4.5:           # Visible in UI
    deploymentName: claude-opus-4-5@20251101  # Actual Vertex AI model ID
  claude-sonnet-4:
    deploymentName: claude-sonnet-4-20250514
  claude-3.5-haiku:
    deploymentName: claude-3-5-haiku@20241022

Optie 3: Gemengd formaat met standaardwaarde

Stel een standaard deployment-naam in en gebruik booleaanse waarden voor modellen die deze overerven:

deploymentName: claude-sonnet-4-20250514  # Default deployment
models:
  claude-sonnet-4: true  # Uses default deploymentName
  claude-3.5-haiku:
    deploymentName: claude-3-5-haiku@20241022  # Override for this model

Eigenschappen van het Model-object

Voorbeeld:

models:
  claude-sonnet-4:
    deploymentName: claude-sonnet-4-20250514

Alternatief voor omgevingsvariabelen

Voor eenvoudigere configuraties kun je Vertex AI instellen met omgevingsvariabelen in plaats van YAML:

# Enable Vertex AI mode
ANTHROPIC_USE_VERTEX=true

# Vertex AI region (optional, defaults to us-east5)
ANTHROPIC_VERTEX_REGION=global

# Path to service account key (optional, defaults to api/data/auth.json)
GOOGLE_SERVICE_KEY_FILE=/path/to/service-account.json

Let op: Bij het gebruik van omgevingsvariabelen is model mapping niet beschikbaar. Alle bekende Claude-modellen worden automatisch opgenomen.

Volledige voorbeelden

Basisinstellingen

Minimale configuratie met standaardwaarden (Vertex AI is ingeschakeld door de aanwezigheid van de vertex sectie):

endpoints:
  anthropic:
    vertex:
      region: us-east5

Dit gebruikt:

• Regio: us-east5
• Service-sleutel: api/data/auth.json (of GOOGLE_SERVICE_KEY_FILE env var)
• Project-ID: Automatisch gedetecteerd vanuit service-key
• Modellen: Alle bekende Claude-modellen

Productie-installatie met Model Mapping

Volledige configuratie met aangepaste modelnamen en titels:

endpoints:
  anthropic:
    streamRate: 20
    titleModel: "haiku"
    titleMethod: "completion"

    vertex:
      region: "global"
      serviceKeyFile: "${GOOGLE_SERVICE_KEY_FILE}"

      models:
        opus:
          deploymentName: claude-opus-4-5@20251101
        sonnet:
          deploymentName: claude-sonnet-4-20250514
        haiku:
          deploymentName: claude-3-5-haiku@20241022

Multi-Region Setup

Je kunt slechts één regio per deployment configureren. Overweeg voor behoeften met meerdere regio's om afzonderlijke LibreChat-instanties of aangepaste endpoints te gebruiken.

Probleemoplossing

Veelvoorkomende fouten

"Kon de standaardreferenties niet laden"

• Zorg ervoor dat het service account key-bestand bestaat op het opgegeven pad
• Controleer de bestandsrechten (moeten leesbaar zijn door het LibreChat-proces)
• Controleer of het JSON-bestand geldig en niet beschadigd is

"Permission denied" of "403 Forbidden"

• Controleer of het serviceaccount de rol Vertex AI User heeft
• Zorg ervoor dat Claude-modellen zijn ingeschakeld in je Vertex AI Model Garden
• Controleer of het serviceaccount bij het juiste project hoort

"Model niet gevonden"

• Controleer of het model-ID in deploymentName correct is
• Controleer of het model beschikbaar is in de door jou geselecteerde regio
• Zorg ervoor dat het model is ingeschakeld in je Vertex AI Model Garden

Regio-problemen

"Invalid region" of "Region not supported"

• Gebruik een van de hierboven vermelde ondersteunde regio's
• Probeer de global regio te gebruiken, die automatische routering biedt
• Raadpleeg de documentatie van Google Cloud voor de meest recente lijst met regio's waar Claude beschikbaar is.

"Model niet beschikbaar in regio"

• Niet alle Claude-modellen zijn beschikbaar in alle regio's
• Probeer over te schakelen naar de global regio voor automatische routering naar een beschikbare regio
• Controleer de Vertex AI Model Garden om te zien welke modellen beschikbaar zijn in jouw regio
• Overweeg een andere regio te gebruiken die een bredere beschikbaarheid van modellen heeft (bijv. us-east5)

Latentieproblemen

• Als je last hebt van een hoge latentie, probeer dan een regio te gebruiken die geografisch dichter bij je gebruikers ligt.
• De global regio routeert automatisch naar de dichtstbijzijnde beschikbare regio
• Voor productieworkloads met strikte latentievereisten, test verschillende regio's en kies degene met de beste prestaties voor jouw use case.

Installatie verifiëren

1. Zorg ervoor dat uw service account key geldig is:

   gcloud auth activate-service-account --key-file=/path/to/key.json
   gcloud auth list

2. Test Vertex AI toegang:

   gcloud ai models list --region=us-east5

3. Controleer de toegang tot het Claude-model:

   curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json" \
     "https://us-east5-aiplatform.googleapis.com/v1/projects/YOUR_PROJECT/locations/us-east5/publishers/anthropic/models/claude-3-5-haiku@20241022:rawPredict" \
     -d '{"anthropic_version": "vertex-2023-10-16", "max_tokens": 100, "messages": [{"role": "user", "content": "Hello"}]}'

Opmerkingen

• Vertex AI en de directe Anthropic API sluiten elkaar uit. Wanneer een vertex configuratiesectie aanwezig is, wordt de ANTHROPIC_API_KEY omgevingsvariabele genegeerd.
• Webzoekfunctionaliteit wordt volledig ondersteund met Vertex AI.
• Prompt caching wordt ondersteund via automatische header-filtering voor Vertex AI-compatibiliteit.
• Function calling en tool use werken hetzelfde als bij de directe Anthropic API.