Structure d'objet Anthropic Vertex AI

LibreChat prend en charge l'exécution des modèles Anthropic Claude via Google Cloud Vertex AI. Cela vous permet d'utiliser les modèles Claude avec votre infrastructure, votre facturation et vos identifiants Google Cloud existants.

Pour une configuration rapide à l'aide de variables d'environnement, consultez le guide de configuration Anthropic

Avantages

• Facturation unifiée : Utilisez votre compte de facturation Google Cloud existant
• Fonctionnalités Entreprise : Accédez aux fonctionnalités de sécurité et de conformité d'entreprise de Google Cloud
• Conformité régionale : Déployez dans des régions spécifiques pour répondre aux exigences de résidence des données
• Infrastructure existante : Tirez parti de vos comptes de service GCP et de vos politiques IAM actuels

Prérequis

Avant de configurer Anthropic Vertex AI, assurez-vous d'avoir :

1. Projet Google Cloud avec l'API Vertex AI activée
2. Compte de service avec le rôle Vertex AI User (roles/aiplatform.user)
3. Modèles Claude activés dans votre Vertex AI Model Garden
4. Clé de compte de service (fichier JSON) téléchargée et accessible à LibreChat

Exemple de configuration

endpoints:
  anthropic:
    streamRate: 20
    titleModel: "claude-3.5-haiku"  # Use the visible model name (key from models config)
 
    vertex:
      region: "us-east5"
      # serviceKeyFile: "/path/to/service-account.json"  # Optional, defaults to api/data/auth.json
      # projectId: "${VERTEX_PROJECT_ID}"  # Optional, auto-detected from service key
 
      # Model mapping: visible name -> Vertex AI deployment name
      models:
        claude-opus-4.5:
          deploymentName: claude-opus-4-5@20251101
        claude-sonnet-4:
          deploymentName: claude-sonnet-4-20250514
        claude-3.7-sonnet:
          deploymentName: claude-3-7-sonnet-20250219
        claude-3.5-sonnet:
          deploymentName: claude-3-5-sonnet-v2@20241022
        claude-3.5-haiku:
          deploymentName: claude-3-5-haiku@20241022

Note : L'endpoint Anthropic prend en charge tous les Shared Endpoint Settings, y compris streamRate, titleModel, titleMethod, titlePrompt, titlePromptTemplate et titleEndpoint.

vertex

L'objet vertex contient toutes les options de configuration spécifiques à Vertex AI.

region

Clé :

Par défaut : us-east5

Régions disponibles :

• global (recommandé pour la plupart des cas d'utilisation)
• us-east5
• us-central1
• europe-west1
• europe-west4
• asia-southeast1

Conseil : La région global est recommandée car elle permet un routage automatique vers la région disponible la plus proche. Utilisez des régions spécifiques uniquement si vous avez des exigences en matière de résidence des données.

Exemple :

region: "global"

projectId

Clé :

Par défaut : Détecté automatiquement à partir du fichier de clé de service

Exemple :

projectId: "${GOOGLE_PROJECT_ID}"

serviceKeyFile

Clé :

Par défaut : api/data/auth.json (ou la variable d'environnement GOOGLE_SERVICE_KEY_FILE)

Exemple :

serviceKeyFile: "/etc/secrets/gcp-service-account.json"

models

Le champ models définit les modèles Claude disponibles et associe des noms conviviaux aux identifiants de déploiement Vertex AI. Cela fonctionne de manière similaire au mappage de modèles Azure OpenAI.

Options de format

Vous pouvez configurer les modèles de trois manières :

Option 1 : Tableau simple

Utilisez directement les identifiants de modèle Vertex AI réels. Ceux-ci seront affichés tels quels dans l'interface utilisateur :

models:
  - "claude-sonnet-4-20250514"
  - "claude-3-7-sonnet-20250219"
  - "claude-3-5-haiku@20241022"

Option 2 : Objet avec des noms personnalisés (Recommandé)

Associez des noms conviviaux aux noms de déploiement Vertex AI :

models:
  claude-opus-4.5:           # Visible in UI
    deploymentName: claude-opus-4-5@20251101  # Actual Vertex AI model ID
  claude-sonnet-4:
    deploymentName: claude-sonnet-4-20250514
  claude-3.5-haiku:
    deploymentName: claude-3-5-haiku@20241022

Option 3 : Format mixte avec valeur par défaut

Définissez un nom de déploiement par défaut et utilisez des valeurs booléennes pour les modèles qui en héritent :

deploymentName: claude-sonnet-4-20250514  # Default deployment
models:
  claude-sonnet-4: true  # Uses default deploymentName
  claude-3.5-haiku:
    deploymentName: claude-3-5-haiku@20241022  # Override for this model

Propriétés de l'objet Model

Exemple :

models:
  claude-sonnet-4:
    deploymentName: claude-sonnet-4-20250514

Alternative aux variables d'environnement

Pour des configurations plus simples, vous pouvez configurer Vertex AI en utilisant des variables d'environnement au lieu du YAML :

# Enable Vertex AI mode
ANTHROPIC_USE_VERTEX=true
 
# Vertex AI region (optional, defaults to us-east5)
ANTHROPIC_VERTEX_REGION=global
 
# Path to service account key (optional, defaults to api/data/auth.json)
GOOGLE_SERVICE_KEY_FILE=/path/to/service-account.json

Remarque : Lors de l'utilisation de variables d'environnement, le mappage de modèles n'est pas disponible. Tous les modèles Claude connus seront inclus automatiquement.

Exemples complets

Configuration de base

Configuration minimale utilisant les valeurs par défaut (Vertex AI est activé par la présence de la section vertex) :

endpoints:
  anthropic:
    vertex:
      region: us-east5

Ceci utilise :

• Région : us-east5
• Clé de service : api/data/auth.json (ou variable d'environnement GOOGLE_SERVICE_KEY_FILE)
• ID de projet : Détecté automatiquement à partir de la clé de service
• Modèles : Tous les modèles Claude connus

Configuration de production avec Model Mapping

Configuration complète avec des noms de modèles et des titres personnalisés :

endpoints:
  anthropic:
    streamRate: 20
    titleModel: "haiku"
    titleMethod: "completion"
 
    vertex:
      region: "global"
      serviceKeyFile: "${GOOGLE_SERVICE_KEY_FILE}"
 
      models:
        opus:
          deploymentName: claude-opus-4-5@20251101
        sonnet:
          deploymentName: claude-sonnet-4-20250514
        haiku:
          deploymentName: claude-3-5-haiku@20241022

Configuration multi-région

Vous ne pouvez configurer qu'une seule région par déploiement. Pour des besoins multi-régions, envisagez d'utiliser des instances LibreChat distinctes ou des endpoints personnalisés.

Dépannage

Erreurs courantes

"Impossible de charger les identifiants par défaut"

• Assurez-vous que le fichier de clé du compte de service existe au chemin spécifié
• Vérifiez les permissions de fichier (doivent être lisibles par le processus LibreChat)
• Vérifiez que le fichier JSON est valide et non corrompu

"Permission denied" ou "403 Forbidden"

• Vérifiez que le compte de service dispose du rôle Vertex AI User
• Assurez-vous que les modèles Claude sont activés dans votre Vertex AI Model Garden
• Vérifiez que le compte de service appartient au bon projet

"Modèle introuvable"

• Vérifiez que l'ID du modèle dans deploymentName est correct
• Vérifiez que le modèle est disponible dans la région que vous avez sélectionnée
• Assurez-vous que le modèle est activé dans votre Vertex AI Model Garden

Problèmes de région

"Région invalide" ou "Région non prise en charge"

• Utilisez l'une des régions prises en charge listées ci-dessus
• Essayez d'utiliser la région global qui fournit un routage automatique
• Consultez la documentation de Google Cloud pour obtenir la liste la plus récente des régions où Claude est disponible.

"Modèle non disponible dans la région"

• Tous les modèles Claude ne sont pas disponibles dans toutes les régions
• Essayez de passer à la région global pour un routage automatique vers une région disponible
• Consultez le Vertex AI Model Garden pour voir quels modèles sont disponibles dans votre région
• Envisagez d'utiliser une région différente disposant d'une plus grande disponibilité de modèles (par exemple, us-east5)

Problèmes de latence

• Si vous rencontrez une latence élevée, essayez d'utiliser une région géographiquement plus proche de vos utilisateurs.
• La région global achemine automatiquement vers la région disponible la plus proche
• Pour les charges de travail en production avec des exigences de latence strictes, testez différentes régions et choisissez celle offrant les meilleures performances pour votre cas d'utilisation.

Vérification de la configuration

1. Assurez-vous que votre clé de compte de service est valide :

   gcloud auth activate-service-account --key-file=/path/to/key.json
   gcloud auth list

2. Tester l'accès à Vertex AI :

   gcloud ai models list --region=us-east5

3. Vérifiez l'accès au modèle Claude :

   curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json" \
     "https://us-east5-aiplatform.googleapis.com/v1/projects/YOUR_PROJECT/locations/us-east5/publishers/anthropic/models/claude-3-5-haiku@20241022:rawPredict" \
     -d '{"anthropic_version": "vertex-2023-10-16", "max_tokens": 100, "messages": [{"role": "user", "content": "Hello"}]}'

Notes

• Vertex AI et l'API Anthropic directe sont mutuellement exclusifs. Lorsqu'une section de configuration vertex est présente, la variable d'environnement ANTHROPIC_API_KEY est ignorée.
• La fonctionnalité de recherche Web est entièrement prise en charge avec Vertex AI.
• La mise en cache des prompts (Prompt caching) est prise en charge via le filtrage automatique des en-têtes pour la compatibilité avec Vertex AI.
• L'appel de fonctions (function calling) et l'utilisation d'outils fonctionnent de la même manière qu'avec l'API Anthropic directe.