Anthropic Vertex AI オブジェクト構造

LibreChatは、Google Cloud Vertex AI を通じてAnthropic Claudeモデルを実行することをサポートしています。これにより、既存のGoogle Cloudインフラストラクチャ、請求、および認証情報を使用してClaudeモデルを利用できるようになります。

環境変数を使用したクイックセットアップについては、Anthropic設定ガイドを参照してください

メリット

• 統合請求: 既存のGoogle Cloud請求先アカウントを使用します
• Enterprise Features: Google Cloudのエンタープライズ向けセキュリティおよびコンプライアンス機能へのアクセス
• 地域コンプライアンス: データの保存場所に関する要件を満たすため、特定の地域にデプロイします。
• 既存のインフラストラクチャ: 現在のGCPサービスアカウントとIAMポリシーを活用します

前提条件

Anthropic Vertex AIを設定する前に、以下が準備されていることを確認してください：

1. Google Cloud Project（Vertex AI API が有効になっているもの）
2. Vertex AI User ロール (roles/aiplatform.user) を持つ Service Account
3. Vertex AI Model Garden で有効化された Claude models
4. Service Account Key (JSONファイル) 。ダウンロード済みで、LibreChatからアクセス可能であること。

設定例

endpoints:
  anthropic:
    streamRate: 20
    titleModel: "claude-3.5-haiku"  # Use the visible model name (key from models config)

    vertex:
      region: "us-east5"
      # serviceKeyFile: "/path/to/service-account.json"  # Optional, defaults to api/data/auth.json
      # projectId: "${VERTEX_PROJECT_ID}"  # Optional, auto-detected from service key

      # Model mapping: visible name -> Vertex AI deployment name
      models:
        claude-opus-4.5:
          deploymentName: claude-opus-4-5@20251101
        claude-sonnet-4:
          deploymentName: claude-sonnet-4-20250514
        claude-3.7-sonnet:
          deploymentName: claude-3-7-sonnet-20250219
        claude-3.5-sonnet:
          deploymentName: claude-3-5-sonnet-v2@20241022
        claude-3.5-haiku:
          deploymentName: claude-3-5-haiku@20241022

注: Anthropic endpoint は、streamRate、titleModel、titleMethod、titlePrompt、titlePromptTemplate、titleEndpoint を含む、すべての Shared Endpoint Settings をサポートしています。

vertex

vertex オブジェクトには、Vertex AI 固有の設定オプションがすべて含まれています。

region

キー:

デフォルト: us-east5

利用可能なリージョン:

• global（ほとんどのユースケースで推奨）
• us-east5
• us-central1
• europe-west1
• europe-west4
• asia-southeast1

ヒント: global リージョンは、利用可能な最も近いリージョンへ自動的にルーティングされるため推奨されます。特定のリージョンは、データレジデンシーの要件がある場合にのみ使用してください。

例:

region: "global"

projectId

キー:

デフォルト: サービスキーファイルから自動検出

例:

projectId: "${GOOGLE_PROJECT_ID}"

serviceKeyFile

キー:

デフォルト: api/data/auth.json (または GOOGLE_SERVICE_KEY_FILE 環境変数)

例:

serviceKeyFile: "/etc/secrets/gcp-service-account.json"

models

models フィールドは、利用可能な Claude モデルを定義し、ユーザーフレンドリーな名前を Vertex AI のデプロイメント ID にマッピングします。これは Azure OpenAI モデルマッピング と同様に機能します。

フォーマットオプション

モデルは以下の3つの方法で設定できます：

オプション 1: シンプルな配列

実際の Vertex AI モデル ID を直接使用してください。これらは UI 上でそのまま表示されます：

models:
  - "claude-sonnet-4-20250514"
  - "claude-3-7-sonnet-20250219"
  - "claude-3-5-haiku@20241022"

オプション 2: カスタム名を持つオブジェクト（推奨）

ユーザーフレンドリーな名前を Vertex AI のデプロイメント名にマッピングします：

models:
  claude-opus-4.5:           # Visible in UI
    deploymentName: claude-opus-4-5@20251101  # Actual Vertex AI model ID
  claude-sonnet-4:
    deploymentName: claude-sonnet-4-20250514
  claude-3.5-haiku:
    deploymentName: claude-3-5-haiku@20241022

オプション 3: デフォルト付きの混合フォーマット

デフォルトのデプロイメント名を指定し、それを継承するモデルにはブール値を使用します：

deploymentName: claude-sonnet-4-20250514  # Default deployment
models:
  claude-sonnet-4: true  # Uses default deploymentName
  claude-3.5-haiku:
    deploymentName: claude-3-5-haiku@20241022  # Override for this model

Model Object Properties

例:

models:
  claude-sonnet-4:
    deploymentName: claude-sonnet-4-20250514

環境変数の代替手段

よりシンプルなセットアップの場合、YAMLの代わりに環境変数を使用してVertex AIを設定することもできます：

# Enable Vertex AI mode
ANTHROPIC_USE_VERTEX=true

# Vertex AI region (optional, defaults to us-east5)
ANTHROPIC_VERTEX_REGION=global

# Path to service account key (optional, defaults to api/data/auth.json)
GOOGLE_SERVICE_KEY_FILE=/path/to/service-account.json

注: 環境変数を使用する場合、モデルマッピングは利用できません。既知のすべての Claude モデルが自動的に含まれます。

完全な例

基本セットアップ

デフォルトを使用した最小構成（vertexセクションが存在することでVertex AIが有効になります）：

endpoints:
  anthropic:
    vertex:
      region: us-east5

これは以下を使用します：

• リージョン: us-east5
• サービスキー: api/data/auth.json (または GOOGLE_SERVICE_KEY_FILE 環境変数)
• プロジェクトID: サービスキーから自動検出
• モデル: すべての既知のClaudeモデル

モデルマッピングを使用した本番環境のセットアップ

カスタムモデル名とタイトルを含む完全な設定:

endpoints:
  anthropic:
    streamRate: 20
    titleModel: "haiku"
    titleMethod: "completion"

    vertex:
      region: "global"
      serviceKeyFile: "${GOOGLE_SERVICE_KEY_FILE}"

      models:
        opus:
          deploymentName: claude-opus-4-5@20251101
        sonnet:
          deploymentName: claude-sonnet-4-20250514
        haiku:
          deploymentName: claude-3-5-haiku@20241022

マルチリージョン設定

1つのデプロイメントにつき設定できるリージョンは1つだけです。マルチリージョンが必要な場合は、個別のLibreChatインスタンスを使用するか、カスタムendpointの使用を検討してください。

トラブルシューティング

一般的なエラー

"デフォルトの認証情報を読み込めませんでした"

• 指定されたパスにサービスアカウントキーファイルが存在することを確認してください
• ファイル権限を確認してください（LibreChatプロセスから読み取り可能である必要があります）
• JSONファイルが有効であり、破損していないことを確認してください

"Permission denied" または "403 Forbidden"

• サービスアカウントに Vertex AI User ロールが付与されていることを確認してください
• Vertex AI Model GardenでClaudeモデルが有効になっていることを確認してください。
• サービスアカウントが正しいプロジェクトに属していることを確認してください

"Model not found"

• deploymentName 内のモデルIDが正しいことを確認してください
• 選択したリージョンでモデルが利用可能であることを確認してください
• Vertex AI Model Gardenでモデルが有効になっていることを確認してください。

リージョンに関する問題

"Invalid region" または "Region not supported"

• 上記に記載されているサポートされているリージョンのいずれかを使用してください
• 自動ルーティングを提供する global リージョンの使用を試してください
• Claudeが利用可能なリージョンの最新リストについては、Google Cloudのドキュメントを確認してください。

"Model not available in region"

• すべてのClaudeモデルがすべての地域で利用できるわけではありません
• global リージョンに切り替えて、利用可能なリージョンへの自動ルーティングを試してください。
• Vertex AI Model Garden を確認して、お住まいのリージョンで利用可能なモデルを確認してください。
• より広範なモデルが利用可能な別のリージョン（例: us-east5）の使用を検討してください。

レイテンシの問題

• レイテンシが高い場合は、ユーザーの地理的な場所に近いリージョンを使用してみてください。
• global リージョンは、利用可能な最も近いリージョンへ自動的にルーティングします。
• 厳格なレイテンシ要件がある本番環境のワークロードでは、さまざまなリージョンをテストし、ユースケースにおいて最適なパフォーマンスが得られるリージョンを選択してください。

セットアップの検証

1. サービスアカウントキーが有効であることを確認してください：

   gcloud auth activate-service-account --key-file=/path/to/key.json
   gcloud auth list

2. Vertex AIへのアクセスをテストする:

   gcloud ai models list --region=us-east5

3. Claudeモデルへのアクセスを確認する:

   curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json" \
     "https://us-east5-aiplatform.googleapis.com/v1/projects/YOUR_PROJECT/locations/us-east5/publishers/anthropic/models/claude-3-5-haiku@20241022:rawPredict" \
     -d '{"anthropic_version": "vertex-2023-10-16", "max_tokens": 100, "messages": [{"role": "user", "content": "Hello"}]}'

注記

• Vertex AI と直接の Anthropic API は相互排他的です。vertex 設定セクションが存在する場合、ANTHROPIC_API_KEY 環境変数は無視されます。
• Vertex AIでは、Web検索機能が完全にサポートされています。
• Vertex AIとの互換性を確保するため、自動ヘッダーフィルタリングを介してPrompt cachingがサポートされています。
• Function callingとtool useは、直接Anthropic APIを使用する場合と同様に機能します。