LibreChat is joining ClickHouse to power the open-source Agentic Data Stack 🎉 Learn more
LibreChat

Anthropic Vertex AI オブジェクト構造

LibreChatは、Google Cloud Vertex AI を通じてAnthropic Claudeモデルを実行することをサポートしています。これにより、既存のGoogle Cloudインフラストラクチャ、請求、および認証情報を使用してClaudeモデルを利用できるようになります。

環境変数を使用したクイックセットアップについては、Anthropic設定ガイドを参照してください

メリット

  • 統合請求: 既存のGoogle Cloud請求先アカウントを使用します
  • Enterprise Features: Google Cloudのエンタープライズ向けセキュリティおよびコンプライアンス機能へのアクセス
  • 地域コンプライアンス: データの保存場所に関する要件を満たすため、特定の地域にデプロイします。
  • 既存のインフラストラクチャ: 現在のGCPサービスアカウントとIAMポリシーを活用します

前提条件

Anthropic Vertex AIを設定する前に、以下が準備されていることを確認してください：

  1. Google Cloud Project（Vertex AI API が有効になっているもの）
  2. Vertex AI User ロール (roles/aiplatform.user) を持つ Service Account
  3. Vertex AI Model Garden で有効化された Claude models
  4. Service Account Key (JSONファイル) がダウンロード済みであり、LibreChatからアクセス可能であること

設定例

endpoints:
  anthropic:
    streamRate: 20
    titleModel: "claude-3.5-haiku"  # Use the visible model name (key from models config)
 
    vertex:
      region: "us-east5"
      # serviceKeyFile: "/path/to/service-account.json"  # Optional, defaults to api/data/auth.json
      # projectId: "${VERTEX_PROJECT_ID}"  # Optional, auto-detected from service key
 
      # Model mapping: visible name -> Vertex AI deployment name
      models:
        claude-opus-4.5:
          deploymentName: claude-opus-4-5@20251101
        claude-sonnet-4:
          deploymentName: claude-sonnet-4-20250514
        claude-3.7-sonnet:
          deploymentName: claude-3-7-sonnet-20250219
        claude-3.5-sonnet:
          deploymentName: claude-3-5-sonnet-v2@20241022
        claude-3.5-haiku:
          deploymentName: claude-3-5-haiku@20241022

注: Anthropic endpoint は、streamRate、titleModel、titleMethod、titlePrompt、titlePromptTemplate、titleEndpoint を含む、すべての Shared Endpoint Settings をサポートしています。

vertex

vertex オブジェクトには、Vertex AI 固有の設定オプションがすべて含まれています。

region

キー:

KeyTypeDescriptionExample
regionStringVertex AI endpointがデプロイされているGoogle Cloudリージョン。Must be a region where Claude models are available on Vertex AI.

デフォルト: us-east5

利用可能なリージョン:

  • global（ほとんどのユースケースで推奨）
  • us-east5
  • us-central1
  • europe-west1
  • europe-west4
  • asia-southeast1

ヒント: global リージョンは、利用可能な最も近いリージョンへ自動的にルーティングされるため推奨されます。特定のリージョンを使用するのは、データレジデンシーの要件がある場合のみにしてください。

例:

region: "global"

projectId

キー:

KeyTypeDescriptionExample
projectIdStringGoogle Cloud Project ID。環境変数参照をサポートしています。Optional. If not specified, auto-detected from the service account key file.

デフォルト: サービスキーファイルから自動検出

例:

projectId: "${GOOGLE_PROJECT_ID}"

serviceKeyFile

キー:

KeyTypeDescriptionExample
serviceKeyFileStringGoogle CloudサービスアカウントキーJSONファイルへのパス。Can be absolute or relative to the LibreChat root directory.

デフォルト: api/data/auth.json (または GOOGLE_SERVICE_KEY_FILE 環境変数)

例:

serviceKeyFile: "/etc/secrets/gcp-service-account.json"

models

models フィールドは、利用可能な Claude モデルを定義し、ユーザーフレンドリーな名前を Vertex AI のデプロイメント ID にマッピングします。これは Azure OpenAI モデルマッピング と同様に機能します。

フォーマットオプション

モデルは以下の3つの方法で設定できます：

オプション 1: シンプルな配列

実際の Vertex AI モデル ID を直接使用してください。これらは UI 上でそのまま表示されます：

models:
  - "claude-sonnet-4-20250514"
  - "claude-3-7-sonnet-20250219"
  - "claude-3-5-haiku@20241022"

ユーザーフレンドリーな名前を Vertex AI のデプロイメント名にマッピングします：

models:
  claude-opus-4.5:           # Visible in UI
    deploymentName: claude-opus-4-5@20251101  # Actual Vertex AI model ID
  claude-sonnet-4:
    deploymentName: claude-sonnet-4-20250514
  claude-3.5-haiku:
    deploymentName: claude-3-5-haiku@20241022

オプション 3: デフォルト付きの混合フォーマット

デフォルトのデプロイメント名を指定し、それを継承するモデルにはブール値を使用します：

deploymentName: claude-sonnet-4-20250514  # Default deployment
models:
  claude-sonnet-4: true  # Uses default deploymentName
  claude-3.5-haiku:
    deploymentName: claude-3-5-haiku@20241022  # Override for this model

Model Object Properties

KeyTypeDescriptionExample
deploymentNameStringAPI呼び出しに使用される実際のVertex AIモデルID。Required for each model unless using boolean `true` with a group-level default.

例:

models:
  claude-sonnet-4:
    deploymentName: claude-sonnet-4-20250514

環境変数の代替手段

よりシンプルなセットアップの場合は、YAMLの代わりに環境変数を使用してVertex AIを設定することもできます：

# Enable Vertex AI mode
ANTHROPIC_USE_VERTEX=true
 
# Vertex AI region (optional, defaults to us-east5)
ANTHROPIC_VERTEX_REGION=global
 
# Path to service account key (optional, defaults to api/data/auth.json)
GOOGLE_SERVICE_KEY_FILE=/path/to/service-account.json

注: 環境変数を使用する場合、モデルマッピングは利用できません。既知のすべての Claude モデルが自動的に含まれます。

完全な例

基本セットアップ

デフォルトを使用した最小構成（vertexセクションが存在することでVertex AIが有効になります）：

endpoints:
  anthropic:
    vertex:
      region: us-east5

これは以下を使用します：

  • リージョン: us-east5
  • サービスキー: api/data/auth.json (または GOOGLE_SERVICE_KEY_FILE 環境変数)
  • プロジェクト ID: サービスキーから自動検出
  • モデル: すべての既知のClaudeモデル

モデルマッピングを使用した本番環境のセットアップ

カスタムモデル名とタイトルを含む完全な設定:

endpoints:
  anthropic:
    streamRate: 20
    titleModel: "haiku"
    titleMethod: "completion"
 
    vertex:
      region: "global"
      serviceKeyFile: "${GOOGLE_SERVICE_KEY_FILE}"
 
      models:
        opus:
          deploymentName: claude-opus-4-5@20251101
        sonnet:
          deploymentName: claude-sonnet-4-20250514
        haiku:
          deploymentName: claude-3-5-haiku@20241022

マルチリージョン設定

1つのデプロイメントにつき設定できるリージョンは1つだけです。マルチリージョンが必要な場合は、個別のLibreChatインスタンスを使用するか、カスタムendpointの使用を検討してください。

トラブルシューティング

一般的なエラー

"デフォルトの認証情報を読み込めませんでした"

  • 指定されたパスにサービスアカウントキーファイルが存在することを確認してください
  • ファイル権限を確認してください（LibreChatプロセスから読み取り可能である必要があります）
  • JSONファイルが有効であり、破損していないことを確認してください

"Permission denied" または "403 Forbidden"

  • サービスアカウントに Vertex AI User ロールが付与されていることを確認してください
  • Vertex AI Model GardenでClaudeモデルが有効になっていることを確認してください。
  • サービスアカウントが正しいプロジェクトに属していることを確認してください

"Model not found"

  • deploymentName 内のモデルIDが正しいことを確認してください
  • 選択したリージョンでモデルが利用可能であることを確認してください
  • Vertex AI Model Gardenでモデルが有効になっていることを確認してください

リージョンに関する問題

"Invalid region" または "Region not supported"

  • 上記に記載されているサポートされているリージョンのいずれかを使用してください
  • 自動ルーティングを提供する global リージョンの使用を試してください
  • Claudeが利用可能なリージョンの最新リストについては、Google Cloudのドキュメントを確認してください。

"Model not available in region"

  • すべてのClaudeモデルがすべての地域で利用できるわけではありません
  • global リージョンに切り替えて、利用可能なリージョンへの自動ルーティングを試してください。
  • Vertex AI Model Garden を確認して、お住まいの地域で利用可能なモデルを確認してください。
  • より広範なモデルが利用可能な別のリージョン（例: us-east5）の使用を検討してください。

レイテンシの問題

  • 高レイテンシが発生している場合は、ユーザーの地理的な場所に近いリージョンを使用してみてください。
  • global リージョンは、利用可能な最も近いリージョンへ自動的にルーティングします。
  • 厳格なレイテンシ要件がある本番環境のワークロードでは、異なるリージョンをテストし、ユースケースにおいて最適なパフォーマンスが得られるリージョンを選択してください。

セットアップの確認

  1. サービスアカウントキーが有効であることを確認してください：

    gcloud auth activate-service-account --key-file=/path/to/key.json
gcloud auth list

  2. Vertex AIへのアクセスをテストする:

    gcloud ai models list --region=us-east5

  3. Claudeモデルへのアクセスを確認する:

    curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  "https://us-east5-aiplatform.googleapis.com/v1/projects/YOUR_PROJECT/locations/us-east5/publishers/anthropic/models/claude-3-5-haiku@20241022:rawPredict" \
  -d '{"anthropic_version": "vertex-2023-10-16", "max_tokens": 100, "messages": [{"role": "user", "content": "Hello"}]}'

注記

  • Vertex AI と Anthropic API の直接利用は相互排他的です。vertex 設定セクションが存在する場合、ANTHROPIC_API_KEY 環境変数は無視されます。
  • Web search functionality is fully supported with Vertex AI.
  • Vertex AIとの互換性を確保するため、自動ヘッダーフィルタリングを通じてPrompt cachingがサポートされています。
  • Function callingとtool useは、直接Anthropic APIを使用する場合と同様に機能します。

このガイドはいかがでしたか？

GitHub で編集