Skip to main content
LibreChat is joining ClickHouse to power the open-source Agentic Data Stack 🎉 Learn more
LibreChat

Anthropic

ANTHROPIC_API_KEY=user_provided
  • Bạn có thể xác định những model nào bạn muốn khả dụng với ANTHROPIC_MODELS.
ANTHROPIC_MODELS=claude-fable-5,claude-opus-4-8,claude-opus-4-7,claude-sonnet-4-6,claude-opus-4-6,claude-opus-4-20250514,claude-3-7-sonnet-20250219,claude-3-5-sonnet-20241022,claude-3-5-haiku-20241022

Ghi chú:

  • Claude Fable 5 được bao gồm trong danh mục mô hình Anthropic mặc định của LibreChat. Các mô hình thuộc lớp Fable/Mythos sử dụng cấu hình Anthropic hiện đại trong LibreChat: ngữ cảnh 1M, đầu ra tối đa 128K, tư duy thích ứng, bộ nhớ đệm prompt (prompt caching) và hỗ trợ thinkingDisplay cho đầu ra suy luận được tóm tắt hoặc lược bỏ.
  • Endpoint Anthropic hỗ trợ tất cả Shared Endpoint Settings thông qua tệp cấu hình librechat.yaml, bao gồm streamRate, headers, titleModel, titleMethod, titlePrompt, titlePromptTemplatetitleEndpoint
  • Để cấu hình Anthropic hoặc một gateway tương thích với Anthropic làm một endpoint tùy chỉnh riêng biệt, hãy sử dụng provider: "anthropic".

Vertex AI

LibreChat hỗ trợ chạy các mô hình Anthropic Claude thông qua Google Cloud Vertex AI. Điều này hữu ích nếu bạn:

  • Đã có sẵn cơ sở hạ tầng Google Cloud
  • Bạn muốn sử dụng thông tin thanh toán và thông tin xác thực GCP hiện có của mình
  • Cần tuân thủ các yêu cầu về lưu trữ dữ liệu theo khu vực

Thiết lập nhanh (Biến môi trường)

Thiết lập các biến môi trường sau để kích hoạt Anthropic thông qua Vertex AI:

# Enable Vertex AI mode for Anthropic
ANTHROPIC_USE_VERTEX=true

# Vertex AI region (optional, defaults to 'us-east5')
# Available regions: global, us-east5, us-central1, europe-west1, europe-west4, asia-southeast1
ANTHROPIC_VERTEX_REGION=global

# Path to Google service account key file (optional)
# If not specified, uses default path: api/data/auth.json
GOOGLE_SERVICE_KEY_FILE=/path/to/service-account.json

Điều kiện tiên quyết

  1. Google Cloud Project với Vertex AI API đã được bật
  2. Service Account với các vai trò sau:
    • Vertex AI User (roles/aiplatform.user)
    • Hoặc Vertex AI Administrator để có toàn quyền truy cập
  3. Các Claude models được kích hoạt trong Vertex AI Model Garden của bạn
  4. Service Account Key (tệp JSON) đã tải xuống và có thể truy cập được bởi LibreChat

Cấu hình nâng cao

Để ánh xạ tên model và các cài đặt nâng cao (tương tự như cấu hình Azure OpenAI), hãy sử dụng tệp librechat.yaml:

endpoints:
  anthropic:
    vertex:
      region: us-east5
      models:
        claude-opus-4.5:
          deploymentName: claude-opus-4-5@20251101
        claude-sonnet-4:
          deploymentName: claude-sonnet-4-20250514
        claude-3.5-haiku:
          deploymentName: claude-3-5-haiku@20241022

Để biết các tùy chọn cấu hình YAML chi tiết, hãy xem Cấu hình Anthropic Vertex AI.

Hướng dẫn này thế nào?