Trang này mô tả các thiết lập cấu hình dùng chung cho tất cả các endpoint. Các thiết lập được làm nổi bật tại đây khả dụng cho tất cả các cấu hình trong trường "Endpoints" trừ khi có ghi chú khác.

Cấu hình ví dụ

endpoints:
  # Individual endpoint configurations
  openAI:
    streamRate: 25
    titleModel: 'gpt-4o-mini'
    titleMethod: 'completion'
    titleTiming: 'immediate'
    titlePrompt: "Create a concise title for this conversation:\n\n{convo}"
    headers:
      X-Gateway-Metadata: '{"user_email":"{{LIBRECHAT_USER_EMAIL}}"}'

  azureOpenAI:
    streamRate: 35
    titleModel: 'grok-3'
    titleMethod: 'structured'
    titlePrompt: |
      Analyze this conversation and provide:
      1. A concise title in the detected language (5 words or less, no punctuation or quotation)
      2. Always provide a relevant emoji at the start of the title

      {convo}
    titleConvo: true

  anthropic:
    streamRate: 25
    titleModel: 'claude-3-5-haiku-20241022'
    titleMethod: 'completion'
    headers:
      X-Conversation-Id: '{{LIBRECHAT_BODY_CONVERSATIONID}}'

  bedrock:
    streamRate: 25
    titleModel: 'us.amazon.nova-lite-v1:0'
    titleEndpoint: 'anthropic'

  google:
    streamRate: 1
    titleModel: 'gemini-2.0-flash-lite'
    titlePromptTemplate: "Human: {input}\nAssistant: {output}"
    headers:
      X-Gateway-Metadata: '{"user_id":"{{LIBRECHAT_USER_ID}}"}'

  assistants:
    streamRate: 30

  azureAssistants:
    streamRate: 30

  # Global configuration using 'all' - this applies shared settings across endpoints.
  # Most defined values override endpoint defaults; headers are merged and endpoint values win on collisions.
  all:
    headers:
      X-App: 'librechat'
    titleConvo: true
    titleModel: 'gpt-4.1-nano'
    titleTiming: 'immediate'
    titlePrompt: |
      Analyze this conversation and provide:
      1. The detected language of the conversation
      2. A concise title in the detected language (5 words or less, no punctuation or quotation)
      3. Always provide a relevant emoji at the start of the title
      {convo}

Quan trọng: Khi sử dụng cấu hình all, hầu hết các thuộc tính dùng chung mà bạn xác định sẽ áp dụng cho tất cả các endpoint. Trong ví dụ trên, cấu hình all sẽ áp dụng titleConvo, titleModel và titlePrompt cho tất cả các endpoint, trong khi các cài đặt streamRate riêng lẻ sẽ được giữ nguyên vì nó không được định nghĩa trong all. Các headers được hợp nhất riêng biệt: các giá trị từ endpoints.all.headers áp dụng trên toàn cục, và các header ở cấp độ endpoint sẽ được ưu tiên nếu xảy ra xung đột khóa.

streamRate

Khóa:

Mặc định: 1

Cho phép truyền phát dữ liệu ở tốc độ nhanh nhất có thể trong khi vẫn cho phép hệ thống chờ đợi tick tiếp theo

titleConvo

Khóa:

Mặc định: false

Ghi chú:

• Khi được bật, tiêu đề sẽ được tạo tự động bằng cách sử dụng các cài đặt tiêu đề đã cấu hình.
• Phải được sử dụng cùng với titleModel hoặc endpoint phải có sẵn một model mặc định

Ví dụ:

titleConvo: true

titleTiming

Khóa:

Mặc định: "immediate"

Các giá trị khả dụng:

• "immediate" - Tạo tiêu đề ngay khi yêu cầu bắt đầu, song song với phản hồi của model, sử dụng tin nhắn đầu tiên của người dùng. Tiêu đề thường xuất hiện trong vòng một hoặc hai giây.
• "final" - Trì hoãn việc tạo tiêu đề cho đến khi phản hồi hoàn tất. Điều này bảo toàn hành vi cũ.

Ví dụ:

endpoints:
  all:
    titleTiming: 'immediate'

titleModel

Khóa:

Mặc định: Mặc định hệ thống cho endpoint hiện tại

titleMethod

Khóa:

Mặc định: "completion"

Các phương thức khả dụng:

• "completion" - Sử dụng API hoàn thành (completion) tiêu chuẩn mà không có công cụ/hàm. Tương thích với hầu hết các LLM.
• "structured" - Sử dụng đầu ra có cấu trúc để tạo tiêu đề. Yêu cầu sự hỗ trợ từ nhà cung cấp/model.
• "functions" - Bí danh cũ cho "structured". Có chức năng giống hệt nhau.

Ví dụ:

titleMethod: 'completion'

titlePrompt

Khóa:

Mặc định:

Analyze this conversation and provide:
1. The detected language of the conversation
2. A concise title in the detected language (5 words or less, no punctuation or quotation)

{convo}

Ghi chú:

• Phải luôn bao gồm trình giữ chỗ {convo}
• Trình giữ chỗ {convo} sẽ được thay thế bằng cuộc trò chuyện đã được định dạng
• Có thể đặt ở bất kỳ đâu trong prompt

Ví dụ:

titlePrompt: "Create a brief, descriptive title for the following conversation:\n\n{convo}\n\nTitle:"

titlePromptTemplate

Khóa:

Mặc định: "User: {input}\nAI: {output}"

Ghi chú:

• Phải bao gồm cả hai trình giữ chỗ {input} và {output}
• {input} được thay thế bằng tin nhắn ban đầu của người dùng
• {output} được thay thế bằng phản hồi của AI
• Kết quả đã định dạng sẽ thay thế {convo} trong titlePrompt

Ví dụ:

titlePromptTemplate: "Human: {input}\n\nAssistant: {output}"

titleEndpoint

Khóa:

Mặc định: Sử dụng endpoint của cuộc trò chuyện hiện tại

Các giá trị được chấp nhận:

• openAI
• azureOpenAI
• google
• anthropic
• bedrock
• Đối với các endpoint tùy chỉnh: hãy sử dụng chính xác tên endpoint tùy chỉnh

Ví dụ:

# Use Anthropic for titles even when chatting with OpenAI
endpoints:
  openAI:
    titleEndpoint: 'anthropic'
    # Will use anthropic's configuration for title generation

maxToolResultChars

Khóa:

Mặc định: Không giới hạn

Ghi chú:

• Giúp ngăn chặn các đầu ra công cụ quá lớn tiêu tốn quá nhiều token
• Áp dụng cho tất cả kết quả gọi công cụ của endpoint

Ví dụ:

endpoints:
  all:
    maxToolResultChars: 50000

headers

Khóa:

Các endpoint được hỗ trợ: openAI, anthropic, google, và all.

Ví dụ:

endpoints:
  all:
    headers:
      X-App: 'librechat'
  anthropic:
    headers:
      X-Conversation-Id: '{{LIBRECHAT_BODY_CONVERSATIONID}}'

Ghi chú:

• Các giá trị hỗ trợ ${ENV_VAR}, {{LIBRECHAT_USER_*}}, và các trình giữ chỗ (placeholder) trong phần thân yêu cầu (request-body) như {{LIBRECHAT_BODY_CONVERSATIONID}}.
• Các header ở cấp endpoint sẽ ghi đè lên endpoints.all.headers khi xảy ra xung đột khóa.
• Xác thực do nhà cung cấp quản lý và các tiêu đề beta/giao thức bắt buộc vẫn là các giá trị có thẩm quyền. Các giá trị beta của Anthropic được hợp nhất để các cờ beta tùy chỉnh không ghi đè lên các cờ bắt buộc của nhà cung cấp.
• Các tiêu đề (headers) cũng được chuyển tiếp cho các yêu cầu model-list của nhà cung cấp được hỗ trợ.
• Sử dụng các tiêu đề metadata đằng sau một gateway hoặc reverse proxy tiêu thụ chúng. Các API của nhà cung cấp gốc thường bỏ qua các tiêu đề không xác định.

Ghi chú:

• Tất cả các cài đặt hiển thị trên trang này có thể được cấu hình riêng lẻ cho từng endpoint hoặc cấu hình chung bằng cách sử dụng khóa all
• Khi sử dụng cấu hình all, nó sẽ ghi đè các cài đặt tương ứng trong TẤT CẢ các endpoint riêng lẻ.
• Khóa all không chấp nhận baseURL
• Các cài đặt không được xác định trong all sẽ giữ nguyên các giá trị endpoint riêng lẻ của chúng
• Đối với streamRate: Các giá trị được khuyến nghị nằm trong khoảng 25-40 để có trải nghiệm phát trực tuyến mượt mà
• Việc sử dụng tốc độ stream cao hơn là điều bắt buộc khi phục vụ ứng dụng cho nhiều người dùng ở quy mô lớn.

Ví dụ về hành vi ghi đè (Override Behavior):

endpoints:
  openAI:
    streamRate: 25 # This will be preserved
    titleModel: 'gpt-4' # This will be overridden
    titleConvo: false # This will be overridden

  all:
    titleConvo: true
    titleModel: 'gpt-3.5-turbo'
    # streamRate not defined here, so individual values are kept

Cài đặt Endpoint

• Custom Endpoints
• OpenAI
• Anthropic
• Bedrock
• Google
• Azure OpenAI
• Assistants