Cấu hình tóm tắt

Tổng quan

Cấu hình summarization cung cấp khả năng kiểm soát tập trung đối với việc tóm tắt cuộc trò chuyện và cắt tỉa ngữ cảnh. Cấu hình này thay thế các trường summarize và summaryModel theo từng endpoint vốn đã có sẵn trước đây trên các endpoint tùy chỉnh và Azure OpenAI.

Khi một cuộc trò chuyện vượt quá cửa sổ ngữ cảnh của model, hệ thống tóm tắt sẽ tự động nén các tin nhắn cũ hơn thành một bản tóm tắt điểm kiểm tra (checkpoint) ngắn gọn. Điều này cho phép các cuộc trò chuyện tiếp tục vô thời hạn mà không làm mất đi ngữ cảnh quan trọng. Hệ thống cũng bao gồm tính năng context pruning (cắt tỉa ngữ cảnh), giúp giảm dần các kết quả công cụ lớn trong các tin nhắn cũ hơn để giải phóng không gian token trước khi cần đến việc tóm tắt.

Sau một lượt tóm tắt, thước đo mức sử dụng ngữ cảnh sẽ sử dụng đường cơ sở tóm tắt đã lưu thay vì đếm lại lịch sử trước khi tóm tắt đã bị loại bỏ. Tổng mức sử dụng và chi phí tích lũy vẫn bao gồm toàn bộ chi phí của nhánh đó.

Ví dụ

summarization:
  provider: 'openAI'
  model: 'gpt-4o-mini'
  maxSummaryTokens: 4096
  reserveRatio: 0.05
  trigger:
    type: 'token_ratio'
    value: 0.8
  contextPruning:
    enabled: true
    keepLastAssistants: 3
    softTrimRatio: 0.3
    hardClearRatio: 0.5
    minPrunableToolChars: 50000
    softTrim:
      maxChars: 4000
      headChars: 1500
      tailChars: 1500
    hardClear:
      enabled: true
      placeholder: '[Old tool result content cleared]'

provider

Mặc định: Nhà cung cấp của riêng Agent

model

Mặc định: Mô hình riêng của Agent

parameters

prompt

Mặc định: Một prompt điểm kiểm tra (checkpoint) có cấu trúc, tạo ra các phần cho Mục tiêu (Goal), Ràng buộc & Tùy chọn (Constraints & Preferences), Tiến độ (Progress), Các quyết định chính (Key Decisions), Các bước tiếp theo (Next Steps) và Bối cảnh quan trọng (Critical Context).

updatePrompt

Mặc định: Một prompt tích hợp sẵn giúp hợp nhất các tin nhắn mới vào checkpoint hiện có, nén các chi tiết cũ hơn và cung cấp chi tiết rõ ràng hơn cho các hành động gần đây.

maxSummaryTokens

reserveRatio

Mặc định: 0.05 (5% headroom)

trigger

Các khóa con trigger

Các loại Trigger

Ví dụ:

summarization:
  trigger:
    type: 'remaining_tokens'
    value: 8000

contextPruning

Cắt tỉa ngữ cảnh (context pruning) là một tính năng tùy chọn hoạt động độc lập với việc tóm tắt. Nó nhắm vào các kết quả gọi công cụ (tool call) lớn trong các tin nhắn cũ hơn, áp dụng hai giai đoạn tiến triển:

1. Soft trim — Cắt bớt kết quả của công cụ để chỉ giữ lại phần đầu và phần cuối, với dấu ba chấm ở giữa
2. Hard clear — Thay thế toàn bộ kết quả công cụ bằng một trình giữ chỗ ngắn

Cả hai giai đoạn đều dựa trên vị trí: các tin nhắn gần phần đầu của cuộc trò chuyện (cũ hơn) sẽ bị cắt tỉa trước.

Các khóa con của contextPruning

Mặc định:

Các khóa con của softTrim

Mặc định: maxChars: 4000, headChars: 1500, tailChars: 1500

Các khóa con hardClear

Mặc định: enabled: true, placeholder: "[Old tool result content cleared]"

Ví dụ:

summarization:
  contextPruning:
    enabled: true
    keepLastAssistants: 5
    softTrimRatio: 0.25
    hardClearRatio: 0.6
    minPrunableToolChars: 30000
    softTrim:
      maxChars: 6000
      headChars: 2500
      tailChars: 2500
    hardClear:
      enabled: true
      placeholder: '[Content removed for context management]'

Ví dụ cấu hình hoàn chỉnh

version: 1.3.10
cache: true

summarization:
  provider: 'openAI'
  model: 'gpt-4o-mini'
  maxSummaryTokens: 4096
  reserveRatio: 0.05
  trigger:
    type: 'token_ratio'
    value: 0.8
  contextPruning:
    enabled: true
    keepLastAssistants: 3
    softTrimRatio: 0.3
    hardClearRatio: 0.5
    minPrunableToolChars: 50000
    softTrim:
      maxChars: 4000
      headChars: 1500
      tailChars: 1500
    hardClear:
      enabled: true
      placeholder: '[Old tool result content cleared]'

Di chuyển từ Cài đặt theo từng endpoint

Nếu trước đây bạn đã sử dụng summarize và summaryModel trên các endpoint tùy chỉnh hoặc Azure OpenAI:

endpoints:
  custom:
    - name: 'My Endpoint'
      summarize: true
      summaryModel: 'gpt-3.5-turbo'

Các trường này đã bị loại bỏ. Hãy sử dụng cấu hình summarization ở cấp cao nhất thay thế:

summarization:
  model: 'gpt-4o-mini'

Ghi chú

• Tính năng tóm tắt được cấu hình trên phạm vi toàn cục thay vì theo từng endpoint.
• Các trường summarize và summaryModel trên các endpoint tùy chỉnh và endpoint Azure OpenAI không còn được hỗ trợ nữa
• Khi provider và model bị lược bỏ, provider và model của chính agent sẽ được sử dụng để tóm tắt.
• Tính năng cắt tỉa ngữ cảnh (context pruning) bị vô hiệu hóa theo mặc định và phải được kích hoạt rõ ràng bằng contextPruning.enabled: true
• Việc cắt tỉa ngữ cảnh (context pruning) chỉ ảnh hưởng đến các kết quả gọi công cụ vượt quá minPrunableToolChars — các kết quả nhỏ hơn sẽ không bao giờ bị cắt tỉa.
• Thiết lập keepLastAssistants bảo vệ các lượt hội thoại gần đây khỏi việc bị cắt tỉa bất kể tỷ lệ trim/clear.
• Các giá trị prompt và updatePrompt tùy chỉnh sẽ thay thế hoàn toàn các prompt tích hợp sẵn — hãy sử dụng một cách cẩn thận.
• Đặt AGENT_DEBUG_LOGGING=true trong tệp .env của bạn để bật tính năng ghi nhật ký chi tiết về số lượng token và chẩn đoán cắt tỉa ngữ cảnh.