Konfigurasi Ringkasan

Ikhtisar

Konfigurasi summarization menyediakan kontrol terpusat atas peringkasan percakapan dan pemangkasan konteks. Ini menggantikan kolom summarize dan summaryModel per-endpoint yang sebelumnya tersedia pada endpoint kustom dan Azure OpenAI.

Ketika percakapan melebihi jendela konteks model, sistem peringkasan secara otomatis mengompresi pesan-pesan lama menjadi ringkasan titik pemeriksaan (checkpoint) yang padat. Hal ini memungkinkan percakapan berlanjut tanpa batas waktu tanpa kehilangan konteks penting. Sistem ini juga menyertakan context pruning, yang secara progresif mengurangi hasil alat (tool) yang besar dalam pesan-pesan lama untuk mendapatkan kembali ruang token sebelum peringkasan diperlukan.

Setelah giliran peringkasan, pengukur penggunaan konteks menggunakan garis dasar ringkasan yang dipertahankan ditambah giliran pasca-ringkasan alih-alih menghitung ulang riwayat pra-ringkasan yang telah dibuang. Total penggunaan dan biaya kumulatif tetap mencakup pengeluaran cabang secara penuh.

Contoh

summarization:
  provider: 'openAI'
  model: 'gpt-4o-mini'
  maxSummaryTokens: 4096
  reserveRatio: 0.05
  trigger:
    type: 'token_ratio'
    value: 0.8
  contextPruning:
    enabled: true
    keepLastAssistants: 3
    softTrimRatio: 0.3
    hardClearRatio: 0.5
    minPrunableToolChars: 50000
    softTrim:
      maxChars: 4000
      headChars: 1500
      tailChars: 1500
    hardClear:
      enabled: true
      placeholder: '[Old tool result content cleared]'

provider

Default: Penyedia milik Agen

model

Default: Model milik Agen sendiri

parameters

prompt

Default: Prompt checkpoint terstruktur yang menghasilkan bagian untuk Goal, Constraints & Preferences, Progress, Key Decisions, Next Steps, dan Critical Context.

updatePrompt

Default: Prompt bawaan yang menggabungkan pesan baru ke dalam checkpoint yang ada, memadatkan detail lama, dan memberikan detail lebih pada tindakan terkini.

maxSummaryTokens

reserveRatio

Default: 0.05 (5% headroom)

trigger

Sub-key trigger

Tipe Pemicu

Contoh:

summarization:
  trigger:
    type: 'remaining_tokens'
    value: 8000

contextPruning

Context pruning adalah fitur opsional yang beroperasi secara independen dari peringkasan. Fitur ini menargetkan hasil pemanggilan tool yang besar dalam pesan lama, dengan menerapkan dua tahap progresif:

1. Soft trim — Memotong hasil alat untuk hanya menyisakan bagian awal dan akhir, dengan elipsis di antaranya
2. Hard clear — Mengganti seluruh hasil alat dengan placeholder singkat

Kedua tahap tersebut berbasis posisi: pesan yang lebih dekat ke awal percakapan (lebih lama) akan dipangkas terlebih dahulu.

Sub-key contextPruning

Default:

Sub-key softTrim

Default: maxChars: 4000, headChars: 1500, tailChars: 1500

Sub-key hardClear

Default: enabled: true, placeholder: "[Old tool result content cleared]"

Contoh:

summarization:
  contextPruning:
    enabled: true
    keepLastAssistants: 5
    softTrimRatio: 0.25
    hardClearRatio: 0.6
    minPrunableToolChars: 30000
    softTrim:
      maxChars: 6000
      headChars: 2500
      tailChars: 2500
    hardClear:
      enabled: true
      placeholder: '[Content removed for context management]'

Contoh Konfigurasi Lengkap

version: 1.3.10
cache: true

summarization:
  provider: 'openAI'
  model: 'gpt-4o-mini'
  maxSummaryTokens: 4096
  reserveRatio: 0.05
  trigger:
    type: 'token_ratio'
    value: 0.8
  contextPruning:
    enabled: true
    keepLastAssistants: 3
    softTrimRatio: 0.3
    hardClearRatio: 0.5
    minPrunableToolChars: 50000
    softTrim:
      maxChars: 4000
      headChars: 1500
      tailChars: 1500
    hardClear:
      enabled: true
      placeholder: '[Old tool result content cleared]'

Migrasi dari Pengaturan Per-endpoint

Jika Anda sebelumnya menggunakan summarize dan summaryModel pada endpoint kustom atau Azure OpenAI:

endpoints:
  custom:
    - name: 'My Endpoint'
      summarize: true
      summaryModel: 'gpt-3.5-turbo'

Bidang-bidang ini telah dihapus. Gunakan konfigurasi summarization tingkat atas sebagai gantinya:

summarization:
  model: 'gpt-4o-mini'

Catatan

• Ringkasan dikonfigurasi secara global, bukan per-endpoint
• Field summarize dan summaryModel pada endpoint kustom dan endpoint Azure OpenAI tidak lagi didukung
• Ketika provider dan model dihilangkan, provider dan model milik agen tersebut akan digunakan untuk peringkasan.
• Pemangkasan konteks (context pruning) dinonaktifkan secara default dan harus diaktifkan secara eksplisit dengan contextPruning.enabled: true
• Pemangkasan konteks hanya memengaruhi hasil panggilan alat yang melebihi minPrunableToolChars — hasil yang lebih kecil tidak akan pernah dipangkas
• Pengaturan keepLastAssistants melindungi giliran percakapan terbaru dari pemangkasan terlepas dari rasio trim/clear.
• Nilai prompt dan updatePrompt kustom akan menggantikan prompt bawaan sepenuhnya — gunakan dengan hati-hati
• Atur AGENT_DEBUG_LOGGING=true di dalam file .env Anda untuk mengaktifkan pencatatan verbose terkait jumlah token dan diagnostik pemangkasan konteks.