Özetleme Yapılandırması

Genel Bakış

summarization yapılandırması, konuşma özetleme ve bağlam budama üzerinde merkezi kontrol sağlar. Bu, daha önce özel ve Azure OpenAI uç noktalarında bulunan uç nokta bazlı summarize ve summaryModel alanlarının yerini alır.

Bir konuşma modelin bağlam penceresini aştığında, özetleme sistemi eski mesajları otomatik olarak kısa bir kontrol noktası özetine sıkıştırır. Bu, önemli bağlamı kaybetmeden konuşmaların süresiz olarak devam etmesine olanak tanır. Sistem ayrıca, özetlemeye ihtiyaç duyulmadan önce token alanını geri kazanmak için eski mesajlardaki büyük araç sonuçlarını kademeli olarak azaltan bağlam budama (context pruning) özelliğini de içerir.

Bir özetleme turundan sonra, bağlam kullanım göstergesi, atılan özet öncesi geçmişi yeniden saymak yerine, kalıcı özet temelini ve özet sonrası turları kullanır. Kümülatif kullanım ve maliyet toplamları, dalın tüm harcamalarını içermeye devam eder.

Örnek

summarization:
  provider: 'openAI'
  model: 'gpt-4o-mini'
  maxSummaryTokens: 4096
  reserveRatio: 0.05
  trigger:
    type: 'token_ratio'
    value: 0.8
  contextPruning:
    enabled: true
    keepLastAssistants: 3
    softTrimRatio: 0.3
    hardClearRatio: 0.5
    minPrunableToolChars: 50000
    softTrim:
      maxChars: 4000
      headChars: 1500
      tailChars: 1500
    hardClear:
      enabled: true
      placeholder: '[Old tool result content cleared]'

provider

Varsayılan: Ajanın kendi sağlayıcısı

model

Varsayılan: Ajanın kendi modeli

parameters

prompt

Varsayılan: Hedef, Kısıtlamalar ve Tercihler, İlerleme, Temel Kararlar, Sonraki Adımlar ve Kritik Bağlam için bölümler oluşturan yapılandırılmış bir kontrol noktası istemi.

updatePrompt

Varsayılan: Yeni mesajları mevcut kontrol noktasıyla birleştiren, eski detayları sıkıştıran ve yakın zamandaki eylemlere daha fazla detay veren yerleşik bir istem.

maxSummaryTokens

reserveRatio

Varsayılan: 0.05 (%5 boşluk payı)

trigger

trigger Alt anahtarları

Tetikleyici Türleri

Örnek:

summarization:
  trigger:
    type: 'remaining_tokens'
    value: 8000

contextPruning

Bağlam budama (context pruning), özetlemeden bağımsız olarak çalışan isteğe bağlı bir özelliktir. Eski mesajlardaki büyük araç çağrısı sonuçlarını hedefler ve iki aşamalı ilerleyen bir süreç uygular:

1. Soft trim — Araç sonuçlarını, aralarında üç nokta olacak şekilde yalnızca baş ve son kısımlarını tutacak şekilde kısaltır
2. Hard clear — Tüm araç sonucunu kısa bir yer tutucu ile değiştirir

Her iki aşama da konum tabanlıdır: konuşmanın başlangıcına daha yakın olan (daha eski) mesajlar önce budanır.

contextPruning Alt-anahtarları

Varsayılanlar:

softTrim Alt anahtarları

Varsayılanlar: maxChars: 4000, headChars: 1500, tailChars: 1500

hardClear Alt anahtarları

Varsayılanlar: enabled: true, placeholder: "[Old tool result content cleared]"

Örnek:

summarization:
  contextPruning:
    enabled: true
    keepLastAssistants: 5
    softTrimRatio: 0.25
    hardClearRatio: 0.6
    minPrunableToolChars: 30000
    softTrim:
      maxChars: 6000
      headChars: 2500
      tailChars: 2500
    hardClear:
      enabled: true
      placeholder: '[Content removed for context management]'

Tam Yapılandırma Örneği

version: 1.3.10
cache: true

summarization:
  provider: 'openAI'
  model: 'gpt-4o-mini'
  maxSummaryTokens: 4096
  reserveRatio: 0.05
  trigger:
    type: 'token_ratio'
    value: 0.8
  contextPruning:
    enabled: true
    keepLastAssistants: 3
    softTrimRatio: 0.3
    hardClearRatio: 0.5
    minPrunableToolChars: 50000
    softTrim:
      maxChars: 4000
      headChars: 1500
      tailChars: 1500
    hardClear:
      enabled: true
      placeholder: '[Old tool result content cleared]'

Uç Nokta Başına Ayarlardan Geçiş (Migration from Per-Endpoint Settings)

Daha önce özel veya Azure OpenAI endpoint'lerinde summarize ve summaryModel kullandıysanız:

endpoints:
  custom:
    - name: 'My Endpoint'
      summarize: true
      summaryModel: 'gpt-3.5-turbo'

Bu alanlar kaldırılmıştır. Bunun yerine en üst düzey summarization yapılandırmasını kullanın:

summarization:
  model: 'gpt-4o-mini'

Notlar

• Özetleme, uç nokta bazında değil, küresel olarak yapılandırılır.
• Özel endpoint'ler ve Azure OpenAI endpoint'leri üzerindeki summarize ve summaryModel alanları artık desteklenmemektedir.
• provider ve model belirtilmediğinde, özetleme için ajanın kendi provider ve model bilgisi kullanılır.
• Context pruning varsayılan olarak devre dışıdır ve contextPruning.enabled: true ile açıkça etkinleştirilmelidir.
• Bağlam budama (context pruning), yalnızca minPrunableToolChars değerini aşan araç çağrısı sonuçlarını etkiler; daha küçük sonuçlar asla budanmaz.
• keepLastAssistants ayarı, trim/clear oranlarına bakılmaksızın son konuşma sıralarını budanmaktan korur.
• Özel prompt ve updatePrompt değerleri, yerleşik istemlerin yerini tamamen alır — dikkatli kullanın
• .env dosyanızda AGENT_DEBUG_LOGGING=true ayarını yaparak token sayıları ve bağlam budama tanılamaları için ayrıntılı günlük kaydını etkinleştirin.