Konfiguracja podsumowywania

Przegląd

Konfiguracja summarization zapewnia scentralizowaną kontrolę nad podsumowywaniem konwersacji i przycinaniem kontekstu. Zastępuje ona pola summarize oraz summaryModel dla poszczególnych endpointów, które były wcześniej dostępne w niestandardowych endpointach oraz Azure OpenAI.

Gdy konwersacja przekracza okno kontekstowe modelu, system podsumowywania automatycznie kompresuje starsze wiadomości do zwięzłego podsumowania punktu kontrolnego. Pozwala to na kontynuowanie konwersacji w nieskończoność bez utraty ważnego kontekstu. System zawiera również przycinanie kontekstu (context pruning), które stopniowo ogranicza duże wyniki narzędzi w starszych wiadomościach, aby odzyskać miejsce na tokeny, zanim konieczne będzie podsumowanie.

Po turze podsumowania, wskaźnik użycia kontekstu wykorzystuje utrwaloną bazę podsumowania oraz tury następujące po podsumowaniu, zamiast ponownie przeliczać odrzuconą historię sprzed podsumowania. Skumulowane sumy użycia i kosztów nadal uwzględniają pełne wydatki dla danej gałęzi.

Przykład

summarization:
  provider: 'openAI'
  model: 'gpt-4o-mini'
  maxSummaryTokens: 4096
  reserveRatio: 0.05
  trigger:
    type: 'token_ratio'
    value: 0.8
  contextPruning:
    enabled: true
    keepLastAssistants: 3
    softTrimRatio: 0.3
    hardClearRatio: 0.5
    minPrunableToolChars: 50000
    softTrim:
      maxChars: 4000
      headChars: 1500
      tailChars: 1500
    hardClear:
      enabled: true
      placeholder: '[Old tool result content cleared]'

provider

Domyślnie: Własny dostawca agenta

model

Domyślnie: Własny model agenta

parameters

prompt

Domyślne: Ustrukturyzowany prompt punktu kontrolnego, który tworzy sekcje dla Celu (Goal), Ograniczeń i Preferencji (Constraints & Preferences), Postępu (Progress), Kluczowych Decyzji (Key Decisions), Następnych Kroków (Next Steps) oraz Krytycznego Kontekstu (Critical Context).

updatePrompt

Domyślne: Wbudowany prompt, który łączy nowe wiadomości z istniejącym punktem kontrolnym, kompresuje starsze szczegóły i nadaje większą szczegółowość ostatnim działaniom.

maxSummaryTokens

reserveRatio

Domyślnie: 0.05 (5% zapasu)

trigger

Podklucze trigger

Typy wyzwalaczy

Przykład:

summarization:
  trigger:
    type: 'remaining_tokens'
    value: 8000

contextPruning

Przycinanie kontekstu (context pruning) to opcjonalna funkcja, która działa niezależnie od podsumowywania. Koncentruje się ona na dużych wynikach wywołań narzędzi w starszych wiadomościach, stosując dwa progresywne etapy:

1. Soft trim — Skraca wyniki narzędzi, zachowując tylko początkowe i końcowe fragmenty, z wielokropkiem pomiędzy nimi
2. Hard clear — Zastępuje cały wynik narzędzia krótkim symbolem zastępczym

Oba etapy opierają się na pozycji: wiadomości znajdujące się bliżej początku konwersacji (starsze) są usuwane jako pierwsze.

Podklucze contextPruning

Domyślne:

Podklucze softTrim

Domyślne: maxChars: 4000, headChars: 1500, tailChars: 1500

Podklucze hardClear

Domyślne: enabled: true, placeholder: "[Old tool result content cleared]"

Przykład:

summarization:
  contextPruning:
    enabled: true
    keepLastAssistants: 5
    softTrimRatio: 0.25
    hardClearRatio: 0.6
    minPrunableToolChars: 30000
    softTrim:
      maxChars: 6000
      headChars: 2500
      tailChars: 2500
    hardClear:
      enabled: true
      placeholder: '[Content removed for context management]'

Kompletny przykład konfiguracji

version: 1.3.10
cache: true

summarization:
  provider: 'openAI'
  model: 'gpt-4o-mini'
  maxSummaryTokens: 4096
  reserveRatio: 0.05
  trigger:
    type: 'token_ratio'
    value: 0.8
  contextPruning:
    enabled: true
    keepLastAssistants: 3
    softTrimRatio: 0.3
    hardClearRatio: 0.5
    minPrunableToolChars: 50000
    softTrim:
      maxChars: 4000
      headChars: 1500
      tailChars: 1500
    hardClear:
      enabled: true
      placeholder: '[Old tool result content cleared]'

Migracja z ustawień dla poszczególnych endpointów

Jeśli wcześniej używałeś summarize i summaryModel w niestandardowych punktach końcowych lub Azure OpenAI:

endpoints:
  custom:
    - name: 'My Endpoint'
      summarize: true
      summaryModel: 'gpt-3.5-turbo'

Te pola zostały usunięte. Użyj zamiast nich konfiguracji summarization najwyższego poziomu:

summarization:
  model: 'gpt-4o-mini'

Uwagi

• Podsumowywanie jest konfigurowane globalnie, a nie dla każdego endpoint z osobna.
• Pola summarize oraz summaryModel w niestandardowych endpointach oraz endpointach Azure OpenAI nie są już wspierane.
• Gdy provider i model są pominięte, do podsumowania używany jest własny provider i model agenta.
• Przycinanie kontekstu (context pruning) jest domyślnie wyłączone i musi zostać jawnie włączone za pomocą contextPruning.enabled: true
• Przycinanie kontekstu wpływa tylko na wyniki wywołań narzędzi, które przekraczają minPrunableToolChars — mniejsze wyniki nigdy nie są przycinane.
• Ustawienie keepLastAssistants chroni ostatnie tury przed przycięciem, niezależnie od współczynników przycinania/czyszczenia (trim/clear ratios).
• Niestandardowe wartości prompt oraz updatePrompt całkowicie zastępują wbudowane prompty — używaj ich ostrożnie
• Ustaw AGENT_DEBUG_LOGGING=true w swoim pliku .env, aby włączyć szczegółowe logowanie liczby tokenów oraz diagnostykę przycinania kontekstu.