Configuratie van samenvattingen

Overzicht

De summarization configuratie biedt gecentraliseerde controle over het samenvatten van gesprekken en het snoeien van context. Dit vervangt de summarize en summaryModel velden per endpoint die voorheen beschikbaar waren voor aangepaste en Azure OpenAI endpoints.

Wanneer een gesprek het contextvenster van het model overschrijdt, comprimeert het samenvattingssysteem automatisch oudere berichten tot een beknopte checkpoint-samenvatting. Hierdoor kunnen gesprekken voor onbepaalde tijd worden voortgezet zonder belangrijke context te verliezen. Het systeem bevat ook context pruning, dat stapsgewijs grote tool-resultaten in oudere berichten vermindert om token-ruimte terug te winnen voordat samenvatting nodig is.

Na een samenvattingsronde gebruikt de contextgebruiksmeter de opgeslagen samenvattingsbasislijn plus de rondes na de samenvatting, in plaats van de verwijderde geschiedenis van vóór de samenvatting opnieuw te tellen. Cumulatieve gebruiks- en kostentotalen bevatten nog steeds de volledige uitgaven van de vertakking.

Voorbeeld

summarization:
  provider: 'openAI'
  model: 'gpt-4o-mini'
  maxSummaryTokens: 4096
  reserveRatio: 0.05
  trigger:
    type: 'token_ratio'
    value: 0.8
  contextPruning:
    enabled: true
    keepLastAssistants: 3
    softTrimRatio: 0.3
    hardClearRatio: 0.5
    minPrunableToolChars: 50000
    softTrim:
      maxChars: 4000
      headChars: 1500
      tailChars: 1500
    hardClear:
      enabled: true
      placeholder: '[Old tool result content cleared]'

provider

Standaard: Eigen provider van de Agent

model

Standaard: Eigen model van de Agent

parameters

prompt

Standaard: Een gestructureerde checkpoint-prompt die secties genereert voor Doel, Beperkingen & Voorkeuren, Voortgang, Belangrijke Beslissingen, Volgende Stappen en Kritieke Context.

updatePrompt

Standaard: Een ingebouwde prompt die nieuwe berichten samenvoegt met het bestaande controlepunt, oudere details comprimeert en recente acties meer detail geeft.

maxSummaryTokens

reserveRatio

Standaard: 0.05 (5% marge)

trigger

trigger Sub-keys

Trigger-typen

Voorbeeld:

summarization:
  trigger:
    type: 'remaining_tokens'
    value: 8000

contextPruning

Context pruning is een opt-in functie die onafhankelijk van samenvatting werkt. Het richt zich op grote tool call resultaten in oudere berichten en past twee progressieve fasen toe:

1. Soft trim — Kort toolresultaten in om alleen het begin- en eindgedeelte te behouden, met een weglatingsteken ertussen
2. Hard clear — Vervangt het volledige tool-resultaat door een korte tijdelijke aanduiding

Beide fasen zijn gebaseerd op positie: berichten die zich dichter bij het begin van het gesprek bevinden (ouder), worden als eerste verwijderd.

contextPruning sub-keys

Standaardinstellingen:

softTrim sub-keys

Standaardwaarden: maxChars: 4000, headChars: 1500, tailChars: 1500

hardClear Sub-keys

Standaardwaarden: enabled: true, placeholder: "[Old tool result content cleared]"

Voorbeeld:

summarization:
  contextPruning:
    enabled: true
    keepLastAssistants: 5
    softTrimRatio: 0.25
    hardClearRatio: 0.6
    minPrunableToolChars: 30000
    softTrim:
      maxChars: 6000
      headChars: 2500
      tailChars: 2500
    hardClear:
      enabled: true
      placeholder: '[Content removed for context management]'

Volledig configuratievoorbeeld

version: 1.3.10
cache: true

summarization:
  provider: 'openAI'
  model: 'gpt-4o-mini'
  maxSummaryTokens: 4096
  reserveRatio: 0.05
  trigger:
    type: 'token_ratio'
    value: 0.8
  contextPruning:
    enabled: true
    keepLastAssistants: 3
    softTrimRatio: 0.3
    hardClearRatio: 0.5
    minPrunableToolChars: 50000
    softTrim:
      maxChars: 4000
      headChars: 1500
      tailChars: 1500
    hardClear:
      enabled: true
      placeholder: '[Old tool result content cleared]'

Migratie van Per-Endpoint Instellingen

Als je voorheen summarize en summaryModel gebruikte op aangepaste of Azure OpenAI endpoints:

endpoints:
  custom:
    - name: 'My Endpoint'
      summarize: true
      summaryModel: 'gpt-3.5-turbo'

Deze velden zijn verwijderd. Gebruik in plaats daarvan de summarization configuratie op het hoogste niveau:

summarization:
  model: 'gpt-4o-mini'

Opmerkingen

• Samenvatting wordt globaal geconfigureerd in plaats van per-endpoint.
• De velden summarize en summaryModel op aangepaste endpoints en Azure OpenAI endpoints worden niet langer ondersteund.
• Wanneer provider en model worden weggelaten, worden de eigen provider en het model van de agent gebruikt voor samenvatting.
• Context pruning is standaard uitgeschakeld en moet expliciet worden ingeschakeld met contextPruning.enabled: true
• Context pruning heeft alleen invloed op resultaten van tool calls die minPrunableToolChars overschrijden — kleinere resultaten worden nooit gepruned.
• De keepLastAssistants instelling beschermt recente beurten tegen snoeien, ongeacht de trim/clear ratio's.
• Aangepaste prompt en updatePrompt waarden vervangen de ingebouwde prompts volledig — gebruik ze met zorg
• Stel AGENT_DEBUG_LOGGING=true in uw .env bestand in om uitgebreide logging van tokentellingen en diagnostische gegevens over context-pruning in te schakelen.