Konfiguration der Zusammenfassung

Übersicht

Die summarization-Konfiguration bietet eine zentralisierte Kontrolle über die Zusammenfassung von Konversationen und das Kürzen von Kontext. Dies ersetzt die pro-endpoint summarize- und summaryModel-Felder, die zuvor für benutzerdefinierte und Azure OpenAI-endpoints verfügbar waren.

Wenn eine Konversation das Kontextfenster des Modells überschreitet, komprimiert das Zusammenfassungssystem ältere Nachrichten automatisch in eine prägnante Prüfpunkt-Zusammenfassung. Dies ermöglicht es, Konversationen unbegrenzt fortzusetzen, ohne wichtigen Kontext zu verlieren. Das System umfasst außerdem Kontext-Kürzung (context pruning), wodurch umfangreiche Werkzeugergebnisse in älteren Nachrichten schrittweise reduziert werden, um Token-Speicherplatz freizugeben, bevor eine Zusammenfassung erforderlich ist.

Nach einem Zusammenfassungs-Turn verwendet die Anzeige für die Kontextnutzung die gespeicherte Zusammenfassungs-Basislinie zuzüglich der Turns nach der Zusammenfassung, anstatt den verworfenen Verlauf vor der Zusammenfassung erneut zu zählen. Die kumulativen Nutzungs- und Kostensummen beinhalten weiterhin die Gesamtausgaben des Zweigs.

Beispiel

summarization:
  provider: 'openAI'
  model: 'gpt-4o-mini'
  maxSummaryTokens: 4096
  reserveRatio: 0.05
  trigger:
    type: 'token_ratio'
    value: 0.8
  contextPruning:
    enabled: true
    keepLastAssistants: 3
    softTrimRatio: 0.3
    hardClearRatio: 0.5
    minPrunableToolChars: 50000
    softTrim:
      maxChars: 4000
      headChars: 1500
      tailChars: 1500
    hardClear:
      enabled: true
      placeholder: '[Old tool result content cleared]'

provider

Standard: Eigener Anbieter des Agenten

model

Standard: Das eigene Modell des Agenten

parameters

prompt

Standard: Ein strukturierter Checkpoint-Prompt, der Abschnitte für Ziel, Einschränkungen & Präferenzen, Fortschritt, Wichtige Entscheidungen, Nächste Schritte und Kritischer Kontext erstellt.

updatePrompt

Standard: Ein eingebauter Prompt, der neue Nachrichten in den bestehenden Checkpoint zusammenführt, ältere Details komprimiert und aktuellen Aktionen mehr Details verleiht.

maxSummaryTokens

reserveRatio

Standard: 0.05 (5 % Spielraum)

trigger

trigger Unter-Schlüssel

Trigger-Typen

Beispiel:

summarization:
  trigger:
    type: 'remaining_tokens'
    value: 8000

contextPruning

Context Pruning ist eine optionale Funktion, die unabhängig von der Zusammenfassung (Summarization) arbeitet. Sie zielt auf umfangreiche Tool-Call-Ergebnisse in älteren Nachrichten ab und wendet dabei zwei progressive Stufen an:

1. Soft trim — Kürzt Tool-Ergebnisse, sodass nur der Anfangs- und Endbereich beibehalten wird, mit einer Ellipse dazwischen
2. Hard clear — Ersetzt das gesamte Tool-Ergebnis durch einen kurzen Platzhalter

Beide Phasen sind positionsbasiert: Nachrichten, die näher am Anfang der Konversation liegen (älter), werden zuerst entfernt.

contextPruning Unter-Schlüssel

Standardwerte:

softTrim Unter-Keys

Standards: maxChars: 4000, headChars: 1500, tailChars: 1500

hardClear Unter-Schlüssel

Standards: enabled: true, placeholder: "[Old tool result content cleared]"

Beispiel:

summarization:
  contextPruning:
    enabled: true
    keepLastAssistants: 5
    softTrimRatio: 0.25
    hardClearRatio: 0.6
    minPrunableToolChars: 30000
    softTrim:
      maxChars: 6000
      headChars: 2500
      tailChars: 2500
    hardClear:
      enabled: true
      placeholder: '[Content removed for context management]'

Vollständiges Konfigurationsbeispiel

version: 1.3.10
cache: true
 
summarization:
  provider: 'openAI'
  model: 'gpt-4o-mini'
  maxSummaryTokens: 4096
  reserveRatio: 0.05
  trigger:
    type: 'token_ratio'
    value: 0.8
  contextPruning:
    enabled: true
    keepLastAssistants: 3
    softTrimRatio: 0.3
    hardClearRatio: 0.5
    minPrunableToolChars: 50000
    softTrim:
      maxChars: 4000
      headChars: 1500
      tailChars: 1500
    hardClear:
      enabled: true
      placeholder: '[Old tool result content cleared]'

Migration von Per-Endpoint-Einstellungen

Wenn Sie zuvor summarize und summaryModel für benutzerdefinierte oder Azure OpenAI endpoints verwendet haben:

endpoints:
  custom:
    - name: 'My Endpoint'
      summarize: true
      summaryModel: 'gpt-3.5-turbo'

Diese Felder wurden entfernt. Verwenden Sie stattdessen die summarization-Konfiguration auf oberster Ebene:

summarization:
  model: 'gpt-4o-mini'

Hinweise

• Die Zusammenfassung wird global und nicht pro endpoint konfiguriert.
• Die Felder summarize und summaryModel bei benutzerdefinierten endpoints und Azure OpenAI endpoints werden nicht mehr unterstützt.
• Wenn provider und model weggelassen werden, werden der eigene Provider und das eigene Modell des Agenten für die Zusammenfassung verwendet.
• Das Context Pruning ist standardmäßig deaktiviert und muss explizit mit contextPruning.enabled: true aktiviert werden.
• Das Context Pruning wirkt sich nur auf Tool-Call-Ergebnisse aus, die minPrunableToolChars überschreiten – kleinere Ergebnisse werden niemals gekürzt.
• Die Einstellung keepLastAssistants schützt aktuelle Gesprächsverläufe vor dem Kürzen, unabhängig von den Trim-/Lösch-Verhältnissen.
• Benutzerdefinierte prompt- und updatePrompt-Werte ersetzen die integrierten Prompts vollständig – mit Vorsicht verwenden
• Setzen Sie AGENT_DEBUG_LOGGING=true in Ihrer .env Datei, um die ausführliche Protokollierung von Token-Anzahlen und Diagnosen zur Kontextkürzung zu aktivieren.