Configurazione della riassunzione

Panoramica

La configurazione summarization fornisce un controllo centralizzato sulla riassunzione delle conversazioni e sulla riduzione del contesto. Questa sostituisce i campi summarize e summaryModel per endpoint, precedentemente disponibili sugli endpoint personalizzati e Azure OpenAI.

Quando una conversazione supera la finestra di contesto del modello, il sistema di riepilogo comprime automaticamente i messaggi meno recenti in un riepilogo di controllo conciso. Ciò consente alle conversazioni di continuare indefinitamente senza perdere il contesto importante. Il sistema include anche il context pruning, che degrada progressivamente i risultati di strumenti di grandi dimensioni nei messaggi meno recenti per recuperare spazio nei token prima che sia necessario il riepilogo.

Dopo un turno di riassunto, l'indicatore di utilizzo del contesto utilizza la baseline del riassunto persistente più i turni successivi al riassunto, invece di ricalcolare la cronologia precedente al riassunto che è stata scartata. I totali cumulativi di utilizzo e costo includono comunque la spesa totale del ramo.

Esempio

summarization:
  provider: 'openAI'
  model: 'gpt-4o-mini'
  maxSummaryTokens: 4096
  reserveRatio: 0.05
  trigger:
    type: 'token_ratio'
    value: 0.8
  contextPruning:
    enabled: true
    keepLastAssistants: 3
    softTrimRatio: 0.3
    hardClearRatio: 0.5
    minPrunableToolChars: 50000
    softTrim:
      maxChars: 4000
      headChars: 1500
      tailChars: 1500
    hardClear:
      enabled: true
      placeholder: '[Old tool result content cleared]'

provider

Predefinito: Provider dell'agente

model

Predefinito: Modello dell'agente

parameters

prompt

Predefinito: Un prompt di checkpoint strutturato che genera sezioni per Obiettivo, Vincoli e Preferenze, Progresso, Decisioni Chiave, Prossimi Passi e Contesto Critico.

updatePrompt

Predefinito: Un prompt integrato che unisce i nuovi messaggi al checkpoint esistente, comprime i dettagli più vecchi e fornisce maggiori dettagli sulle azioni recenti.

maxSummaryTokens

reserveRatio

Predefinito: 0.05 (5% di margine)

trigger

Sotto-chiavi trigger

Tipi di trigger

Esempio:

summarization:
  trigger:
    type: 'remaining_tokens'
    value: 8000

contextPruning

Il context pruning è una funzionalità opzionale che opera indipendentemente dalla riassunzione. Prende di mira i risultati di grandi chiamate a strumenti (tool call) nei messaggi meno recenti, applicando due fasi progressive:

1. Soft trim — Tronca i risultati degli strumenti per mantenere solo le porzioni iniziale e finale, con un'ellissi nel mezzo
2. Hard clear — Sostituisce l'intero risultato dello strumento con un breve segnaposto

Entrambe le fasi sono basate sulla posizione: i messaggi più vicini all'inizio della conversazione (più vecchi) vengono eliminati per primi.

Sotto-chiavi di contextPruning

Predefiniti:

Sotto-chiavi softTrim

Predefiniti: maxChars: 4000, headChars: 1500, tailChars: 1500

Sotto-chiavi hardClear

Predefiniti: enabled: true, placeholder: "[Old tool result content cleared]"

Esempio:

summarization:
  contextPruning:
    enabled: true
    keepLastAssistants: 5
    softTrimRatio: 0.25
    hardClearRatio: 0.6
    minPrunableToolChars: 30000
    softTrim:
      maxChars: 6000
      headChars: 2500
      tailChars: 2500
    hardClear:
      enabled: true
      placeholder: '[Content removed for context management]'

Esempio di configurazione completa

version: 1.3.10
cache: true

summarization:
  provider: 'openAI'
  model: 'gpt-4o-mini'
  maxSummaryTokens: 4096
  reserveRatio: 0.05
  trigger:
    type: 'token_ratio'
    value: 0.8
  contextPruning:
    enabled: true
    keepLastAssistants: 3
    softTrimRatio: 0.3
    hardClearRatio: 0.5
    minPrunableToolChars: 50000
    softTrim:
      maxChars: 4000
      headChars: 1500
      tailChars: 1500
    hardClear:
      enabled: true
      placeholder: '[Old tool result content cleared]'

Migrazione dalle impostazioni per endpoint

Se in precedenza hai utilizzato summarize e summaryModel su endpoint personalizzati o Azure OpenAI:

endpoints:
  custom:
    - name: 'My Endpoint'
      summarize: true
      summaryModel: 'gpt-3.5-turbo'

Questi campi sono stati rimossi. Utilizza invece la configurazione di primo livello summarization:

summarization:
  model: 'gpt-4o-mini'

Note

• La riassunzione è configurata a livello globale anziché per singolo endpoint.
• I campi summarize e summaryModel sugli endpoint personalizzati e sugli endpoint Azure OpenAI non sono più supportati
• Quando provider e model vengono omessi, per la sintesi vengono utilizzati il provider e il modello dell'agente stesso.
• Il context pruning è disabilitato per impostazione predefinita e deve essere abilitato esplicitamente con contextPruning.enabled: true
• Il context pruning influisce solo sui risultati delle chiamate a strumenti che superano minPrunableToolChars: i risultati più piccoli non vengono mai troncati.
• L'impostazione keepLastAssistants protegge i turni recenti dalla rimozione, indipendentemente dai rapporti di taglio/pulizia.
• I valori prompt e updatePrompt personalizzati sostituiscono completamente i prompt integrati: utilizzare con cautela.
• Imposta AGENT_DEBUG_LOGGING=true nel tuo file .env per abilitare la registrazione dettagliata del conteggio dei token e la diagnostica della potatura del contesto.