Configuration de la synthèse

Aperçu

La configuration summarization offre un contrôle centralisé sur la synthèse des conversations et l'élagage du contexte. Cela remplace les champs summarize et summaryModel par endpoint qui étaient précédemment disponibles sur les endpoints personnalisés et Azure OpenAI.

Lorsqu'une conversation dépasse la fenêtre de contexte du modèle, le système de résumé compresse automatiquement les anciens messages en un résumé de point de contrôle concis. Cela permet aux conversations de se poursuivre indéfiniment sans perdre de contexte important. Le système inclut également le context pruning (élagage de contexte), qui dégrade progressivement les résultats d'outils volumineux dans les anciens messages afin de récupérer de l'espace de jetons avant que la synthèse ne soit nécessaire.

Après un tour de résumé, la jauge d'utilisation du contexte utilise la ligne de base du résumé persisté ainsi que les tours suivant le résumé, au lieu de recompter l'historique pré-résumé supprimé. Les totaux cumulés de l'utilisation et des coûts incluent toujours la dépense totale de la branche.

Exemple

summarization:
  provider: 'openAI'
  model: 'gpt-4o-mini'
  maxSummaryTokens: 4096
  reserveRatio: 0.05
  trigger:
    type: 'token_ratio'
    value: 0.8
  contextPruning:
    enabled: true
    keepLastAssistants: 3
    softTrimRatio: 0.3
    hardClearRatio: 0.5
    minPrunableToolChars: 50000
    softTrim:
      maxChars: 4000
      headChars: 1500
      tailChars: 1500
    hardClear:
      enabled: true
      placeholder: '[Old tool result content cleared]'

provider

Par défaut : Fournisseur propre à l'agent

model

Par défaut : Modèle propre à l'agent

parameters

prompt

Par défaut : Un prompt de point de contrôle structuré qui génère des sections pour Objectif, Contraintes et Préférences, Progrès, Décisions clés, Prochaines étapes et Contexte critique.

updatePrompt

Par défaut : Un prompt intégré qui fusionne les nouveaux messages dans le point de contrôle existant, compresse les détails plus anciens et donne plus de détails aux actions récentes.

maxSummaryTokens

reserveRatio

Par défaut : 0.05 (5 % de marge)

trigger

Sous-clés trigger

Types de déclencheurs

Exemple :

summarization:
  trigger:
    type: 'remaining_tokens'
    value: 8000

contextPruning

Le nettoyage du contexte (context pruning) est une fonctionnalité optionnelle qui fonctionne indépendamment de la synthèse. Elle cible les résultats volumineux d'appels d'outils dans les messages plus anciens, en appliquant deux étapes progressives :

1. Soft trim — Tronque les résultats des outils pour ne conserver que les parties de début et de fin, avec des points de suspension entre les deux
2. Hard clear — Remplace l'intégralité du résultat de l'outil par un court espace réservé

Les deux étapes sont basées sur la position : les messages situés au début de la conversation (les plus anciens) sont supprimés en premier.

Sous-clés de contextPruning

Valeurs par défaut :

Sous-clés softTrim

Par défaut : maxChars: 4000, headChars: 1500, tailChars: 1500

Sous-clés hardClear

Valeurs par défaut : enabled: true, placeholder: "[Old tool result content cleared]"

Exemple :

summarization:
  contextPruning:
    enabled: true
    keepLastAssistants: 5
    softTrimRatio: 0.25
    hardClearRatio: 0.6
    minPrunableToolChars: 30000
    softTrim:
      maxChars: 6000
      headChars: 2500
      tailChars: 2500
    hardClear:
      enabled: true
      placeholder: '[Content removed for context management]'

Exemple de configuration complète

version: 1.3.10
cache: true
 
summarization:
  provider: 'openAI'
  model: 'gpt-4o-mini'
  maxSummaryTokens: 4096
  reserveRatio: 0.05
  trigger:
    type: 'token_ratio'
    value: 0.8
  contextPruning:
    enabled: true
    keepLastAssistants: 3
    softTrimRatio: 0.3
    hardClearRatio: 0.5
    minPrunableToolChars: 50000
    softTrim:
      maxChars: 4000
      headChars: 1500
      tailChars: 1500
    hardClear:
      enabled: true
      placeholder: '[Old tool result content cleared]'

Migration depuis les paramètres par endpoint

Si vous utilisiez précédemment summarize et summaryModel sur des endpoints personnalisés ou Azure OpenAI :

endpoints:
  custom:
    - name: 'My Endpoint'
      summarize: true
      summaryModel: 'gpt-3.5-turbo'

Ces champs ont été supprimés. Utilisez plutôt la configuration summarization au niveau supérieur :

summarization:
  model: 'gpt-4o-mini'

Notes

• La synthèse est configurée globalement plutôt que par endpoint.
• Les champs summarize et summaryModel sur les endpoints personnalisés et les endpoints Azure OpenAI ne sont plus pris en charge.
• Lorsque provider et model sont omis, le fournisseur et le modèle propres à l'agent sont utilisés pour la synthèse.
• Le nettoyage du contexte (context pruning) est désactivé par défaut et doit être explicitement activé avec contextPruning.enabled: true
• Le nettoyage de contexte (context pruning) n'affecte que les résultats d'appels d'outils qui dépassent minPrunableToolChars — les résultats plus petits ne sont jamais nettoyés.
• Le paramètre keepLastAssistants protège les tours récents de la suppression, indépendamment des ratios de découpage/effacement.
• Les valeurs personnalisées prompt et updatePrompt remplacent entièrement les prompts intégrés — à utiliser avec précaution
• Définissez AGENT_DEBUG_LOGGING=true dans votre fichier .env pour activer la journalisation détaillée du nombre de jetons et des diagnostics de réduction de contexte.