Traçage Langfuse

Ce document explique comment intégrer le suivi Langfuse avec LibreChat pour obtenir une observabilité complète de vos conversations IA.

Langfuse est une plateforme d'observabilité LLM open-source qui vous aide à tracer, surveiller et déboguer vos applications LLM. En intégrant Langfuse à LibreChat, vous obtenez une visibilité complète sur vos conversations IA.

Prérequis

Avant de commencer, assurez-vous d'avoir :

Une instance LibreChat en cours d'exécution (voir Démarrage rapide)
Un compte Langfuse (inscrivez-vous gratuitement)
Clés API Langfuse depuis les paramètres de votre projet

Configuration

Ajoutez les variables d'environnement liées à Langfuse suivantes à votre fichier .env dans le répertoire d'installation de votre LibreChat :

Key	Type	Description	Example
LANGFUSE_PUBLIC_KEY	string	Votre clé publique Langfuse.	LANGFUSE_PUBLIC_KEY=pk-lf-***
LANGFUSE_SECRET_KEY	string	Votre clé secrète Langfuse.	LANGFUSE_SECRET_KEY=sk-lf-***
LANGFUSE_BASE_URL	string	L'URL de base de l'API Langfuse.	LANGFUSE_BASE_URL=https://cloud.langfuse.com

Exemple de configuration

# Langfuse Configuration
LANGFUSE_PUBLIC_KEY=pk-lf-***
LANGFUSE_SECRET_KEY=sk-lf-***
 
# 🇪🇺 EU Data Region
LANGFUSE_BASE_URL=https://cloud.langfuse.com
 
# 🇺🇸 US Data Region
# LANGFUSE_BASE_URL=https://us.cloud.langfuse.com

Langfuse auto-hébergé

Pour les instances Langfuse auto-hébergées, définissez LANGFUSE_BASE_URL sur votre URL personnalisée (par exemple, http://localhost:3000 pour le développement local).

Redémarrer LibreChat

Après avoir ajouté les variables d'environnement, redémarrez votre instance LibreChat pour appliquer les changements :

docker compose down
docker compose up -d

Voir les traces dans Langfuse

Une fois que LibreChat est redémarré avec Langfuse configuré, vous verrez une nouvelle trace pour chaque réponse de message de chat dans l'interface utilisateur de Langfuse :

Exemple de trace LibreChat

Lien vers la trace dans l'interface utilisateur de Langfuse

Scores de rétroaction des messages

Lorsque le suivi Langfuse est configuré, LibreChat envoie également les retours sur les messages à Langfuse sous la forme d'un score BOOLEAN user-feedback sur la trace correspondante. Une évaluation « pouce levé » est envoyée sous la forme 1, une évaluation « pouce baissé » est envoyée sous la forme 0, et toute étiquette ou commentaire de retour sélectionné est inclus dans le score. La suppression d'un retour entraîne la suppression du score.

Les scores de feedback incluent les métadonnées du contexte du message lorsqu'elles sont disponibles, notamment l'ID du message, l'ID du message parent, l'ID de la conversation/session, l'ID utilisateur, l'endpoint, l'expéditeur, isCreatedByUser, le nombre de jetons, l'évaluation et le tag de feedback. Les valeurs de métadonnées vides sont omises avant l'envoi du score.

Les scores de feedback utilisent les mêmes identifiants Langfuse et la même URL de base que le traçage. Ils respectent également LANGFUSE_TRACING_ENABLED=false, LANGFUSE_SAMPLE_RATE=0 et LANGFUSE_TRACING_ENVIRONMENT. La transmission des scores est effectuée au mieux (best-effort), de sorte que l'interface utilisateur de feedback ne se bloque pas si Langfuse est temporairement indisponible.