Seguimiento con Langfuse

Este documento explica cómo integrar el rastreo de Langfuse con LibreChat para obtener una observabilidad completa de sus conversaciones con IA.

Langfuse es una plataforma de observabilidad de LLM de código abierto que le ayuda a rastrear, monitorear y depurar sus aplicaciones de LLM. Al integrar Langfuse con LibreChat, obtiene visibilidad completa de sus conversaciones con IA.

Requisitos previos

Antes de comenzar, asegúrese de tener:

Una instancia de LibreChat en ejecución (ver Inicio rápido)
Una cuenta de Langfuse (regístrate gratis)
Claves de API de Langfuse desde la configuración de tu proyecto

Configuración

Agregue las siguientes variables de entorno relacionadas con Langfuse a su archivo .env en el directorio de instalación de LibreChat:

Key	Type	Description	Example
LANGFUSE_PUBLIC_KEY	string	Tu clave pública de Langfuse.	LANGFUSE_PUBLIC_KEY=pk-lf-***
LANGFUSE_SECRET_KEY	string	Tu clave secreta de Langfuse.	LANGFUSE_SECRET_KEY=sk-lf-***
LANGFUSE_BASE_URL	string	La URL base de la API de Langfuse.	LANGFUSE_BASE_URL=https://cloud.langfuse.com

Ejemplo de configuración

# Langfuse Configuration
LANGFUSE_PUBLIC_KEY=pk-lf-***
LANGFUSE_SECRET_KEY=sk-lf-***
 
# 🇪🇺 EU Data Region
LANGFUSE_BASE_URL=https://cloud.langfuse.com
 
# 🇺🇸 US Data Region
# LANGFUSE_BASE_URL=https://us.cloud.langfuse.com

Langfuse autohospedado

Para instancias de Langfuse autohospedadas, establezca LANGFUSE_BASE_URL en su URL personalizada (por ejemplo, http://localhost:3000 para desarrollo local).

Reiniciar LibreChat

Después de agregar las variables de entorno, reinicie su instancia de LibreChat para aplicar los cambios:

docker compose down
docker compose up -d

Ver trazas en Langfuse

Una vez que LibreChat se reinicie con Langfuse configurado, verá un nuevo seguimiento para cada respuesta de mensaje de chat en la interfaz de usuario de Langfuse:

Ejemplo de traza de LibreChat

Enlace al seguimiento en la interfaz de usuario de Langfuse

Puntuaciones de comentarios de mensajes

Cuando el rastreo de Langfuse está configurado, LibreChat también envía la retroalimentación de los mensajes a Langfuse como una puntuación BOOLEAN user-feedback en el rastreo correspondiente. Una calificación de pulgar hacia arriba se envía como 1, una calificación de pulgar hacia abajo se envía como 0, y cualquier etiqueta de retroalimentación o comentario seleccionado se incluye en la puntuación. Borrar la retroalimentación elimina la puntuación.

Las puntuaciones de feedback incluyen metadatos del contexto del mensaje cuando están disponibles, incluyendo el ID del mensaje, el ID del mensaje padre, el ID de la conversación/sesión, el ID de usuario, el endpoint, el remitente, isCreatedByUser, el conteo de tokens, la calificación y la etiqueta de feedback. Los valores de metadatos vacíos se omiten antes de que se envíe la puntuación.

Las puntuaciones de feedback utilizan las mismas credenciales de Langfuse y la misma URL base que el rastreo (tracing). También respetan LANGFUSE_TRACING_ENABLED=false, LANGFUSE_SAMPLE_RATE=0 y LANGFUSE_TRACING_ENVIRONMENT. La entrega de puntuaciones se realiza bajo el principio de mejor esfuerzo, por lo que la interfaz de usuario de feedback no se bloquea si Langfuse no está disponible temporalmente.