Langfuse-Tracing

Dieses Dokument erklärt, wie Sie Langfuse-Tracing in LibreChat integrieren, um eine vollständige Beobachtbarkeit Ihrer KI-Konversationen zu erhalten.

Langfuse ist eine Open-Source-Plattform für LLM-Observability, die Ihnen hilft, Ihre LLM-Anwendungen nachzuverfolgen, zu überwachen und zu debuggen. Durch die Integration von Langfuse in LibreChat erhalten Sie vollständige Transparenz über Ihre KI-Konversationen.

Voraussetzungen

Bevor Sie beginnen, stellen Sie sicher, dass Sie über Folgendes verfügen:

Eine laufende LibreChat-Instanz (siehe Quick Start)
Ein Langfuse-Konto (kostenlos registrieren)
Langfuse API-Schlüssel aus Ihren Projekteinstellungen

Einrichtung

Fügen Sie die folgenden Langfuse-bezogenen Umgebungsvariablen zu Ihrer .env-Datei im Installationsverzeichnis von LibreChat hinzu:

Key	Type	Description	Example
LANGFUSE_PUBLIC_KEY	string	Ihr öffentlicher Langfuse-Schlüssel.	LANGFUSE_PUBLIC_KEY=pk-lf-***
LANGFUSE_SECRET_KEY	string	Ihr Langfuse Secret Key.	LANGFUSE_SECRET_KEY=sk-lf-***
LANGFUSE_BASE_URL	string	Die Basis-URL der Langfuse API.	LANGFUSE_BASE_URL=https://cloud.langfuse.com

Beispielkonfiguration

# Langfuse Configuration
LANGFUSE_PUBLIC_KEY=pk-lf-***
LANGFUSE_SECRET_KEY=sk-lf-***
 
# 🇪🇺 EU Data Region
LANGFUSE_BASE_URL=https://cloud.langfuse.com
 
# 🇺🇸 US Data Region
# LANGFUSE_BASE_URL=https://us.cloud.langfuse.com

Selbstgehostetes Langfuse

Für selbst gehostete Langfuse-Instanzen setzen Sie LANGFUSE_BASE_URL auf Ihre benutzerdefinierte URL (z. B. http://localhost:3000 für die lokale Entwicklung).

LibreChat neu starten

Nachdem Sie die Umgebungsvariablen hinzugefügt haben, starten Sie Ihre LibreChat-Instanz neu, um die Änderungen zu übernehmen:

docker compose down
docker compose up -d

Traces in Langfuse anzeigen

Sobald LibreChat mit konfiguriertem Langfuse neu gestartet wurde, sehen Sie in der Langfuse UI für jede Chat-Nachrichtenantwort einen neuen Trace:

LibreChat Beispiel-Trace

Link zum Trace in der Langfuse UI

Message Feedback Scores

Wenn Langfuse-Tracing konfiguriert ist, sendet LibreChat auch Nachrichten-Feedback als user-feedback BOOLEAN-Score an den entsprechenden Trace in Langfuse. Eine positive Bewertung (Daumen hoch) wird als 1 gesendet, eine negative Bewertung (Daumen runter) als 0, und jedes ausgewählte Feedback-Tag oder jeder Kommentar wird in den Score aufgenommen. Das Löschen des Feedbacks entfernt den Score.

Feedback-Bewertungen enthalten, sofern verfügbar, Metadaten zum Nachrichtenkontext, einschließlich der Nachrichten-ID, der übergeordneten Nachrichten-ID, der Konversations-/Sitzungs-ID, der Benutzer-ID, des endpoint, des Absenders, isCreatedByUser, der Token-Anzahl, der Bewertung und des Feedback-Tags. Leere Metadatenwerte werden weggelassen, bevor die Bewertung gesendet wird.

Feedback-Scores verwenden dieselben Langfuse-Anmeldedaten und dieselbe Basis-URL wie das Tracing. Sie berücksichtigen außerdem LANGFUSE_TRACING_ENABLED=false, LANGFUSE_SAMPLE_RATE=0 und LANGFUSE_TRACING_ENVIRONMENT. Die Übermittlung der Scores erfolgt nach dem Best-Effort-Prinzip, sodass die Feedback-Benutzeroberfläche nicht blockiert wird, falls Langfuse vorübergehend nicht verfügbar ist.