LibreChatLangfuse-Tracing
Dieses Dokument erklärt, wie Sie Langfuse-Tracing in LibreChat integrieren, um eine vollständige Beobachtbarkeit Ihrer KI-Konversationen zu erhalten.
Langfuse ist eine Open-Source-Plattform für LLM-Observability, die Ihnen hilft, Ihre LLM-Anwendungen nachzuverfolgen, zu überwachen und zu debuggen. Durch die Integration von Langfuse in LibreChat erhalten Sie vollständige Transparenz über Ihre KI-Konversationen.
Voraussetzungen
Bevor Sie beginnen, stellen Sie sicher, dass Sie über Folgendes verfügen:
- Eine laufende LibreChat-Instanz (siehe Quick Start)
- Ein Langfuse-Konto (kostenlos registrieren)
- Langfuse API-Schlüssel aus Ihren Projekteinstellungen
Einrichtung
Fügen Sie die folgenden Langfuse-bezogenen Umgebungsvariablen zu Ihrer .env-Datei im Installationsverzeichnis von LibreChat hinzu:
| Key | Type | Description | Example |
|---|---|---|---|
| LANGFUSE_PUBLIC_KEY | string | Ihr öffentlicher Langfuse-Schlüssel. | LANGFUSE_PUBLIC_KEY=pk-lf-*** |
| LANGFUSE_SECRET_KEY | string | Ihr Langfuse Secret Key. | LANGFUSE_SECRET_KEY=sk-lf-*** |
| LANGFUSE_BASE_URL | string | Die Basis-URL der Langfuse API. | LANGFUSE_BASE_URL=https://cloud.langfuse.com |
Beispielkonfiguration
# Langfuse Configuration
LANGFUSE_PUBLIC_KEY=pk-lf-***
LANGFUSE_SECRET_KEY=sk-lf-***
# 🇪🇺 EU Data Region
LANGFUSE_BASE_URL=https://cloud.langfuse.com
# 🇺🇸 US Data Region
# LANGFUSE_BASE_URL=https://us.cloud.langfuse.comSelbstgehostetes Langfuse
Für selbst gehostete Langfuse-Instanzen setzen Sie LANGFUSE_BASE_URL auf Ihre benutzerdefinierte URL (z. B. http://localhost:3000 für die lokale Entwicklung).
LibreChat neu starten
Nachdem Sie die Umgebungsvariablen hinzugefügt haben, starten Sie Ihre LibreChat-Instanz neu, um die Änderungen zu übernehmen:
docker compose down
docker compose up -dTraces in Langfuse anzeigen
Sobald LibreChat mit konfiguriertem Langfuse neu gestartet wurde, sehen Sie in der Langfuse UI für jede Chat-Nachrichtenantwort einen neuen Trace:
Link zum Trace in der Langfuse UI
Message Feedback Scores
Wenn Langfuse-Tracing konfiguriert ist, sendet LibreChat auch Nachrichten-Feedback als user-feedback BOOLEAN-Score an den entsprechenden Trace in Langfuse. Eine positive Bewertung (Daumen hoch) wird als 1 gesendet, eine negative Bewertung (Daumen runter) als 0, und jedes ausgewählte Feedback-Tag oder jeder Kommentar wird in den Score aufgenommen. Das Löschen des Feedbacks entfernt den Score.
Feedback-Bewertungen enthalten, sofern verfügbar, Metadaten zum Nachrichtenkontext, einschließlich der Nachrichten-ID, der übergeordneten Nachrichten-ID, der Konversations-/Sitzungs-ID, der Benutzer-ID, des endpoint, des Absenders, isCreatedByUser, der Token-Anzahl, der Bewertung und des Feedback-Tags. Leere Metadatenwerte werden weggelassen, bevor die Bewertung gesendet wird.
Feedback-Scores verwenden dieselben Langfuse-Anmeldedaten und dieselbe Basis-URL wie das Tracing. Sie berücksichtigen außerdem LANGFUSE_TRACING_ENABLED=false, LANGFUSE_SAMPLE_RATE=0 und LANGFUSE_TRACING_ENVIRONMENT. Die Übermittlung der Scores erfolgt nach dem Best-Effort-Prinzip, sodass die Feedback-Benutzeroberfläche nicht blockiert wird, falls Langfuse vorübergehend nicht verfügbar ist.
Wie finden Sie diese Anleitung?
Automatisierte Moderation
Konfiguration des automatisierten Moderationssystems. Dieses verwendet einen Bewertungsmechanismus, um Benutzerverstöße zu verfolgen. Wenn Benutzer Aktionen wie übermäßige Anmeldungen, Registrierungen oder Nachrichten ausführen, sammeln sie Verstoßpunkte. Beim Erreichen eines festgelegten Schwellenwerts werden der Benutzer und seine IP-Adresse vorübergehend gesperrt. Dieses System gewährleistet die Plattformsicherheit durch die Überwachung und Bestrafung von schnellen oder verdächtigen Aktivitäten.
Protokollierungssystem
Dieses Dokument erklärt, wie die Logging-Funktion von LibreChat verwendet wird, die Fehler- und Debug-Logs im Ordner `/api/logs` speichert. Sie können diese Logs zur Fehlerbehebung, zur Überwachung Ihres Servers und zum Melden von Bugs verwenden. Sie können Debug-Logs auch deaktivieren, wenn Sie Speicherplatz sparen möchten.