LibreChatLangfuse Tracing
Dit document legt uit hoe je Langfuse-tracing integreert met LibreChat om volledige observeerbaarheid te krijgen in je AI-gesprekken.
Langfuse is een open-source LLM-observability-platform dat je helpt bij het traceren, monitoren en debuggen van je LLM-applicaties. Door Langfuse te integreren met LibreChat, krijg je volledig inzicht in je AI-gesprekken.
Vereisten
Voordat je begint, moet je ervoor zorgen dat je beschikt over:
- Een draaiende LibreChat-instantie (zie Quick Start)
- Een Langfuse-account (meld je gratis aan)
- Langfuse API-sleutels uit je projectinstellingen
Setup
Voeg de volgende Langfuse-gerelateerde omgevingsvariabelen toe aan je .env bestand in de installatiemap van LibreChat:
| Key | Type | Description | Example |
|---|---|---|---|
| LANGFUSE_PUBLIC_KEY | string | Uw openbare Langfuse-sleutel. | LANGFUSE_PUBLIC_KEY=pk-lf-*** |
| LANGFUSE_SECRET_KEY | string | Je Langfuse secret key. | LANGFUSE_SECRET_KEY=sk-lf-*** |
| LANGFUSE_BASE_URL | string | De basis-URL van de Langfuse API. | LANGFUSE_BASE_URL=https://cloud.langfuse.com |
Voorbeeldconfiguratie
# Langfuse Configuration
LANGFUSE_PUBLIC_KEY=pk-lf-***
LANGFUSE_SECRET_KEY=sk-lf-***
# 🇪🇺 EU Data Region
LANGFUSE_BASE_URL=https://cloud.langfuse.com
# 🇺🇸 US Data Region
# LANGFUSE_BASE_URL=https://us.cloud.langfuse.comSelf-Hosted Langfuse
Voor zelf-gehoste Langfuse-instanties, stel LANGFUSE_BASE_URL in op uw aangepaste URL (bijv. http://localhost:3000 voor lokale ontwikkeling).
LibreChat herstarten
Nadat je de omgevingsvariabelen hebt toegevoegd, herstart je jouw LibreChat-instantie om de wijzigingen toe te passen:
docker compose down
docker compose up -dBekijk traces in Langfuse
Zodra LibreChat opnieuw is opgestart met Langfuse geconfigureerd, zie je een nieuwe trace voor elk chatberichtantwoord in de Langfuse UI:
Link naar trace in de Langfuse UI
Feedbackscores voor berichten
Wanneer Langfuse tracing is geconfigureerd, verstuurt LibreChat ook berichtfeedback naar Langfuse als een user-feedback BOOLEAN score op de bijbehorende trace. Een duim-omhoog beoordeling wordt verstuurd als 1, een duim-omlaag beoordeling wordt verstuurd als 0, en elke geselecteerde feedback-tag of opmerking wordt opgenomen in de score. Het wissen van feedback verwijdert de score.
Feedback-scores bevatten metadata van de berichtcontext wanneer deze beschikbaar is, inclusief het bericht-ID, het bovenliggende bericht-ID, het gesprek-/sessie-ID, het gebruikers-ID, endpoint, afzender, isCreatedByUser, het aantal tokens, de beoordeling en de feedback-tag. Lege metadatawaarden worden weggelaten voordat de score wordt verzonden.
Feedback-scores gebruiken dezelfde Langfuse-inloggegevens en basis-URL als tracing. Ze respecteren ook LANGFUSE_TRACING_ENABLED=false, LANGFUSE_SAMPLE_RATE=0 en LANGFUSE_TRACING_ENVIRONMENT. Het versturen van scores is 'best-effort', dus de feedback-UI blokkeert niet als Langfuse tijdelijk onbeschikbaar is.
Hoe is deze gids?
Geautomatiseerde moderatie
Configuratie van het geautomatiseerde moderatiesysteem. Dit maakt gebruik van een scoremechanisme om gebruikersovertredingen bij te houden. Wanneer gebruikers acties ondernemen zoals overmatig inloggen, registreren of berichten versturen, verzamelen ze overtredingspunten. Bij het bereiken van een ingestelde drempelwaarde worden de gebruiker en hun IP-adres tijdelijk verbannen. Dit systeem waarborgt de platformbeveiliging door snelle of verdachte activiteiten te monitoren en te bestraffen.
Logging-systeem
Dit document legt uit hoe je de logfunctie van LibreChat gebruikt, die fout- en debug-logs opslaat in de map `/api/logs`. Je kunt deze logs gebruiken om problemen op te lossen, je server te monitoren en bugs te rapporteren. Je kunt debug-logs ook uitschakelen als je ruimte wilt besparen.