LibreChatTracciamento Langfuse
Questo documento spiega come integrare il tracciamento di Langfuse con LibreChat per ottenere una completa osservabilità delle tue conversazioni AI.
Langfuse è una piattaforma di osservabilità LLM open-source che ti aiuta a tracciare, monitorare ed eseguire il debug delle tue applicazioni LLM. Integrando Langfuse con LibreChat, ottieni una visibilità completa sulle tue conversazioni AI.
Prerequisiti
Prima di iniziare, assicurati di avere:
- Un'istanza di LibreChat in esecuzione (vedi Quick Start)
- Un account Langfuse (iscriviti gratuitamente)
- Chiavi API di Langfuse dalle impostazioni del tuo progetto
Setup
Aggiungi le seguenti variabili d'ambiente relative a Langfuse al tuo file .env nella directory di installazione di LibreChat:
| Key | Type | Description | Example |
|---|---|---|---|
| LANGFUSE_PUBLIC_KEY | string | La tua chiave pubblica Langfuse. | LANGFUSE_PUBLIC_KEY=pk-lf-*** |
| LANGFUSE_SECRET_KEY | string | La tua chiave segreta Langfuse. | LANGFUSE_SECRET_KEY=sk-lf-*** |
| LANGFUSE_BASE_URL | string | L'URL di base dell'API Langfuse. | LANGFUSE_BASE_URL=https://cloud.langfuse.com |
Esempio di configurazione
# Langfuse Configuration
LANGFUSE_PUBLIC_KEY=pk-lf-***
LANGFUSE_SECRET_KEY=sk-lf-***
# 🇪🇺 EU Data Region
LANGFUSE_BASE_URL=https://cloud.langfuse.com
# 🇺🇸 US Data Region
# LANGFUSE_BASE_URL=https://us.cloud.langfuse.comLangfuse self-hosted
Per istanze Langfuse self-hosted, imposta LANGFUSE_BASE_URL sul tuo URL personalizzato (ad esempio, http://localhost:3000 per lo sviluppo locale).
Riavviare LibreChat
Dopo aver aggiunto le variabili d'ambiente, riavvia la tua istanza LibreChat per applicare le modifiche:
docker compose down
docker compose up -dVisualizza le tracce in Langfuse
Una volta riavviato LibreChat con Langfuse configurato, vedrai una nuova traccia per ogni risposta ai messaggi della chat nell'interfaccia utente di Langfuse:
Link alla traccia nell'interfaccia utente di Langfuse
Punteggi di feedback dei messaggi
Quando il tracciamento Langfuse è configurato, LibreChat invia anche il feedback sui messaggi a Langfuse come punteggio BOOLEAN user-feedback sulla traccia corrispondente. Una valutazione con pollice in su viene inviata come 1, una valutazione con pollice in giù viene inviata come 0, e qualsiasi tag di feedback o commento selezionato viene incluso nel punteggio. La rimozione del feedback elimina il punteggio.
I punteggi di feedback includono i metadati del contesto del messaggio quando disponibili, inclusi l'ID del messaggio, l'ID del messaggio genitore, l'ID della conversazione/sessione, l'ID utente, l'endpoint, il mittente, isCreatedByUser, il conteggio dei token, la valutazione e il tag di feedback. I valori dei metadati vuoti vengono omessi prima che il punteggio venga inviato.
I punteggi di feedback utilizzano le stesse credenziali Langfuse e lo stesso URL di base del tracing. Rispettano inoltre LANGFUSE_TRACING_ENABLED=false, LANGFUSE_SAMPLE_RATE=0 e LANGFUSE_TRACING_ENVIRONMENT. L'invio dei punteggi avviene secondo il principio del "best-effort", pertanto l'interfaccia utente del feedback non si blocca se Langfuse è temporaneamente non disponibile.
Com’è questa guida?
Moderazione automatizzata
Configurazione del sistema di moderazione automatizzato. Questo utilizza un meccanismo di punteggio per tracciare le violazioni degli utenti. Quando gli utenti compiono azioni come accessi, registrazioni o invio di messaggi eccessivi, accumulano punteggi di violazione. Al raggiungimento di una soglia prestabilita, l'utente e il suo IP vengono temporaneamente bannati. Questo sistema garantisce la sicurezza della piattaforma monitorando e penalizzando le attività rapide o sospette.
Sistema di logging
Questo documento spiega come utilizzare la funzionalità di logging di LibreChat, che salva i log di errore e di debug nella cartella `/api/logs`. Puoi utilizzare questi log per risolvere problemi, monitorare il tuo server e segnalare bug. Puoi anche disabilitare i log di debug se desideri risparmiare spazio.