LibreChatTracciamento Langfuse
Questo documento spiega come integrare il tracciamento di Langfuse con LibreChat per ottenere una completa osservabilità delle tue conversazioni AI.
Langfuse è una piattaforma di osservabilità LLM open-source che ti aiuta a tracciare, monitorare ed eseguire il debug delle tue applicazioni LLM. Integrando Langfuse con LibreChat, ottieni una visibilità completa sulle tue conversazioni AI.
Prerequisiti
Prima di iniziare, assicurati di avere:
- Un'istanza di LibreChat in esecuzione (vedi Quick Start)
- Un account Langfuse (iscriviti gratuitamente)
- Chiavi API di Langfuse dalle impostazioni del tuo progetto
Setup
Aggiungi le seguenti variabili d'ambiente relative a Langfuse al tuo file .env nella directory di installazione di LibreChat:
| Key | Type | Description | Example |
|---|---|---|---|
| LANGFUSE_PUBLIC_KEY | string | La tua chiave pubblica Langfuse. | LANGFUSE_PUBLIC_KEY=pk-lf-*** |
| LANGFUSE_SECRET_KEY | string | La tua chiave segreta Langfuse. | LANGFUSE_SECRET_KEY=sk-lf-*** |
| LANGFUSE_BASE_URL | string | L'URL di base dell'API Langfuse. | LANGFUSE_BASE_URL=https://cloud.langfuse.com |
Esempio di configurazione
# Langfuse Configuration
LANGFUSE_PUBLIC_KEY=pk-lf-***
LANGFUSE_SECRET_KEY=sk-lf-***
# 🇪🇺 EU Data Region
LANGFUSE_BASE_URL=https://cloud.langfuse.com
# 🇺🇸 US Data Region
# LANGFUSE_BASE_URL=https://us.cloud.langfuse.comLangfuse self-hosted
Per istanze Langfuse self-hosted, imposta LANGFUSE_BASE_URL sul tuo URL personalizzato (ad esempio, http://localhost:3000 per lo sviluppo locale).
Riavviare LibreChat
Dopo aver aggiunto le variabili d'ambiente, riavvia la tua istanza LibreChat per applicare le modifiche:
docker compose down
docker compose up -dVisualizza le tracce in Langfuse
Una volta riavviato LibreChat con Langfuse configurato, vedrai una nuova traccia per ogni risposta ai messaggi della chat nell'interfaccia utente di Langfuse:
Link alla traccia nell'interfaccia utente di Langfuse
Punteggi di feedback dei messaggi
Quando il tracciamento Langfuse è configurato, LibreChat invia anche il feedback sui messaggi a Langfuse come punteggio BOOLEAN user-feedback sulla traccia corrispondente. Una valutazione con pollice in su viene inviata come 1, una valutazione con pollice in giù viene inviata come 0, e qualsiasi tag di feedback o commento selezionato viene incluso nel punteggio. La rimozione del feedback elimina il punteggio.
I punteggi di feedback includono i metadati del contesto del messaggio quando disponibili, inclusi l'ID del messaggio, l'ID del messaggio genitore, l'ID della conversazione/sessione, l'ID utente, l'endpoint, il mittente, isCreatedByUser, il conteggio dei token, la valutazione e il tag di feedback. I valori dei metadati vuoti vengono omessi prima che il punteggio venga inviato.
I punteggi di feedback utilizzano le stesse credenziali Langfuse e lo stesso URL di base del tracing. Rispettano inoltre LANGFUSE_TRACING_ENABLED=false, LANGFUSE_SAMPLE_RATE=0 e LANGFUSE_TRACING_ENVIRONMENT. L'invio dei punteggi avviene secondo il principio del "best-effort", pertanto l'interfaccia utente del feedback non si blocca se Langfuse è temporaneamente non disponibile.
Com’è questa guida?
Metriche
Questo documento spiega come aggiungere un esportatore di metriche per Prometheus a LibreChat.
Moderazione automatizzata
Configurazione del sistema di moderazione automatizzato. Questo utilizza un meccanismo di punteggio per tracciare le violazioni degli utenti. Quando gli utenti compiono azioni come accessi, registrazioni o invio di messaggi eccessivi, accumulano punteggi di violazione. Al raggiungimento di una soglia prestabilita, l'utente e il suo IP vengono temporaneamente bannati. Questo sistema garantisce la sicurezza della piattaforma monitorando e penalizzando le attività rapide o sospette.