Langfuseトレーシング

このドキュメントでは、AIとの会話を完全に可視化するために、LangfuseトレーシングをLibreChatに統合する方法を説明します。

Langfuse は、LLMアプリケーションのトレース、監視、デバッグを支援するオープンソースのLLM可観測性プラットフォームです。LangfuseをLibreChatと統合することで、AIとの会話を完全に可視化できます。

前提条件

始める前に、以下が準備されていることを確認してください：

実行中のLibreChatインスタンス（クイックスタートを参照）
Langfuseアカウント（無料で登録）
プロジェクト設定から取得したLangfuse APIキー

セットアップ

LibreChat インストールディレクトリ内の .env ファイルに、以下の Langfuse 関連の環境変数を追加してください。

Key	Type	Description	Example
LANGFUSE_PUBLIC_KEY	string	Langfuseの公開鍵。	LANGFUSE_PUBLIC_KEY=pk-lf-***
LANGFUSE_SECRET_KEY	string	Langfuseシークレットキー。	LANGFUSE_SECRET_KEY=sk-lf-***
LANGFUSE_BASE_URL	string	Langfuse APIのベースURL。	LANGFUSE_BASE_URL=https://cloud.langfuse.com

設定例

# Langfuse Configuration
LANGFUSE_PUBLIC_KEY=pk-lf-***
LANGFUSE_SECRET_KEY=sk-lf-***
 
# 🇪🇺 EU Data Region
LANGFUSE_BASE_URL=https://cloud.langfuse.com
 
# 🇺🇸 US Data Region
# LANGFUSE_BASE_URL=https://us.cloud.langfuse.com

セルフホスト型 Langfuse

セルフホスト型のLangfuseインスタンスを使用する場合は、LANGFUSE_BASE_URLをカスタムURL（例：ローカル開発環境の場合は http://localhost:3000）に設定してください。

LibreChatの再起動

環境変数を追加した後、変更を適用するためにLibreChatインスタンスを再起動してください。

docker compose down
docker compose up -d

Langfuseでトレースを確認する

Langfuseを設定してLibreChatを再起動すると、Langfuse UI上のすべてのチャットメッセージ応答に対して新しいトレースが表示されるようになります：

LibreChat example trace

Langfuse UIのトレースへのリンク

メッセージのフィードバックスコア

Langfuseトレーシングが設定されている場合、LibreChatはメッセージのフィードバックもuser-feedbackというBOOLEANスコアとして、対応するトレースに送信します。高評価（サムズアップ）は1として、低評価（サムズダウン）は0として送信され、選択されたフィードバックタグやコメントもスコアに含まれます。フィードバックをクリアすると、そのスコアは削除されます。

フィードバックスコアには、利用可能な場合にメッセージコンテキストのメタデータが含まれます。これには、メッセージID、親メッセージID、会話/セッションID、ユーザーID、endpoint、送信者、isCreatedByUser、トークン数、評価、およびフィードバックタグが含まれます。空のメタデータ値は、スコアが送信される前に省略されます。

フィードバックスコアは、トレーシングと同じLangfuse認証情報およびベースURLを使用します。また、LANGFUSE_TRACING_ENABLED=false、LANGFUSE_SAMPLE_RATE=0、およびLANGFUSE_TRACING_ENVIRONMENTの設定も尊重されます。スコアの送信はベストエフォート型であるため、Langfuseが一時的に利用できない場合でもフィードバックUIはブロックされません。