LibreChatTheo dõi Langfuse
Tài liệu này giải thích cách tích hợp tính năng theo dõi Langfuse với LibreChat để có được khả năng quan sát toàn diện các cuộc hội thoại AI của bạn.
Langfuse là một nền tảng quan sát LLM mã nguồn mở giúp bạn theo dõi, giám sát và gỡ lỗi các ứng dụng LLM của mình. Bằng cách tích hợp Langfuse với LibreChat, bạn có được cái nhìn toàn diện về các cuộc hội thoại AI của mình.
Điều kiện tiên quyết
Trước khi bắt đầu, hãy đảm bảo bạn đã có:
- Một instance LibreChat đang chạy (xem Quick Start)
- Một tài khoản Langfuse (đăng ký miễn phí)
- Các khóa API Langfuse từ cài đặt dự án của bạn
Thiết lập
Thêm các biến môi trường liên quan đến Langfuse sau đây vào tệp .env trong thư mục cài đặt LibreChat của bạn:
| Key | Type | Description | Example |
|---|---|---|---|
| LANGFUSE_PUBLIC_KEY | string | Khóa công khai Langfuse của bạn. | LANGFUSE_PUBLIC_KEY=pk-lf-*** |
| LANGFUSE_SECRET_KEY | string | Khóa bí mật Langfuse của bạn. | LANGFUSE_SECRET_KEY=sk-lf-*** |
| LANGFUSE_BASE_URL | string | URL cơ sở của Langfuse API. | LANGFUSE_BASE_URL=https://cloud.langfuse.com |
Cấu hình ví dụ
# Langfuse Configuration
LANGFUSE_PUBLIC_KEY=pk-lf-***
LANGFUSE_SECRET_KEY=sk-lf-***
# 🇪🇺 EU Data Region
LANGFUSE_BASE_URL=https://cloud.langfuse.com
# 🇺🇸 US Data Region
# LANGFUSE_BASE_URL=https://us.cloud.langfuse.comTự lưu trữ Langfuse
Đối với các instance Langfuse tự lưu trữ (self-hosted), hãy đặt LANGFUSE_BASE_URL thành URL tùy chỉnh của bạn (ví dụ: http://localhost:3000 cho môi trường phát triển cục bộ).
Khởi động lại LibreChat
Sau khi thêm các biến môi trường, hãy khởi động lại instance LibreChat của bạn để áp dụng các thay đổi:
docker compose down
docker compose up -dXem các dấu vết (traces) trong Langfuse
Sau khi LibreChat được khởi động lại với Langfuse đã được cấu hình, bạn sẽ thấy một trace mới cho mỗi phản hồi tin nhắn trò chuyện trong giao diện người dùng Langfuse:
Liên kết đến dấu vết trong giao diện người dùng Langfuse
Điểm phản hồi tin nhắn
Khi tính năng theo dõi Langfuse được cấu hình, LibreChat cũng gửi phản hồi tin nhắn tới Langfuse dưới dạng điểm BOOLEAN user-feedback trên trace tương ứng. Đánh giá thích (thumbs-up) được gửi là 1, đánh giá không thích (thumbs-down) được gửi là 0, và bất kỳ thẻ phản hồi hoặc bình luận nào được chọn cũng sẽ được bao gồm trong điểm số đó. Việc xóa phản hồi sẽ xóa điểm số này.
Điểm phản hồi bao gồm siêu dữ liệu ngữ cảnh tin nhắn khi có sẵn, bao gồm ID tin nhắn, ID tin nhắn cha, ID cuộc hội thoại/phiên làm việc, ID người dùng, endpoint, người gửi, isCreatedByUser, số lượng token, xếp hạng và thẻ phản hồi. Các giá trị siêu dữ liệu trống sẽ bị lược bỏ trước khi điểm được gửi đi.
Điểm phản hồi sử dụng cùng thông tin xác thực Langfuse và URL cơ sở như tính năng theo dõi (tracing). Chúng cũng tuân thủ các cài đặt LANGFUSE_TRACING_ENABLED=false, LANGFUSE_SAMPLE_RATE=0 và LANGFUSE_TRACING_ENVIRONMENT. Việc gửi điểm là nỗ lực tối ưu (best-effort), vì vậy giao diện người dùng phản hồi sẽ không bị chặn nếu Langfuse tạm thời không khả dụng.
Hướng dẫn này thế nào?
Kiểm duyệt tự động
Cấu hình Hệ thống Kiểm duyệt Tự động. Hệ thống này sử dụng cơ chế chấm điểm để theo dõi các vi phạm của người dùng. Khi người dùng thực hiện các hành động như đăng nhập, đăng ký hoặc gửi tin nhắn quá mức, họ sẽ tích lũy điểm vi phạm. Khi đạt đến ngưỡng đã thiết lập, người dùng và địa chỉ IP của họ sẽ bị cấm tạm thời. Hệ thống này đảm bảo an ninh nền tảng bằng cách giám sát và xử phạt các hoạt động nhanh hoặc đáng ngờ.
Hệ thống ghi nhật ký
Tài liệu này giải thích cách sử dụng tính năng ghi nhật ký của LibreChat, tính năng này lưu các nhật ký lỗi và gỡ lỗi trong thư mục `/api/logs`. Bạn có thể sử dụng các nhật ký này để khắc phục sự cố, giám sát máy chủ và báo cáo lỗi. Bạn cũng có thể tắt nhật ký gỡ lỗi nếu muốn tiết kiệm dung lượng.