Số liệu thống kê

Tổng quan

Bạn có thể sử dụng Prometheus hoặc bất kỳ công cụ giám sát tương thích OpenMetrics nào khác để lấy các số liệu về việc sử dụng LibreChat. Điều này bao gồm các thông tin kỹ thuật như mức sử dụng token, cũng như thông tin về người dùng cuối như tổng số người dùng hoặc số người dùng đang hoạt động.

LibreChat cũng cung cấp các chỉ số Prometheus tích hợp từ máy chủ API tại /metrics khi METRICS_SECRET được cấu hình. Hãy thu thập dữ liệu này với Authorization: Bearer <METRICS_SECRET>. Các kết quả proxy RUM của trình duyệt được báo cáo dưới dạng rum_proxy_requests_total{endpoint,result}, trong đó endpoint là traces, logs, hoặc unknown, và result có thể là success, auth_drop, auth_error, bad_request, not_configured, collector_4xx, collector_5xx, collector_error, hoặc collector_timeout.

Trình xuất số liệu (metrics exporter) có sẵn tại virtUOS/librechat_exporter. Đây là một công cụ riêng biệt mà bạn triển khai cùng với LibreChat.

Thiết lập

Để triển khai exporter, chỉ cần thêm container cần thiết vào cấu hình compose của bạn như sau:

services:
  metrics:
    image: ghcr.io/virtuos/librechat_exporter:main
    depends_on:
      - mongodb
    ports:
      - '8000:8000'
    restart: unless-stopped

Bạn cũng có thể tùy chọn cấu hình trình xuất (exporter). Tuy nhiên, thông thường các thiết lập mặc định đã là đủ dùng.

services:
  metrics:
    environment:
      - MONGODB_URI=mongodb://mongodb:27017/
      - LOGGING_LEVEL=info

Cách sử dụng

Bây giờ bạn có thể thêm exporter vào cấu hình scrape của Prometheus:

- job_name: librechat
  static_configs:
    - targets:
        - 'librechat.example.com:8000'

Khi quá trình thu thập số liệu (metrics) đã bắt đầu, hãy tìm các số liệu có tiền tố librechat_* (ví dụ: librechat_registered_users). Bộ xuất dữ liệu (exporter) cung cấp một số số liệu.

Chúc bạn xây dựng dashboard Grafana thật vui vẻ!