Metryki

Ogólne

Możesz użyć Prometheus lub dowolnego innego narzędzia monitorującego zgodnego z OpenMetrics, aby uzyskać metryki dotyczące aktywnego użycia LibreChat. Obejmuje to informacje techniczne, takie jak zużycie tokenów, ale także informacje o użytkownikach końcowych, takie jak liczba wszystkich lub aktywnych użytkowników.

LibreChat udostępnia również wbudowane metryki Prometheus z serwera API pod adresem /metrics, gdy skonfigurowano METRICS_SECRET. Można je pobierać (scrape) za pomocą nagłówka Authorization: Bearer <METRICS_SECRET>. Wyniki proxy RUM w przeglądarce są raportowane jako rum_proxy_requests_total{endpoint,result}, gdzie endpoint to traces, logs lub unknown, a result może przyjmować wartości success, auth_drop, auth_error, bad_request, not_configured, collector_4xx, collector_5xx, collector_error lub collector_timeout.

Eksporter metryk jest dostępny pod adresem virtUOS/librechat_exporter. Jest to oddzielne narzędzie, które wdrażasz obok LibreChat.

Konfiguracja

Aby wdrożyć eksporter, wystarczy dodać niezbędny kontener do swojej konfiguracji compose w następujący sposób:

services:
  metrics:
    image: ghcr.io/virtuos/librechat_exporter:main
    depends_on:
      - mongodb
    ports:
      - '8000:8000'
    restart: unless-stopped

Opcjonalnie możesz również skonfigurować eksporter. Zazwyczaj jednak ustawienia domyślne powinny być wystarczające.

services:
  metrics:
    environment:
      - MONGODB_URI=mongodb://mongodb:27017/
      - LOGGING_LEVEL=info

Użycie

Możesz teraz dodać eksporter do swojej konfiguracji scrapowania Prometheus:

- job_name: librechat
  static_configs:
    - targets:
        - 'librechat.example.com:8000'

Gdy zbieranie metryk się rozpocznie, wyszukaj metryki librechat_* (np. librechat_registered_users). Exporter udostępnia kilka metryk.

Baw się dobrze podczas tworzenia swojego pulpitu nawigacyjnego Grafana!