Metrieken

Algemeen

Je kunt Prometheus of elke andere OpenMetrics-compatibele monitoringtool gebruiken om statistieken te verkrijgen over het actieve gebruik van LibreChat. Dit omvat technische informatie zoals het verbruik van tokens, maar ook informatie over eindgebruikers, zoals het aantal totale of actieve gebruikers.

LibreChat stelt ook ingebouwde Prometheus-metrieken van de API-server bloot op /metrics wanneer METRICS_SECRET is geconfigureerd. Scrape deze met Authorization: Bearer <METRICS_SECRET>. Browser RUM-proxyresultaten worden gerapporteerd als rum_proxy_requests_total{endpoint,result}, waarbij endpoint traces, logs of unknown is, en result kan zijn: success, auth_drop, auth_error, bad_request, not_configured, collector_4xx, collector_5xx, collector_error of collector_timeout.

De metrics exporter is beschikbaar op virtUOS/librechat_exporter. Het is een afzonderlijke tool die je naast LibreChat implementeert.

Setup

Om de exporter te implementeren, voeg je simpelweg de benodigde container toe aan je compose-configuratie zoals hieronder:

services:
  metrics:
    image: ghcr.io/virtuos/librechat_exporter:main
    depends_on:
      - mongodb
    ports:
      - '8000:8000'
    restart: unless-stopped

Je kunt optioneel ook de exporter configureren. Maar meestal zouden de standaardinstellingen prima moeten volstaan.

services:
  metrics:
    environment:
      - MONGODB_URI=mongodb://mongodb:27017/
      - LOGGING_LEVEL=info

Gebruik

Je kunt de exporter nu toevoegen aan je Prometheus scrape-configuratie:

- job_name: librechat
  static_configs:
    - targets:
        - 'librechat.example.com:8000'

Zodra het scrapen van de metrics is gestart, zoek naar librechat_* metrics (bijv. librechat_registered_users). De exporter biedt verschillende metrics.

Veel plezier met het bouwen van je Grafana-dashboard!