Metriken

Allgemein

Sie können Prometheus oder ein anderes mit OpenMetrics kompatibles Überwachungstool verwenden, um Metriken zur aktiven Nutzung von LibreChat zu erhalten. Dies umfasst technische Informationen wie die Nutzung von Tokens, aber auch Informationen über Endbenutzer, wie die Anzahl der gesamten oder aktiven Benutzer.

LibreChat stellt außerdem integrierte Prometheus-Metriken vom API-Server unter /metrics bereit, wenn METRICS_SECRET konfiguriert ist. Scrapen Sie diese mit Authorization: Bearer <METRICS_SECRET>. Die Ergebnisse des Browser-RUM-Proxys werden als rum_proxy_requests_total{endpoint,result} gemeldet, wobei endpoint entweder traces, logs oder unknown ist und result entweder success, auth_drop, auth_error, bad_request, not_configured, collector_4xx, collector_5xx, collector_error oder collector_timeout sein kann.

Der Metrics Exporter ist unter virtUOS/librechat_exporter verfügbar. Es handelt sich um ein separates Tool, das Sie parallel zu LibreChat bereitstellen.

Einrichtung

Um den Exporter bereitzustellen, fügen Sie einfach den erforderlichen Container wie folgt zu Ihrer compose-Konfiguration hinzu:

services:
  metrics:
    image: ghcr.io/virtuos/librechat_exporter:main
    depends_on:
      - mongodb
    ports:
      - '8000:8000'
    restart: unless-stopped

Sie können optional auch den Exporter konfigurieren. Normalerweise sollten die Standardeinstellungen jedoch völlig ausreichen.

services:
  metrics:
    environment:
      - MONGODB_URI=mongodb://mongodb:27017/
      - LOGGING_LEVEL=info

Verwendung

Sie können den Exporter jetzt zu Ihrer Prometheus-Scrape-Konfiguration hinzufügen:

- job_name: librechat
  static_configs:
    - targets:
        - 'librechat.example.com:8000'

Sobald das Scraping der Metriken begonnen hat, suchen Sie nach librechat_* Metriken (z. B. librechat_registered_users). Der Exporter stellt verschiedene Metriken bereit.

Viel Spaß beim Erstellen Ihres Grafana-Dashboards!