Benutzerdefinierte Endpoints

Fügen Sie LibreChat benutzerdefinierte KI-Anbieter wie OpenRouter, Ollama und Anthropic-kompatible Gateways über librechat.yaml hinzu

LibreChat unterstützt OpenAI API-kompatible Dienste als benutzerdefinierte endpoints. Es unterstützt außerdem Anthropic-kompatible benutzerdefinierte endpoints mit provider: "anthropic". Sie konfigurieren endpoints in librechat.yaml, speichern API-Schlüssel in .env und binden die Konfiguration über docker-compose.override.yml für Docker-Bereitstellungen ein.

Welche Datei bewirkt was?

Die Einrichtung eines benutzerdefinierten endpoint umfasst drei Dateien, von denen jede eine spezifische Rolle spielt:

librechat.yaml -- Definiert Ihre benutzerdefinierten endpoints (Name, API-URL, Modelle, Anzeigeeinstellungen)
.env -- Speichert sensible Werte wie API-Schlüssel (referenziert aus der librechat.yaml unter Verwendung der ${VAR_NAME}-Syntax)
docker-compose.override.yml -- Bindet librechat.yaml in den Docker-Container ein (nur für Docker-Benutzer)

Für einen vollständigen Überblick darüber, wie diese Dateien zusammenarbeiten, siehe die Konfigurationsübersicht.

Bevor Sie beginnen

Diese Anleitung setzt voraus, dass LibreChat installiert ist und ausgeführt wird. Falls nicht, schließen Sie zuerst die Docker-Einrichtung ab.

Schritt 1. librechat.yaml einbinden (nur Docker)

Docker-Benutzer müssen librechat.yaml als Volume einbinden, damit der Container darauf zugreifen kann. Überspringen Sie diesen Schritt, wenn Sie LibreChat lokal ohne Docker ausführen.

cp docker-compose.override.yml.example docker-compose.override.yml

Bearbeiten Sie docker-compose.override.yml und stellen Sie sicher, dass die Volume-Einbindung nicht auskommentiert ist:

services:
  api:
    volumes:
      - type: bind
        source: ./librechat.yaml
        target: /app/librechat.yaml

Mehr erfahren: Docker Override Guide

Schritt 2. Konfigurieren der librechat.yaml

Erstellen Sie eine librechat.yaml Datei im Projektstammverzeichnis (falls diese noch nicht existiert) und fügen Sie Ihre endpoint Konfiguration hinzu. Siehe den librechat.yaml guide für detaillierte Einrichtungsanweisungen.

Hier ist ein Beispiel mit OpenRouter, Ollama und einem Anthropic-kompatiblen Gateway:

version: 1.3.13
cache: true
endpoints:
  custom:
    - name: 'OpenRouter'
      apiKey: '${OPENROUTER_KEY}'
      baseURL: 'https://openrouter.ai/api/v1'
      models:
        default: ['meta-llama/llama-3-70b-instruct']
        fetch: true
      titleConvo: true
      titleModel: 'meta-llama/llama-3-70b-instruct'
      dropParams: ['stop']
      modelDisplayLabel: 'OpenRouter'
    - name: 'Ollama'
      apiKey: 'ollama'
      baseURL: 'http://host.docker.internal:11434/v1/'
      models:
        default: ['llama3:latest', 'command-r', 'mixtral', 'phi3']
        fetch: true
      titleConvo: true
      titleModel: 'current_model'
    - name: 'Claude-Compatible'
      provider: 'anthropic'
      apiKey: '${ANTHROPIC_API_KEY}'
      baseURL: 'https://api.anthropic.com'
      headers:
        anthropic-version: '2023-06-01'
      models:
        default: ['claude-sonnet-4-5']
        fetch: false
      titleConvo: true
      titleModel: 'claude-sonnet-4-5'

Durchsuchen Sie alle kompatiblen Anbieter im Abschnitt AI Endpoints. Die vollständige Feldreferenz finden Sie unter Custom Endpoint Object Structure.

Anthropic-kompatible Endpoints

Verwenden Sie provider: "anthropic" nur für Endpunkte, die die native Anthropic Messages API unterstützen. Für OpenAI-kompatible Gateways, die lediglich Anthropic-Modelle bereitstellen, lassen Sie provider weg und verwenden Sie das reguläre, OpenAI-kompatible Format für benutzerdefinierte Endpunkte.

API-Schlüssel-Konfiguration

Bei der Konfiguration von API-Schlüsseln in benutzerdefinierten endpoints haben Sie drei Optionen:

Umgebungsvariable (empfohlen): apiKey: "${OPENROUTER_KEY}" -- liest aus der .env
User provided: apiKey: "user_provided" -- Benutzer geben ihren eigenen Schlüssel in der UI ein
Direkter Wert (nicht empfohlen): apiKey: "sk-your-actual-key" -- im Klartext gespeichert

Schritt 3. Umgebungsvariablen festlegen

Fügen Sie die API-Schlüssel, auf die in Ihrer librechat.yaml verwiesen wird, zur .env Datei hinzu:

OPENROUTER_KEY=your_openrouter_api_key

Jede ${VARIABLE_NAME} in der librechat.yaml muss einen entsprechenden Eintrag in der .env haben.

Schritt 4. Neustart und Überprüfung

Nach dem Bearbeiten der Konfigurationsdateien müssen Sie LibreChat neu starten, damit die Änderungen wirksam werden.

docker compose down && docker compose up -d

Öffnen Sie LibreChat in Ihrem Browser. Ihre benutzerdefinierten endpoints sollten im Dropdown-Menü der endpoint-Auswahl erscheinen.

Siehst du deinen endpoint nicht?

Überprüfen Sie die Server-Logs auf Konfigurationsfehler:

docker compose logs api

Häufige Probleme: YAML-Syntaxfehler, fehlende Umgebungsvariablen oder librechat.yaml ist nicht in Docker eingebunden. Überprüfen Sie Ihr YAML mit dem YAML Validator.

OpenRouter erscheint weiterhin nicht

Für OpenRouter im Speziellen, überprüfen Sie die Drei-Dateien-Kette:

.env enthält OPENROUTER_KEY=...
librechat.yaml hat apiKey: "${OPENROUTER_KEY}" unter dem benutzerdefinierten OpenRouter-endpoint
Docker-Benutzer haben librechat.yaml in docker-compose.override.yml gemountet

Starten Sie dann neu mit:

docker compose down && docker compose up -d

Wenn der endpoint erscheint, aber 402 Payment Required zurückgibt, hat die Anfrage OpenRouter erfolgreich erreicht und das Problem liegt in der Regel an Kontoguthaben, Abrechnung oder der Modellverfügbarkeit auf OpenRouter.

Nächste Schritte

KI-Endpoints

Durchsuchen Sie alle kompatiblen KI-Anbieter mit Beispielkonfigurationen

→

librechat.yaml Anleitung

Vollständige Einrichtungsanleitung und Referenz für die Konfigurationsdatei

→