OpenRouter

OpenRouter leitet Anfragen an Hunderte von Modellen von OpenAI, Anthropic, Google, Meta, Mistral und anderen Anbietern über einen einzigen OpenAI-kompatiblen endpoint weiter.

Einen API-Schlüssel erhalten

Erstellen Sie ein Konto unter openrouter.ai und generieren Sie einen Schlüssel auf der Keys-Seite. Der Schlüssel beginnt mit sk-or-v1-. Fügen Sie ihn Ihrer .env Datei hinzu:

OPENROUTER_KEY=sk-or-v1-your-key-here

Verwenden Sie OPENROUTER_KEY, nicht OPENROUTER_API_KEY

Die Variable muss OPENROUTER_KEY genannt werden. Die Benennung als OPENROUTER_API_KEY leitet auch den integrierten OpenAI endpoint über OpenRouter um, was fast nie das ist, was Sie beabsichtigen.

Konfiguration

Fügen Sie den endpoint unter endpoints.custom in Ihrer librechat.yaml hinzu:

    - name: "OpenRouter"
      apiKey: "${OPENROUTER_KEY}"
      baseURL: "https://openrouter.ai/api/v1"
      models:
        default: ["meta-llama/llama-3-70b-instruct"]
        fetch: true
      titleConvo: true
      titleModel: "meta-llama/llama-3-70b-instruct"
      dropParams: ["stop"]
      modelDisplayLabel: "OpenRouter"

Um eine feste Modellliste anzupinnen, anstatt den vollständigen Katalog abzurufen, setzen Sie fetch: false und listen Sie die Modelle selbst auf:

      models:
        default: ["anthropic/claude-3.5-sonnet", "openai/gpt-4o", "meta-llama/llama-3-70b-instruct"]
        fetch: false

Damit jeder Benutzer seinen eigenen Schlüssel über die LibreChat UI eingeben kann, anstatt ihn aus der .env zu lesen, setzen Sie apiKey: "user_provided". Benutzer sehen dann ein Eingabefeld für den Schlüssel, wenn sie den endpoint auswählen.

Hinweise

Mit fetch: true lädt LibreChat die vollständige Modellliste von OpenRouter, sodass neue Modelle automatisch erscheinen. Das default-Array ist lediglich die anfängliche Auswahl.
dropParams: ["stop"] entfernt den stop-Parameter aus Anfragen. OpenRouter-Modelle verwenden unterschiedliche Stop-Token, und das Entfernen verhindert Kompatibilitätsfehler.
Eine 402 Payment Required-Antwort stammt von OpenRouter, nicht von LibreChat. Fügen Sie Guthaben hinzu oder wählen Sie ein kostenloses Modell in Ihrem OpenRouter-Konto aus und versuchen Sie es dann erneut.