OpenRouter

OpenRouter kieruje zapytania do setek modeli od OpenAI, Anthropic, Google, Meta, Mistral i innych dostawców za pośrednictwem pojedynczego endpoint zgodnego z OpenAI.

Uzyskaj klucz API

Utwórz konto na openrouter.ai i wygeneruj klucz na stronie Keys. Klucz zaczyna się od sk-or-v1-. Dodaj go do swojego pliku .env:

OPENROUTER_KEY=sk-or-v1-your-key-here

Konfiguracja

Dodaj endpoint w sekcji endpoints.custom w swoim librechat.yaml:

    - name: "OpenRouter"
      apiKey: "${OPENROUTER_KEY}"
      baseURL: "https://openrouter.ai/api/v1"
      models:
        default: ["meta-llama/llama-3-70b-instruct"]
        fetch: true
      titleConvo: true
      titleModel: "meta-llama/llama-3-70b-instruct"
      dropParams: ["stop"]
      modelDisplayLabel: "OpenRouter"

Aby przypiąć stałą listę modeli zamiast pobierać pełny katalog, ustaw fetch: false i samodzielnie wypisz modele:

      models:
        default: ["anthropic/claude-3.5-sonnet", "openai/gpt-4o", "meta-llama/llama-3-70b-instruct"]
        fetch: false

Aby pozwolić każdemu użytkownikowi na podanie własnego klucza przez interfejs LibreChat zamiast odczytywania go z pliku .env, ustaw apiKey: "user_provided". Użytkownicy zobaczą wtedy pole wprowadzania klucza po wybraniu danego endpoint.

Uwagi

• Dzięki fetch: true, LibreChat pobiera pełną listę modeli z OpenRouter, więc nowe modele pojawiają się automatycznie. Tablica default stanowi jedynie początkowy wybór.
• dropParams: ["stop"] usuwa parametr stop z żądań. Modele OpenRouter używają różnych tokenów stopu, a jego usunięcie pozwala uniknąć błędów kompatybilności.
• Odpowiedź 402 Payment Required pochodzi z OpenRouter, a nie z LibreChat. Doładuj środki lub wybierz darmowy model na swoim koncie OpenRouter, a następnie spróbuj ponownie.