Skip to main content

LibreChat is joining ClickHouse. Learn more

LibreChat

OpenRouter

Configura OpenRouter come endpoint personalizzato in LibreChat.

OpenRouter instrada le richieste verso centinaia di modelli di OpenAI, Anthropic, Google, Meta, Mistral e altri provider attraverso un singolo endpoint compatibile con OpenAI.

Ottieni una API key

Crea un account su openrouter.ai e genera una chiave dalla pagina Keys. La chiave inizia con sk-or-v1-. Aggiungila al tuo file .env:

OPENROUTER_KEY=sk-or-v1-your-key-here

Usa OPENROUTER_KEY, non OPENROUTER_API_KEY

La variabile deve essere chiamata OPENROUTER_KEY. Chiamarla OPENROUTER_API_KEY reindirizza anche l'endpoint OpenAI integrato tramite OpenRouter, il che non è quasi mai ciò che si desidera.

Configurazione

Aggiungi l'endpoint sotto endpoints.custom nel tuo librechat.yaml:

    - name: "OpenRouter"
      apiKey: "${OPENROUTER_KEY}"
      baseURL: "https://openrouter.ai/api/v1"
      models:
        default: ["meta-llama/llama-3-70b-instruct"]
        fetch: true
      titleConvo: true
      titleModel: "meta-llama/llama-3-70b-instruct"
      dropParams: ["stop"]
      modelDisplayLabel: "OpenRouter"

Per fissare un elenco di modelli specifico invece di recuperare l'intero catalogo, imposta fetch: false ed elenca tu stesso i modelli:

      models:
        default: ["anthropic/claude-3.5-sonnet", "openai/gpt-4o", "meta-llama/llama-3-70b-instruct"]
        fetch: false

Per consentire a ogni utente di fornire la propria chiave tramite l'interfaccia utente di LibreChat invece di leggerne una da .env, imposta apiKey: "user_provided". Gli utenti vedranno quindi un campo di inserimento della chiave quando selezionano l'endpoint.

Note

  • Con fetch: true, LibreChat carica l'elenco completo dei modelli da OpenRouter, così i nuovi modelli appaiono automaticamente. L'array default rappresenta solo la selezione iniziale.
  • dropParams: ["stop"] rimuove il parametro stop dalle richieste. I modelli OpenRouter utilizzano token di stop variabili e rimuoverlo evita errori di compatibilità.
  • Una risposta 402 Payment Required proviene da OpenRouter, non da LibreChat. Aggiungi crediti o seleziona un modello gratuito nel tuo account OpenRouter, quindi riprova.

Com’è questa guida?