OpenRouter

OpenRouter는 OpenAI, Anthropic, Google, Meta, Mistral 및 기타 제공업체의 수백 가지 모델에 대한 요청을 단일 OpenAI 호환 endpoint를 통해 라우팅합니다.

API 키 발급받기

openrouter.ai에서 계정을 생성하고 Keys 페이지에서 키를 생성하세요. 키는 sk-or-v1-로 시작합니다. 이를 .env 파일에 추가하세요:

OPENROUTER_KEY=sk-or-v1-your-key-here

OPENROUTER_API_KEY가 아닌 OPENROUTER_KEY를 사용하세요

변수 이름은 반드시 OPENROUTER_KEY여야 합니다. OPENROUTER_API_KEY로 이름을 지정하면 내장된 OpenAI endpoint까지 OpenRouter를 통해 라우팅되는데, 이는 거의 의도한 바가 아닐 것입니다.

구성

librechat.yaml의 endpoints.custom 아래에 해당 endpoint를 추가하세요:

    - name: "OpenRouter"
      apiKey: "${OPENROUTER_KEY}"
      baseURL: "https://openrouter.ai/api/v1"
      models:
        default: ["meta-llama/llama-3-70b-instruct"]
        fetch: true
      titleConvo: true
      titleModel: "meta-llama/llama-3-70b-instruct"
      dropParams: ["stop"]
      modelDisplayLabel: "OpenRouter"

전체 카탈로그를 가져오는 대신 고정된 모델 목록을 고정(pin)하려면, fetch: false로 설정하고 모델을 직접 나열하세요:

      models:
        default: ["anthropic/claude-3.5-sonnet", "openai/gpt-4o", "meta-llama/llama-3-70b-instruct"]
        fetch: false

각 사용자가 .env에서 키를 읽어오는 대신 LibreChat UI를 통해 자신의 키를 직접 입력하도록 하려면 apiKey: "user_provided"로 설정하세요. 그러면 사용자가 endpoint를 선택할 때 키 입력 필드가 표시됩니다.

참고 사항

fetch: true를 설정하면, LibreChat이 OpenRouter에서 전체 모델 목록을 불러오므로 새로운 모델이 자동으로 나타납니다. default 배열은 초기 선택 항목일 뿐입니다.
dropParams: ["stop"]은 요청에서 stop 매개변수를 제거합니다. OpenRouter 모델은 다양한 stop 토큰을 사용하므로, 이를 제거하면 호환성 오류를 방지할 수 있습니다.
402 Payment Required 응답은 LibreChat이 아닌 OpenRouter에서 발생한 것입니다. OpenRouter 계정에 크레딧을 추가하거나 무료 모델을 선택한 후 다시 시도하세요.