OpenRouter

OpenRouter định tuyến các yêu cầu đến hàng trăm mô hình từ OpenAI, Anthropic, Google, Meta, Mistral và các nhà cung cấp khác thông qua một endpoint duy nhất tương thích với OpenAI.

Nhận API key

Tạo một tài khoản tại openrouter.ai và tạo khóa từ trang Keys. Khóa này bắt đầu bằng sk-or-v1-. Thêm nó vào tệp .env của bạn:

OPENROUTER_KEY=sk-or-v1-your-key-here

Cấu hình

Thêm endpoint vào dưới endpoints.custom trong tệp librechat.yaml của bạn:

    - name: "OpenRouter"
      apiKey: "${OPENROUTER_KEY}"
      baseURL: "https://openrouter.ai/api/v1"
      models:
        default: ["meta-llama/llama-3-70b-instruct"]
        fetch: true
      titleConvo: true
      titleModel: "meta-llama/llama-3-70b-instruct"
      dropParams: ["stop"]
      modelDisplayLabel: "OpenRouter"

Để ghim một danh sách mô hình cố định thay vì tìm nạp toàn bộ danh mục, hãy đặt fetch: false và tự liệt kê các mô hình của bạn:

      models:
        default: ["anthropic/claude-3.5-sonnet", "openai/gpt-4o", "meta-llama/llama-3-70b-instruct"]
        fetch: false

Để cho phép mỗi người dùng tự cung cấp khóa riêng thông qua giao diện người dùng LibreChat thay vì đọc từ .env, hãy đặt apiKey: "user_provided". Người dùng sau đó sẽ thấy một trường nhập khóa khi họ chọn endpoint.

Ghi chú

• Với fetch: true, LibreChat sẽ tải danh sách đầy đủ các model từ OpenRouter để các model mới xuất hiện một cách tự động. Mảng default chỉ là lựa chọn ban đầu.
• dropParams: ["stop"] loại bỏ tham số stop khỏi các yêu cầu. Các model của OpenRouter sử dụng nhiều token dừng khác nhau, và việc loại bỏ tham số này giúp tránh các lỗi tương thích.
• Phản hồi 402 Payment Required đến từ OpenRouter chứ không phải LibreChat. Hãy nạp thêm tín dụng hoặc chọn một mô hình miễn phí trong tài khoản OpenRouter của bạn, sau đó thử lại.