Cohere

Cohere cung cấp dòng mô hình Command, được sử dụng trong LibreChat như một endpoint tùy chỉnh. API của nó không tuân theo spec của OpenAI, vì vậy nó dựa vào một lớp tương thích để ánh xạ một tập hợp con các tham số.

Nhận API key

Tạo một khóa từ Cohere dashboard. Thêm khóa đó vào tệp .env của bạn:

COHERE_API_KEY=your-api-key

Cấu hình

Thêm endpoint vào dưới endpoints.custom trong tệp librechat.yaml của bạn:

    - name: "cohere"
      apiKey: "${COHERE_API_KEY}"
      baseURL: "https://api.cohere.ai/v1"
      models:
        default: ["command-r","command-r-plus","command-light","command-light-nightly","command","command-nightly"]
        fetch: false
      modelDisplayLabel: "cohere"
      titleModel: "command"
      dropParams: ["stop", "user", "frequency_penalty", "presence_penalty", "temperature", "top_p"]

Ghi chú

• Cohere không tuân theo OpenAI spec. Một lớp tương thích sẽ ánh xạ một tập hợp con các tham số của OpenAI sang các tham số tương đương của Cohere: stop sang stopSequences, top_p sang p, frequency_penalty sang frequencyPenalty, và presence_penalty sang presencePenalty (mỗi tham số có phạm vi min/max khác nhau). model và stream được chia sẻ và gửi theo mặc định; max_tokens ánh xạ sang maxTokens nhưng không được gửi theo mặc định. Ví dụ trên sử dụng dropParams để loại bỏ hầu hết các tham số này và quay lại sử dụng các giá trị mặc định của Cohere.
• Để biết danh sách đầy đủ các tham số dành riêng cho Cohere, hãy xem tài liệu API của Cohere.