Skip to main content

LibreChat is joining ClickHouse. Learn more

LibreChat

Cohere

Konfigurasikan Cohere sebagai endpoint kustom di LibreChat.

Cohere menyediakan keluarga model Command, yang digunakan di LibreChat sebagai endpoint kustom. API-nya tidak mengikuti spesifikasi OpenAI, sehingga bergantung pada lapisan kompatibilitas yang memetakan subset parameter.

Dapatkan API key

Buat kunci dari Cohere dashboard. Tambahkan ke file .env Anda:

COHERE_API_KEY=your-api-key

Konfigurasi

Tambahkan endpoint di bawah endpoints.custom dalam librechat.yaml Anda:

    - name: "cohere"
      apiKey: "${COHERE_API_KEY}"
      baseURL: "https://api.cohere.ai/v1"
      models:
        default: ["command-r","command-r-plus","command-light","command-light-nightly","command","command-nightly"]
        fetch: false
      modelDisplayLabel: "cohere"
      titleModel: "command"
      dropParams: ["stop", "user", "frequency_penalty", "presence_penalty", "temperature", "top_p"]

Catatan

  • Cohere tidak mengikuti spesifikasi OpenAI. Lapisan kompatibilitas memetakan subset parameter OpenAI ke padanan Cohere: stop ke stopSequences, top_p ke p, frequency_penalty ke frequencyPenalty, dan presence_penalty ke presencePenalty (masing-masing dengan rentang min/maks yang berbeda). model dan stream digunakan bersama dan dikirim secara default; max_tokens dipetakan ke maxTokens tetapi tidak dikirim secara default. Contoh di atas menggunakan dropParams untuk menghapus sebagian besar parameter ini dan kembali ke pengaturan default Cohere.
  • Untuk daftar lengkap parameter khusus Cohere, lihat dokumentasi API Cohere.

Bagaimana panduan ini?