Skip to main content
LibreChat is joining ClickHouse to power the open-source Agentic Data Stack 🎉 Learn more
LibreChat

Cohere

Konfigurasikan Cohere sebagai endpoint kustom di LibreChat.

Cohere menyediakan keluarga model Command, yang digunakan di LibreChat sebagai endpoint kustom. API-nya tidak mengikuti spesifikasi OpenAI, sehingga bergantung pada lapisan kompatibilitas yang memetakan subset parameter.

Dapatkan API key

Buat kunci dari Cohere dashboard. Tambahkan ke file .env Anda:

COHERE_API_KEY=your-api-key

Konfigurasi

Tambahkan endpoint di bawah endpoints.custom dalam librechat.yaml Anda:

    - name: "cohere"
      apiKey: "${COHERE_API_KEY}"
      baseURL: "https://api.cohere.ai/v1"
      models:
        default: ["command-r","command-r-plus","command-light","command-light-nightly","command","command-nightly"]
        fetch: false
      modelDisplayLabel: "cohere"
      titleModel: "command"
      dropParams: ["stop", "user", "frequency_penalty", "presence_penalty", "temperature", "top_p"]

Catatan

  • Cohere tidak mengikuti spesifikasi OpenAI. Lapisan kompatibilitas memetakan subset parameter OpenAI ke padanan Cohere: stop ke stopSequences, top_p ke p, frequency_penalty ke frequencyPenalty, dan presence_penalty ke presencePenalty (masing-masing dengan rentang min/maks yang berbeda). model dan stream digunakan bersama dan dikirim secara default; max_tokens dipetakan ke maxTokens tetapi tidak dikirim secara default. Contoh di atas menggunakan dropParams untuk menghapus sebagian besar parameter ini dan kembali ke pengaturan default Cohere.
  • Untuk daftar lengkap parameter khusus Cohere, lihat dokumentasi API Cohere.

Bagaimana panduan ini?