Cohere

Cohere dostarcza rodzinę modeli Command, używanych w LibreChat jako niestandardowy endpoint. Jego API nie jest zgodne ze specyfikacją OpenAI, dlatego opiera się na warstwie kompatybilności, która mapuje podzbiór parametrów.

Uzyskaj klucz API

Utwórz klucz z panelu nawigacyjnego Cohere. Dodaj go do swojego pliku .env:

COHERE_API_KEY=your-api-key

Konfiguracja

Dodaj endpoint w sekcji endpoints.custom w swoim librechat.yaml:

    - name: "cohere"
      apiKey: "${COHERE_API_KEY}"
      baseURL: "https://api.cohere.ai/v1"
      models:
        default: ["command-r","command-r-plus","command-light","command-light-nightly","command","command-nightly"]
        fetch: false
      modelDisplayLabel: "cohere"
      titleModel: "command"
      dropParams: ["stop", "user", "frequency_penalty", "presence_penalty", "temperature", "top_p"]

Uwagi

• Cohere nie jest zgodny ze specyfikacją OpenAI. Warstwa kompatybilności mapuje podzbiór parametrów OpenAI na odpowiedniki Cohere: stop na stopSequences, top_p na p, frequency_penalty na frequencyPenalty oraz presence_penalty na presencePenalty (każdy z innymi zakresami min/max). model oraz stream są współdzielone i wysyłane domyślnie; max_tokens mapuje się na maxTokens, ale nie jest wysyłany domyślnie. Powyższy przykład używa dropParams, aby usunąć większość z nich i powrócić do ustawień domyślnych Cohere.
• Pełną listę parametrów specyficznych dla Cohere można znaleźć w dokumentacji API Cohere.