Cohere

Cohere fornisce la famiglia di modelli Command, utilizzati in LibreChat come endpoint personalizzato. La sua API non segue le specifiche OpenAI, quindi si affida a un livello di compatibilità che mappa un sottoinsieme di parametri.

Ottieni una API key

Crea una chiave dalla dashboard di Cohere. Aggiungila al tuo file .env:

COHERE_API_KEY=your-api-key

Configurazione

Aggiungi l'endpoint sotto endpoints.custom nel tuo librechat.yaml:

    - name: "cohere"
      apiKey: "${COHERE_API_KEY}"
      baseURL: "https://api.cohere.ai/v1"
      models:
        default: ["command-r","command-r-plus","command-light","command-light-nightly","command","command-nightly"]
        fetch: false
      modelDisplayLabel: "cohere"
      titleModel: "command"
      dropParams: ["stop", "user", "frequency_penalty", "presence_penalty", "temperature", "top_p"]

Note

• Cohere non segue le specifiche OpenAI. Un livello di compatibilità mappa un sottoinsieme di parametri OpenAI agli equivalenti di Cohere: stop a stopSequences, top_p a p, frequency_penalty a frequencyPenalty e presence_penalty a presencePenalty (ciascuno con intervalli min/max differenti). model e stream sono condivisi e inviati per impostazione predefinita; max_tokens viene mappato a maxTokens ma non viene inviato per impostazione predefinita. L'esempio precedente utilizza dropParams per rimuovere la maggior parte di questi e ripiegare sulle impostazioni predefinite di Cohere.
• Per l'elenco completo dei parametri specifici di Cohere, consulta la documentazione dell'API di Cohere.