Cohere

Cohere stellt die Command-Modellfamilie bereit, die in LibreChat als benutzerdefinierter endpoint verwendet wird. Da die API nicht der OpenAI-Spezifikation folgt, basiert sie auf einer Kompatibilitätsschicht, die eine Teilmenge der Parameter zuordnet.

Einen API-Schlüssel erhalten

Erstellen Sie einen Schlüssel über das Cohere dashboard. Fügen Sie diesen Ihrer .env Datei hinzu:

COHERE_API_KEY=your-api-key

Konfiguration

Fügen Sie den endpoint unter endpoints.custom in Ihrer librechat.yaml hinzu:

    - name: "cohere"
      apiKey: "${COHERE_API_KEY}"
      baseURL: "https://api.cohere.ai/v1"
      models:
        default: ["command-r","command-r-plus","command-light","command-light-nightly","command","command-nightly"]
        fetch: false
      modelDisplayLabel: "cohere"
      titleModel: "command"
      dropParams: ["stop", "user", "frequency_penalty", "presence_penalty", "temperature", "top_p"]

Hinweise

• Cohere folgt nicht der OpenAI-Spezifikation. Eine Kompatibilitätsschicht bildet eine Teilmenge der OpenAI-Parameter auf die Äquivalente von Cohere ab: stop auf stopSequences, top_p auf p, frequency_penalty auf frequencyPenalty und presence_penalty auf presencePenalty (jeweils mit unterschiedlichen Min/Max-Bereichen). model und stream werden gemeinsam genutzt und standardmäßig gesendet; max_tokens wird auf maxTokens abgebildet, wird aber standardmäßig nicht gesendet. Das obige Beispiel verwendet dropParams, um die meisten dieser Parameter zu entfernen und auf die Standardwerte von Cohere zurückzugreifen.
• Für die vollständige Liste der Cohere-spezifischen Parameter siehe die Cohere API documentation.