Cohere

Cohere는 LibreChat에서 사용자 지정 endpoint로 사용되는 Command 모델 제품군을 제공합니다. 해당 API는 OpenAI 사양을 따르지 않으므로, 매개변수의 하위 집합을 매핑하는 호환성 계층에 의존합니다.

API 키 발급받기

Cohere 대시보드에서 키를 생성하세요. 해당 키를 .env 파일에 추가하세요:

COHERE_API_KEY=your-api-key

구성

librechat.yaml의 endpoints.custom 아래에 해당 endpoint를 추가하세요:

    - name: "cohere"
      apiKey: "${COHERE_API_KEY}"
      baseURL: "https://api.cohere.ai/v1"
      models:
        default: ["command-r","command-r-plus","command-light","command-light-nightly","command","command-nightly"]
        fetch: false
      modelDisplayLabel: "cohere"
      titleModel: "command"
      dropParams: ["stop", "user", "frequency_penalty", "presence_penalty", "temperature", "top_p"]

참고 사항

• Cohere는 OpenAI spec을 따르지 않습니다. 호환성 계층이 OpenAI 매개변수의 일부를 Cohere의 대응 항목으로 매핑합니다: stop은 stopSequences로, top_p는 p로, frequency_penalty는 frequencyPenalty로, presence_penalty는 presencePenalty로 매핑됩니다(각각 최소/최대 범위가 다름). model과 stream은 공유되며 기본적으로 전송됩니다. max_tokens는 maxTokens로 매핑되지만 기본적으로 전송되지는 않습니다. 위의 예시는 dropParams를 사용하여 이러한 매개변수 대부분을 제거하고 Cohere의 기본값으로 대체합니다.
• Cohere 관련 매개변수의 전체 목록은 Cohere API documentation을 참조하세요.