Vultr Cloud Inference

LibreChat에서 Vultr Cloud Inference를 사용자 지정 endpoint로 구성하세요.

Vultr Cloud Inference는 OpenAI 호환 API를 통해 오픈 모델을 제공합니다.

API 키 발급받기

Vultr Cloud Inference 콘솔에서 키를 생성하세요. 해당 키를 .env 파일에 추가하세요:

VULTRINFERENCE_TOKEN=your-api-key

구성

librechat.yaml의 endpoints.custom 아래에 해당 endpoint를 추가하세요:

    - name: 'Vultr Cloud Inference'
      apiKey: '${VULTRINFERENCE_TOKEN}'
      baseURL: 'https://api.vultrinference.com/v1/chat/completions'
      models:
        default: [
          "llama2-7b-chat-Q5_K_M.gguf",
          "llama2-13b-chat-Q5_K_M.gguf",
          "mistral-7b-Q5_K_M.gguf",
          "zephyr-7b-beta-Q5_K_M.gguf",
        ]
        fetch: true
      titleConvo: true
      titleModel: "llama2-7b-chat-Q5_K_M.gguf"
      modelDisplayLabel: "Vultr Cloud Inference"

참고 사항

이 예시는 2024년 6월 28일에 마지막으로 업데이트된, 채팅에 최적화된 4가지 모델을 나열합니다.
현재 llama2-7b-chat-Q5_K_M.gguf만이 제목 생성을 지원합니다.