Vultr Cloud Inference

LibreChatでVultr Cloud Inferenceをカスタムendpointとして設定します。

Vultr Cloud Inference は、OpenAI 互換 API を通じてオープンモデルを提供します。

APIキーを取得する

Vultr Cloud Inference コンソールからキーを作成します。それを .env ファイルに追加してください：

VULTRINFERENCE_TOKEN=your-api-key

設定

librechat.yaml の endpoints.custom の下にエンドポイントを追加します：

    - name: 'Vultr Cloud Inference'
      apiKey: '${VULTRINFERENCE_TOKEN}'
      baseURL: 'https://api.vultrinference.com/v1/chat/completions'
      models:
        default: [
          "llama2-7b-chat-Q5_K_M.gguf",
          "llama2-13b-chat-Q5_K_M.gguf",
          "mistral-7b-Q5_K_M.gguf",
          "zephyr-7b-beta-Q5_K_M.gguf",
        ]
        fetch: true
      titleConvo: true
      titleModel: "llama2-7b-chat-Q5_K_M.gguf"
      modelDisplayLabel: "Vultr Cloud Inference"

注記

この例では、チャット用に最適化された4つのモデルをリストアップしており、最終更新日は2024年6月28日です。
現在、タイトル生成をサポートしているのは llama2-7b-chat-Q5_K_M.gguf のみです。

このガイドはいかがでしたか？