Vultr Cloud Inference

Vultr Cloud Inference menyajikan model terbuka melalui API yang kompatibel dengan OpenAI.

Dapatkan API key

Buat kunci dari konsol Vultr Cloud Inference. Tambahkan kunci tersebut ke file .env Anda:

VULTRINFERENCE_TOKEN=your-api-key

Konfigurasi

Tambahkan endpoint di bawah endpoints.custom dalam librechat.yaml Anda:

    - name: 'Vultr Cloud Inference'
      apiKey: '${VULTRINFERENCE_TOKEN}'
      baseURL: 'https://api.vultrinference.com/v1/chat/completions'
      models:
        default: [
          "llama2-7b-chat-Q5_K_M.gguf",
          "llama2-13b-chat-Q5_K_M.gguf",
          "mistral-7b-Q5_K_M.gguf",
          "zephyr-7b-beta-Q5_K_M.gguf",
        ]
        fetch: true
      titleConvo: true
      titleModel: "llama2-7b-chat-Q5_K_M.gguf"
      modelDisplayLabel: "Vultr Cloud Inference"

Catatan

Contoh tersebut mencantumkan empat model yang dioptimalkan untuk obrolan, terakhir diperbarui pada 28 Juni 2024.
Hanya llama2-7b-chat-Q5_K_M.gguf yang saat ini mendukung pembuatan judul.

Vultr Cloud Inference

Dapatkan API key

Konfigurasi

Catatan

Di halaman ini