Databricks

Databricks menyajikan foundation models dan model yang Anda fine-tune sendiri melalui Mosaic AI Model Serving, yang mengekspos endpoint penyajian yang kompatibel dengan OpenAI.

Dapatkan API key

Daftar ke Databricks dan buat personal access token dari workspace Anda. Tambahkan ke file .env Anda:

DATABRICKS_API_KEY=your-api-key

Konfigurasi

Tambahkan endpoint di bawah endpoints.custom dalam librechat.yaml Anda:

    - name: 'Databricks'
      apiKey: '${DATABRICKS_API_KEY}'
      baseURL: 'https://your_databricks_serving_endpoint_url_here_ending_with/invocations'
      models:
        default: [
          "databricks-meta-llama-3-70b-instruct",
        ]
        fetch: false
      titleConvo: true
      titleModel: 'current_model'
      directEndpoint: true # required
      titleMessageRole: 'user' # required

Catatan

• Databricks mengekspos endpoint completions lengkap yang berakhiran invocations untuk serving-endpoints, sehingga directEndpoint diperlukan.
• Atur titleMessageRole ke user untuk pembuatan judul. Pesan system mandiri tidak didukung.