Databricks

Databricks, OpenAI uyumlu bir serving endpoint sunan Mosaic AI Model Serving aracılığıyla temel modelleri ve kendi ince ayar yaptığınız modellerinizi sunar.

Bir API anahtarı alın

Databricks'e kaydolun ve çalışma alanınızdan bir kişisel erişim belirteci (personal access token) oluşturun. Bunu .env dosyanıza ekleyin:

DATABRICKS_API_KEY=your-api-key

Yapılandırma

librechat.yaml dosyanızda endpoints.custom altına endpoint'i ekleyin:

    - name: 'Databricks'
      apiKey: '${DATABRICKS_API_KEY}'
      baseURL: 'https://your_databricks_serving_endpoint_url_here_ending_with/invocations'
      models:
        default: [
          "databricks-meta-llama-3-70b-instruct",
        ]
        fetch: false
      titleConvo: true
      titleModel: 'current_model'
      directEndpoint: true # required
      titleMessageRole: 'user' # required

Notlar

• Databricks, serving-endpoints için invocations ile biten tam bir completions endpoint'i sunar, bu nedenle directEndpoint gereklidir.
• Başlık oluşturma için titleMessageRole değerini user olarak ayarlayın. Tek başına bir system mesajı desteklenmemektedir.