Databricks

Databricks phục vụ các mô hình nền tảng và các mô hình do bạn tự tinh chỉnh thông qua Mosaic AI Model Serving, vốn cung cấp một endpoint phục vụ tương thích với OpenAI.

Nhận API key

Đăng ký Databricks và tạo một personal access token từ workspace của bạn. Thêm nó vào tệp .env của bạn:

DATABRICKS_API_KEY=your-api-key

Cấu hình

Thêm endpoint vào dưới endpoints.custom trong tệp librechat.yaml của bạn:

    - name: 'Databricks'
      apiKey: '${DATABRICKS_API_KEY}'
      baseURL: 'https://your_databricks_serving_endpoint_url_here_ending_with/invocations'
      models:
        default: [
          "databricks-meta-llama-3-70b-instruct",
        ]
        fetch: false
      titleConvo: true
      titleModel: 'current_model'
      directEndpoint: true # required
      titleMessageRole: 'user' # required

Ghi chú

• Databricks cung cấp một endpoint completions đầy đủ kết thúc bằng invocations cho serving-endpoints, vì vậy directEndpoint là bắt buộc.
• Đặt titleMessageRole thành user để tạo tiêu đề. Một thông báo system độc lập không được hỗ trợ.