Databricks

在 LibreChat 中将 Databricks 配置为自定义 endpoint。

Databricks 通过 Mosaic AI Model Serving 提供基础模型以及您自己微调的模型，该服务公开了一个兼容 OpenAI 的 serving endpoint。

获取 API key

DATABRICKS_API_KEY=your-api-key

配置

在你的 librechat.yaml 中，将 endpoint 添加到 endpoints.custom 下：

    - name: 'Databricks'
      apiKey: '${DATABRICKS_API_KEY}'
      baseURL: 'https://your_databricks_serving_endpoint_url_here_ending_with/invocations'
      models:
        default: [
          "databricks-meta-llama-3-70b-instruct",
        ]
        fetch: false
      titleConvo: true
      titleModel: 'current_model'
      directEndpoint: true # required
      titleMessageRole: 'user' # required

注意事项

Databricks 为 serving-endpoints 提供了一个以 invocations 结尾的完整补全 endpoint，因此需要使用 directEndpoint。
将 titleMessageRole 设置为 user 以进行标题生成。不支持独立的 system 消息。

这篇指南怎么样？