LibreChatDatabricks
在 LibreChat 中将 Databricks 配置为自定义 endpoint。
Databricks 通过 Mosaic AI Model Serving 提供基础模型以及您自己微调的模型，该服务公开了一个兼容 OpenAI 的 serving endpoint。
获取 API key
注册 Databricks 并从您的工作区生成个人访问令牌。将其添加到您的 .env 文件中：
DATABRICKS_API_KEY=your-api-key配置
在你的 librechat.yaml 中，将 endpoint 添加到 endpoints.custom 下：
- name: 'Databricks'
apiKey: '${DATABRICKS_API_KEY}'
baseURL: 'https://your_databricks_serving_endpoint_url_here_ending_with/invocations'
models:
default: [
"databricks-meta-llama-3-70b-instruct",
]
fetch: false
titleConvo: true
titleModel: 'current_model'
directEndpoint: true # required
titleMessageRole: 'user' # required注意事项
- Databricks 为
serving-endpoints提供了一个以invocations结尾的完整补全 endpoint，因此需要使用 directEndpoint。 - 将 titleMessageRole 设置为
user以进行标题生成。不支持独立的system消息。
这篇指南怎么样？