Databricks

DatabricksをLibreChatのカスタムendpointとして設定します。

Databricksは、Mosaic AI Model Servingを通じて基盤モデルおよび独自のファインチューニング済みモデルを提供しており、OpenAI互換のserving endpointを公開しています。

APIキーを取得する

Databricksにサインアップし、ワークスペースからパーソナルアクセストークンを生成します。それを.envファイルに追加してください：

DATABRICKS_API_KEY=your-api-key

設定

librechat.yaml の endpoints.custom の下にエンドポイントを追加します：

    - name: 'Databricks'
      apiKey: '${DATABRICKS_API_KEY}'
      baseURL: 'https://your_databricks_serving_endpoint_url_here_ending_with/invocations'
      models:
        default: [
          "databricks-meta-llama-3-70b-instruct",
        ]
        fetch: false
      titleConvo: true
      titleModel: 'current_model'
      directEndpoint: true # required
      titleMessageRole: 'user' # required

注記

Databricksは serving-endpoints に対して invocations で終わる完全な補完用endpointを公開しているため、directEndpoint が必要です。
タイトル生成のために titleMessageRole を user に設定してください。スタンドアロンの system メッセージはサポートされていません。

このガイドはいかがでしたか？