Databricks

Databricks stellt Basismodelle und Ihre eigenen feinabgestimmten Modelle über Mosaic AI Model Serving bereit, welches einen OpenAI-kompatiblen endpoint für das Serving zur Verfügung stellt.

Einen API-Schlüssel erhalten

Registrieren Sie sich für Databricks und generieren Sie ein persönliches Zugriffstoken (Personal Access Token) über Ihren Workspace. Fügen Sie es Ihrer .env Datei hinzu:

DATABRICKS_API_KEY=your-api-key

Konfiguration

Fügen Sie den endpoint unter endpoints.custom in Ihrer librechat.yaml hinzu:

    - name: 'Databricks'
      apiKey: '${DATABRICKS_API_KEY}'
      baseURL: 'https://your_databricks_serving_endpoint_url_here_ending_with/invocations'
      models:
        default: [
          "databricks-meta-llama-3-70b-instruct",
        ]
        fetch: false
      titleConvo: true
      titleModel: 'current_model'
      directEndpoint: true # required
      titleMessageRole: 'user' # required

Hinweise

• Databricks stellt einen vollständigen Completions-endpoint bereit, der auf invocations für serving-endpoints endet, daher ist directEndpoint erforderlich.
• Setzen Sie titleMessageRole für die Titelgenerierung auf user. Eine eigenständige system-Nachricht wird nicht unterstützt.