Databricks

Databricks serveert foundation models en je eigen fine-tuned modellen via Mosaic AI Model Serving, dat een OpenAI-compatibel serving endpoint beschikbaar stelt.

Een API-sleutel verkrijgen

Meld je aan voor Databricks en genereer een persoonlijke toegangstoken vanuit je workspace. Voeg deze toe aan je .env bestand:

DATABRICKS_API_KEY=your-api-key

Configuratie

Voeg het endpoint toe onder endpoints.custom in je librechat.yaml:

    - name: 'Databricks'
      apiKey: '${DATABRICKS_API_KEY}'
      baseURL: 'https://your_databricks_serving_endpoint_url_here_ending_with/invocations'
      models:
        default: [
          "databricks-meta-llama-3-70b-instruct",
        ]
        fetch: false
      titleConvo: true
      titleModel: 'current_model'
      directEndpoint: true # required
      titleMessageRole: 'user' # required

Opmerkingen

• Databricks stelt een volledig completions endpoint beschikbaar dat eindigt op invocations voor serving-endpoints, dus directEndpoint is vereist.
• Stel titleMessageRole in op user voor het genereren van titels. Een op zichzelf staand system bericht wordt niet ondersteund.