Databricks

Databricks fornisce modelli di base e i tuoi modelli ottimizzati tramite Mosaic AI Model Serving, che espone un endpoint di servizio compatibile con OpenAI.

Ottieni una API key

Registrati a Databricks e genera un personal access token dal tuo workspace. Aggiungilo al tuo file .env:

DATABRICKS_API_KEY=your-api-key

Configurazione

Aggiungi l'endpoint sotto endpoints.custom nel tuo librechat.yaml:

    - name: 'Databricks'
      apiKey: '${DATABRICKS_API_KEY}'
      baseURL: 'https://your_databricks_serving_endpoint_url_here_ending_with/invocations'
      models:
        default: [
          "databricks-meta-llama-3-70b-instruct",
        ]
        fetch: false
      titleConvo: true
      titleModel: 'current_model'
      directEndpoint: true # required
      titleMessageRole: 'user' # required

Note

• Databricks espone un endpoint di completamento completo che termina con invocations per i serving-endpoints, pertanto è richiesto directEndpoint.
• Imposta titleMessageRole su user per la generazione del titolo. Un messaggio system autonomo non è supportato.