Databricks

Databricks sirve modelos base y sus propios modelos ajustados a través de Mosaic AI Model Serving, el cual expone un endpoint de servicio compatible con OpenAI.

Obtener una API key

Regístrese en Databricks y genere un token de acceso personal desde su espacio de trabajo. Añádalo a su archivo .env:

DATABRICKS_API_KEY=your-api-key

Configuración

Agregue el endpoint bajo endpoints.custom en su librechat.yaml:

    - name: 'Databricks'
      apiKey: '${DATABRICKS_API_KEY}'
      baseURL: 'https://your_databricks_serving_endpoint_url_here_ending_with/invocations'
      models:
        default: [
          "databricks-meta-llama-3-70b-instruct",
        ]
        fetch: false
      titleConvo: true
      titleModel: 'current_model'
      directEndpoint: true # required
      titleMessageRole: 'user' # required

Notas

• Databricks expone un endpoint de completado completo que termina en invocations para serving-endpoints, por lo que directEndpoint es necesario.
• Establezca titleMessageRole en user para la generación de títulos. No se admite un mensaje system independiente.