Databricks

O Databricks disponibiliza modelos de base e seus próprios modelos ajustados (fine-tuned) por meio do Mosaic AI Model Serving, que expõe um endpoint de serviço compatível com a OpenAI.

Obtenha uma API key

Inscreva-se no Databricks e gere um token de acesso pessoal a partir do seu workspace. Adicione-o ao seu arquivo .env:

DATABRICKS_API_KEY=your-api-key

Configuração

Adicione o endpoint em endpoints.custom no seu librechat.yaml:

    - name: 'Databricks'
      apiKey: '${DATABRICKS_API_KEY}'
      baseURL: 'https://your_databricks_serving_endpoint_url_here_ending_with/invocations'
      models:
        default: [
          "databricks-meta-llama-3-70b-instruct",
        ]
        fetch: false
      titleConvo: true
      titleModel: 'current_model'
      directEndpoint: true # required
      titleMessageRole: 'user' # required

Notas

• O Databricks expõe um endpoint de completions completo terminando em invocations para serving-endpoints, portanto, directEndpoint é necessário.
• Defina titleMessageRole como user para a geração de títulos. Uma mensagem system isolada não é suportada.