Databricks

Databricks udostępnia modele bazowe oraz własne modele dostrojone za pośrednictwem Mosaic AI Model Serving, który oferuje endpoint zgodny z OpenAI.

Uzyskaj klucz API

Zarejestruj się w Databricks i wygeneruj osobisty token dostępu ze swojego obszaru roboczego. Dodaj go do swojego pliku .env:

DATABRICKS_API_KEY=your-api-key

Konfiguracja

Dodaj endpoint w sekcji endpoints.custom w swoim librechat.yaml:

    - name: 'Databricks'
      apiKey: '${DATABRICKS_API_KEY}'
      baseURL: 'https://your_databricks_serving_endpoint_url_here_ending_with/invocations'
      models:
        default: [
          "databricks-meta-llama-3-70b-instruct",
        ]
        fetch: false
      titleConvo: true
      titleModel: 'current_model'
      directEndpoint: true # required
      titleMessageRole: 'user' # required

Uwagi

• Databricks udostępnia pełny endpoint uzupełnień kończący się na invocations dla serving-endpoints, dlatego wymagane jest użycie directEndpoint.
• Ustaw titleMessageRole na user dla generowania tytułu. Samodzielna wiadomość system nie jest obsługiwana.