Databricks

Databricks héberge des modèles de fondation ainsi que vos propres modèles affinés via Mosaic AI Model Serving, qui expose un endpoint de service compatible avec OpenAI.

Obtenir une clé API

Inscrivez-vous à Databricks et générez un jeton d'accès personnel depuis votre espace de travail. Ajoutez-le à votre fichier .env :

DATABRICKS_API_KEY=your-api-key

Configuration

Ajoutez l'endpoint sous endpoints.custom dans votre librechat.yaml :

    - name: 'Databricks'
      apiKey: '${DATABRICKS_API_KEY}'
      baseURL: 'https://your_databricks_serving_endpoint_url_here_ending_with/invocations'
      models:
        default: [
          "databricks-meta-llama-3-70b-instruct",
        ]
        fetch: false
      titleConvo: true
      titleModel: 'current_model'
      directEndpoint: true # required
      titleMessageRole: 'user' # required

Notes

• Databricks expose un endpoint de complétion complet se terminant par invocations pour les serving-endpoints, donc directEndpoint est requis.
• Définissez titleMessageRole sur user pour la génération de titres. Un message system autonome n'est pas pris en charge.