Databricks

Databricks는 Mosaic AI Model Serving을 통해 파운데이션 모델과 직접 미세 조정(fine-tuned)한 모델을 서비스하며, 이는 OpenAI와 호환되는 serving endpoint를 제공합니다.

API 키 발급받기

Databricks에 가입하고 작업 공간에서 개인 액세스 토큰을 생성하세요. 이를 .env 파일에 추가하세요:

DATABRICKS_API_KEY=your-api-key

구성

librechat.yaml의 endpoints.custom 아래에 해당 endpoint를 추가하세요:

    - name: 'Databricks'
      apiKey: '${DATABRICKS_API_KEY}'
      baseURL: 'https://your_databricks_serving_endpoint_url_here_ending_with/invocations'
      models:
        default: [
          "databricks-meta-llama-3-70b-instruct",
        ]
        fetch: false
      titleConvo: true
      titleModel: 'current_model'
      directEndpoint: true # required
      titleMessageRole: 'user' # required

참고 사항

Databricks는 serving-endpoints에 대해 invocations로 끝나는 전체 completions endpoint를 노출하므로, directEndpoint 설정이 필요합니다.
제목 생성을 위해 titleMessageRole을(를) user로 설정하세요. 독립형 system 메시지는 지원되지 않습니다.