Apple MLX

Apple MLX phục vụ các mô hình cục bộ trên Apple silicon thông qua OpenAI-compatible API, vì vậy bạn có thể trỏ LibreChat vào máy của chính mình.

Cấu hình

Máy chủ MLX cục bộ không xác thực các yêu cầu, vì vậy API key chỉ là phần giữ chỗ. Hãy trỏ baseURL đến máy chủ đang chạy của bạn. Thêm endpoint vào mục endpoints.custom trong tệp librechat.yaml của bạn:

    - name: "MLX"
      apiKey: "mlx"
      baseURL: "http://localhost:8080/v1/" 
      models:
        default: [
          "Meta-Llama-3-8B-Instruct-4bit"
          ]
        fetch: false # fetching list of models is not supported
      titleConvo: true
      titleModel: "current_model"
      summarize: false
      summaryModel: "current_model"
      modelDisplayLabel: "Apple MLX"
      addParams:
            max_tokens: 2000
            "stop": [
              "<|eot_id|>"
            ]

Ghi chú

• Máy chủ MLX chỉ chạy một mô hình tại một thời điểm. Để phục vụ nhiều hơn một mô hình, hãy chạy một instance riêng biệt trên một cổng khác và thêm một endpoint khác với baseURL riêng của nó.
• API rất nghiêm ngặt về các tham số không được công nhận, vì vậy hãy giới hạn addParams ở các giá trị mà máy chủ chấp nhận, chẳng hạn như max_tokens và stop.