Apple MLX

Apple MLX, modelleri Apple silikon üzerinde OpenAI-compatible API aracılığıyla yerel olarak sunar, böylece LibreChat'i kendi makinenize yönlendirebilirsiniz.

Yapılandırma

Yerel MLX sunucusu isteklerin kimliğini doğrulamaz, bu nedenle API anahtarı sadece bir yer tutucudur. baseURL değerini çalışan sunucunuza yönlendirin. Uç noktayı librechat.yaml dosyanızdaki endpoints.custom altına ekleyin:

    - name: "MLX"
      apiKey: "mlx"
      baseURL: "http://localhost:8080/v1/" 
      models:
        default: [
          "Meta-Llama-3-8B-Instruct-4bit"
          ]
        fetch: false # fetching list of models is not supported
      titleConvo: true
      titleModel: "current_model"
      summarize: false
      summaryModel: "current_model"
      modelDisplayLabel: "Apple MLX"
      addParams:
            max_tokens: 2000
            "stop": [
              "<|eot_id|>"
            ]

Notlar

• MLX sunucusu aynı anda tek bir model çalıştırır. Birden fazla modele hizmet vermek için, farklı bir port üzerinde ayrı bir örnek çalıştırın ve kendi baseURL değerine sahip başka bir endpoint ekleyin.
• API, tanınmayan parametreler konusunda katıdır, bu nedenle addParams kısmını yalnızca sunucunun kabul ettiği max_tokens ve stop gibi değerlerle sınırlı tutun.