Apple MLX

Apple MLX menyajikan model secara lokal pada Apple silicon melalui OpenAI-compatible API, sehingga Anda dapat mengarahkan LibreChat ke mesin Anda sendiri.

Konfigurasi

Server MLX lokal tidak mengautentikasi permintaan, jadi API key hanyalah placeholder. Arahkan baseURL ke server Anda yang sedang berjalan. Tambahkan endpoint di bawah endpoints.custom dalam librechat.yaml Anda:

    - name: "MLX"
      apiKey: "mlx"
      baseURL: "http://localhost:8080/v1/" 
      models:
        default: [
          "Meta-Llama-3-8B-Instruct-4bit"
          ]
        fetch: false # fetching list of models is not supported
      titleConvo: true
      titleModel: "current_model"
      summarize: false
      summaryModel: "current_model"
      modelDisplayLabel: "Apple MLX"
      addParams:
            max_tokens: 2000
            "stop": [
              "<|eot_id|>"
            ]

Catatan

• Server MLX menjalankan satu model dalam satu waktu. Untuk melayani lebih dari satu model, jalankan instans terpisah pada port yang berbeda dan tambahkan endpoint lain dengan baseURL-nya sendiri.
• API ini sangat ketat terhadap parameter yang tidak dikenal, jadi batasi addParams hanya pada nilai-nilai yang diterima oleh server, seperti max_tokens dan stop.