Apple MLX

Apple MLX stellt Modelle lokal auf Apple Silicon über eine OpenAI-kompatible API bereit, sodass Sie LibreChat auf Ihre eigene Maschine verweisen können.

Konfiguration

Der lokale MLX-Server authentifiziert keine Anfragen, daher ist der API-Schlüssel nur ein Platzhalter. Richten Sie baseURL auf Ihren laufenden Server aus. Fügen Sie den endpoint unter endpoints.custom in Ihrer librechat.yaml hinzu:

    - name: "MLX"
      apiKey: "mlx"
      baseURL: "http://localhost:8080/v1/" 
      models:
        default: [
          "Meta-Llama-3-8B-Instruct-4bit"
          ]
        fetch: false # fetching list of models is not supported
      titleConvo: true
      titleModel: "current_model"
      summarize: false
      summaryModel: "current_model"
      modelDisplayLabel: "Apple MLX"
      addParams:
            max_tokens: 2000
            "stop": [
              "<|eot_id|>"
            ]

Hinweise

• Der MLX-Server führt jeweils ein Modell gleichzeitig aus. Um mehr als ein Modell bereitzustellen, führen Sie eine separate Instanz auf einem anderen Port aus und fügen Sie einen weiteren endpoint mit einer eigenen baseURL hinzu.
• Die API ist streng bei nicht erkannten Parametern. Beschränken Sie addParams daher auf Werte, die der Server akzeptiert, wie zum Beispiel max_tokens und stop.