Apple MLX

Apple MLX draait modellen lokaal op Apple silicon via een OpenAI-compatible API, zodat je LibreChat naar je eigen machine kunt laten wijzen.

Configuratie

De lokale MLX-server verifieert verzoeken niet, dus de API-sleutel is slechts een tijdelijke aanduiding. Wijs baseURL naar je draaiende server. Voeg het endpoint toe onder endpoints.custom in je librechat.yaml:

    - name: "MLX"
      apiKey: "mlx"
      baseURL: "http://localhost:8080/v1/" 
      models:
        default: [
          "Meta-Llama-3-8B-Instruct-4bit"
          ]
        fetch: false # fetching list of models is not supported
      titleConvo: true
      titleModel: "current_model"
      summarize: false
      summaryModel: "current_model"
      modelDisplayLabel: "Apple MLX"
      addParams:
            max_tokens: 2000
            "stop": [
              "<|eot_id|>"
            ]

Opmerkingen

• De MLX-server voert één model tegelijk uit. Om meer dan één model te serveren, voert u een afzonderlijk exemplaar uit op een andere poort en voegt u een ander endpoint toe met zijn eigen baseURL.
• De API is strikt wat betreft niet-herkende parameters, dus houd addParams beperkt tot waarden die de server accepteert, zoals max_tokens en stop.