Apple MLX

Apple MLX obsługuje modele lokalnie na układach Apple silicon poprzez zgodne z OpenAI API, dzięki czemu możesz skierować LibreChat na własną maszynę.

Konfiguracja

Lokalny serwer MLX nie uwierzytelnia żądań, więc klucz API jest tylko symbolem zastępczym. Skieruj baseURL na swój działający serwer. Dodaj endpoint w sekcji endpoints.custom w pliku librechat.yaml:

    - name: "MLX"
      apiKey: "mlx"
      baseURL: "http://localhost:8080/v1/" 
      models:
        default: [
          "Meta-Llama-3-8B-Instruct-4bit"
          ]
        fetch: false # fetching list of models is not supported
      titleConvo: true
      titleModel: "current_model"
      summarize: false
      summaryModel: "current_model"
      modelDisplayLabel: "Apple MLX"
      addParams:
            max_tokens: 2000
            "stop": [
              "<|eot_id|>"
            ]

Uwagi

• Serwer MLX obsługuje jeden model na raz. Aby obsługiwać więcej niż jeden model, uruchom oddzielną instancję na innym porcie i dodaj kolejny endpoint z własnym baseURL.
• API jest rygorystyczne w kwestii nierozpoznanych parametrów, więc ogranicz addParams do wartości akceptowanych przez serwer, takich jak max_tokens oraz stop.