Apple MLX

Apple MLX sirve modelos localmente en Apple silicon a través de una OpenAI-compatible API, por lo que puedes apuntar LibreChat a tu propia máquina.

Configuración

El servidor local MLX no autentica las solicitudes, por lo que la API key es solo un marcador de posición. Apunta baseURL a tu servidor en ejecución. Agrega el endpoint bajo endpoints.custom en tu librechat.yaml:

    - name: "MLX"
      apiKey: "mlx"
      baseURL: "http://localhost:8080/v1/" 
      models:
        default: [
          "Meta-Llama-3-8B-Instruct-4bit"
          ]
        fetch: false # fetching list of models is not supported
      titleConvo: true
      titleModel: "current_model"
      summarize: false
      summaryModel: "current_model"
      modelDisplayLabel: "Apple MLX"
      addParams:
            max_tokens: 2000
            "stop": [
              "<|eot_id|>"
            ]

Notas

• El servidor MLX ejecuta un modelo a la vez. Para servir más de un modelo, ejecute una instancia separada en un puerto diferente y añada otro endpoint con su propio baseURL.
• La API es estricta con respecto a los parámetros no reconocidos, así que mantenga addParams limitado a los valores que el servidor acepta, tales como max_tokens y stop.