Apple MLX

Apple MLX sert des modèles localement sur Apple silicon via une OpenAI-compatible API, vous permettant ainsi de pointer LibreChat vers votre propre machine.

Configuration

Le serveur MLX local n'authentifie pas les requêtes, donc la clé API n'est qu'un espace réservé. Pointez baseURL vers votre serveur en cours d'exécution. Ajoutez l'endpoint sous endpoints.custom dans votre librechat.yaml :

    - name: "MLX"
      apiKey: "mlx"
      baseURL: "http://localhost:8080/v1/" 
      models:
        default: [
          "Meta-Llama-3-8B-Instruct-4bit"
          ]
        fetch: false # fetching list of models is not supported
      titleConvo: true
      titleModel: "current_model"
      summarize: false
      summaryModel: "current_model"
      modelDisplayLabel: "Apple MLX"
      addParams:
            max_tokens: 2000
            "stop": [
              "<|eot_id|>"
            ]

Notes

• Le serveur MLX exécute un modèle à la fois. Pour servir plus d'un modèle, exécutez une instance distincte sur un port différent et ajoutez un autre endpoint avec sa propre baseURL.
• L'API est stricte concernant les paramètres non reconnus, veillez donc à limiter addParams aux valeurs acceptées par le serveur, telles que max_tokens et stop.