Apple MLX

Apple MLXは、OpenAI-compatible APIを通じてAppleシリコン上でモデルをローカルに提供するため、LibreChatを自身のマシンに向けることができます。

設定

ローカルのMLXサーバーはリクエストの認証を行わないため、APIキーはプレースホルダーとして機能します。baseURLを実行中のサーバーに向けてください。librechat.yaml内のendpoints.customの下にエンドポイントを追加します：

    - name: "MLX"
      apiKey: "mlx"
      baseURL: "http://localhost:8080/v1/" 
      models:
        default: [
          "Meta-Llama-3-8B-Instruct-4bit"
          ]
        fetch: false # fetching list of models is not supported
      titleConvo: true
      titleModel: "current_model"
      summarize: false
      summaryModel: "current_model"
      modelDisplayLabel: "Apple MLX"
      addParams:
            max_tokens: 2000
            "stop": [
              "<|eot_id|>"
            ]

注記

MLXサーバーは一度に1つのモデルを実行します。複数のモデルをサーブするには、異なるポートで個別のインスタンスを実行し、独自の baseURL を持つ別の endpoint を追加してください。
APIは認識されないパラメータに対して厳格であるため、addParamsにはmax_tokensやstopなど、サーバーが受け入れる値のみを指定するようにしてください。