LibreChatApple MLX
LibreChatでApple MLXをカスタムendpointとして設定する。
Apple MLXは、OpenAI-compatible APIを通じてAppleシリコン上でモデルをローカルに提供するため、LibreChatを自身のマシンに向けることができます。
設定
ローカルのMLXサーバーはリクエストの認証を行わないため、APIキーはプレースホルダーとして機能します。baseURLを実行中のサーバーに向けてください。librechat.yaml内のendpoints.customの下にエンドポイントを追加します：
- name: "MLX"
apiKey: "mlx"
baseURL: "http://localhost:8080/v1/"
models:
default: [
"Meta-Llama-3-8B-Instruct-4bit"
]
fetch: false # fetching list of models is not supported
titleConvo: true
titleModel: "current_model"
summarize: false
summaryModel: "current_model"
modelDisplayLabel: "Apple MLX"
addParams:
max_tokens: 2000
"stop": [
"<|eot_id|>"
]注記
- MLXサーバーは一度に1つのモデルのみを実行します。複数のモデルをサーブするには、異なるポートで個別のインスタンスを実行し、独自の
baseURLを持つ別の endpoint を追加してください。 - APIは認識されないパラメータに対して厳格であるため、
addParamsにはmax_tokensやstopなど、サーバーが受け入れる値のみを指定するようにしてください。
このガイドはいかがでしたか？