Apple MLX

Apple MLX는 OpenAI-compatible API를 통해 Apple silicon에서 모델을 로컬로 서비스하므로, LibreChat을 자신의 컴퓨터로 연결할 수 있습니다.

구성

로컬 MLX 서버는 요청을 인증하지 않으므로 API 키는 자리 표시자일 뿐입니다. baseURL을 실행 중인 서버로 지정하세요. librechat.yaml의 endpoints.custom 아래에 해당 endpoint를 추가하세요:

    - name: "MLX"
      apiKey: "mlx"
      baseURL: "http://localhost:8080/v1/" 
      models:
        default: [
          "Meta-Llama-3-8B-Instruct-4bit"
          ]
        fetch: false # fetching list of models is not supported
      titleConvo: true
      titleModel: "current_model"
      summarize: false
      summaryModel: "current_model"
      modelDisplayLabel: "Apple MLX"
      addParams:
            max_tokens: 2000
            "stop": [
              "<|eot_id|>"
            ]

참고 사항

MLX 서버는 한 번에 하나의 모델만 실행합니다. 둘 이상의 모델을 서비스하려면 다른 포트에서 별도의 인스턴스를 실행하고 고유한 baseURL을 가진 다른 endpoint를 추가하세요.
API는 인식되지 않는 매개변수에 대해 엄격하므로, addParams는 max_tokens나 stop과 같이 서버가 허용하는 값으로 제한하십시오.