LiteLLM

LiteLLM Proxy는 여러 공급자의 모델을 단일 OpenAI 호환 endpoint를 통해 노출하는 자체 호스팅 게이트웨이이므로, LibreChat을 사용자의 자체 프록시로 지정할 수 있습니다.

구성

API 키는 공급자 키가 아닌 LiteLLM 프록시 구성에 설정된 값과 일치해야 하므로, 아래의 플레이스홀더나 본인의 키를 사용하세요. baseURL이 실행 중인 프록시를 가리키도록 설정합니다. librechat.yaml의 endpoints.custom 아래에 해당 endpoint를 추가하세요:

    - name: "LiteLLM"
      apiKey: "sk-from-config-file"
      baseURL: "http://localhost:8000/v1"
      # if using LiteLLM example in docker-compose.override.yml.example, use "http://litellm:8000/v1"
      models:
        default: ["gpt-3.5-turbo"]
        fetch: true
      titleConvo: true
      titleModel: "gpt-3.5-turbo"
      summarize: false
      summaryModel: "gpt-3.5-turbo"
      modelDisplayLabel: "LiteLLM"

참고 사항

• 프록시 설정에 대한 전체 안내는 Using LibreChat with LiteLLM Proxy를 참조하세요.
• fetch: true를 설정하면 LibreChat은 프록시에 구성된 전체 모델 목록을 불러오므로, default는 초기 선택값으로만 사용됩니다.
• docker-compose.override.yml.example에서 번들로 제공되는 프록시를 실행하는 경우, 컨테이너들이 서비스 이름으로 서로 통신할 수 있도록 baseURL을 http://litellm:8000/v1로 설정하세요.