LiteLLM

LiteLLM Proxyは、多くのプロバイダーのモデルを単一のOpenAI互換endpointを通じて公開するセルフホスト型のゲートウェイであり、LibreChatを独自のプロキシに向けることができます。

設定

APIキーはプロバイダーのキーではなく、LiteLLMプロキシ設定で指定した値と一致させる必要があるため、以下のプレースホルダーまたは独自のキーを使用してください。baseURL は実行中のプロキシに向けてください。librechat.yaml の endpoints.custom 配下にエンドポイントを追加します：

    - name: "LiteLLM"
      apiKey: "sk-from-config-file"
      baseURL: "http://localhost:8000/v1"
      # if using LiteLLM example in docker-compose.override.yml.example, use "http://litellm:8000/v1"
      models:
        default: ["gpt-3.5-turbo"]
        fetch: true
      titleConvo: true
      titleModel: "gpt-3.5-turbo"
      summarize: false
      summaryModel: "gpt-3.5-turbo"
      modelDisplayLabel: "LiteLLM"

注記

• プロキシのセットアップに関する完全なチュートリアルについては、Using LibreChat with LiteLLM Proxy を参照してください。
• fetch: true を設定すると、LibreChat はプロキシで設定されたモデルの全リストを読み込むため、default は初期選択のみに使用されます。
• docker-compose.override.yml.example からバンドルされたプロキシを実行する場合は、コンテナ同士がサービス名で通信できるように baseURL を http://litellm:8000/v1 に設定してください。