LiteLLM

LiteLLM Proxy to samodzielnie hostowana bramka, która udostępnia modele od wielu dostawców za pośrednictwem pojedynczego endpoint zgodnego z OpenAI, dzięki czemu możesz skierować LibreChat na własny proxy.

Konfiguracja

Klucz API odpowiada wartości ustawionej w konfiguracji proxy LiteLLM, a nie kluczowi dostawcy, więc użyj poniższego symbolu zastępczego lub własnego. Skieruj baseURL na działające proxy. Dodaj endpoint w sekcji endpoints.custom w pliku librechat.yaml:

    - name: "LiteLLM"
      apiKey: "sk-from-config-file"
      baseURL: "http://localhost:8000/v1"
      # if using LiteLLM example in docker-compose.override.yml.example, use "http://litellm:8000/v1"
      models:
        default: ["gpt-3.5-turbo"]
        fetch: true
      titleConvo: true
      titleModel: "gpt-3.5-turbo"
      summarize: false
      summaryModel: "gpt-3.5-turbo"
      modelDisplayLabel: "LiteLLM"

Uwagi

• Zobacz Używanie LibreChat z LiteLLM Proxy, aby uzyskać pełny przewodnik po konfiguracji proxy.
• Dzięki fetch: true, LibreChat wczytuje pełną listę modeli skonfigurowanych w twoim proxy, więc default jest tylko początkowym wyborem.
• Jeśli uruchamiasz dołączone proxy z docker-compose.override.yml.example, ustaw baseURL na http://litellm:8000/v1, aby kontenery mogły się ze sobą komunikować poprzez nazwę usługi.