LiteLLM

LiteLLM Proxy è un gateway self-hosted che espone modelli di molti provider attraverso un singolo endpoint compatibile con OpenAI, in modo da poter puntare LibreChat al proprio proxy.

Configurazione

La chiave API corrisponde al valore impostato nella configurazione del proxy LiteLLM anziché a una chiave del provider, quindi utilizza il segnaposto qui sotto o la tua. Punta baseURL al tuo proxy in esecuzione. Aggiungi l'endpoint sotto endpoints.custom nel tuo librechat.yaml:

    - name: "LiteLLM"
      apiKey: "sk-from-config-file"
      baseURL: "http://localhost:8000/v1"
      # if using LiteLLM example in docker-compose.override.yml.example, use "http://litellm:8000/v1"
      models:
        default: ["gpt-3.5-turbo"]
        fetch: true
      titleConvo: true
      titleModel: "gpt-3.5-turbo"
      summarize: false
      summaryModel: "gpt-3.5-turbo"
      modelDisplayLabel: "LiteLLM"

Note

• Vedi Using LibreChat with LiteLLM Proxy per una guida completa sulla configurazione del proxy.
• Con fetch: true, LibreChat carica l'elenco completo dei modelli configurati nel tuo proxy, quindi default è solo la selezione iniziale.
• Se esegui il proxy in bundle da docker-compose.override.yml.example, imposta baseURL su http://litellm:8000/v1 in modo che i container possano raggiungersi a vicenda tramite il nome del servizio.