LiteLLM

LiteLLM Proxy, birçok sağlayıcıdan gelen modelleri tek bir OpenAI uyumlu endpoint üzerinden sunan kendi kendine barındırılan bir ağ geçididir; böylece LibreChat'i kendi proxy'nize yönlendirebilirsiniz.

Yapılandırma

API anahtarı, bir sağlayıcı anahtarı yerine LiteLLM proxy yapılandırmanızda ayarlanan değerle eşleşmelidir, bu nedenle aşağıdaki yer tutucuyu veya kendinizinkini kullanın. baseURL değerini çalışan proxy'nize yönlendirin. Uç noktayı librechat.yaml dosyanızdaki endpoints.custom altına ekleyin:

    - name: "LiteLLM"
      apiKey: "sk-from-config-file"
      baseURL: "http://localhost:8000/v1"
      # if using LiteLLM example in docker-compose.override.yml.example, use "http://litellm:8000/v1"
      models:
        default: ["gpt-3.5-turbo"]
        fetch: true
      titleConvo: true
      titleModel: "gpt-3.5-turbo"
      summarize: false
      summaryModel: "gpt-3.5-turbo"
      modelDisplayLabel: "LiteLLM"

Notlar

• Proxy kurulumunun tam bir adım adım kılavuzu için Using LibreChat with LiteLLM Proxy sayfasına bakın.
• fetch: true ile LibreChat, proxy'nizde yapılandırılmış modellerin tam listesini yükler, bu nedenle default yalnızca ilk seçimdir.
• docker-compose.override.yml.example dosyasından paketlenmiş proxy'yi çalıştırıyorsanız, konteynerlerin birbirine servis adıyla ulaşabilmesi için baseURL değerini http://litellm:8000/v1 olarak ayarlayın.