LiteLLM

O LiteLLM Proxy é um gateway auto-hospedado que expõe modelos de diversos provedores através de um único endpoint compatível com OpenAI, permitindo que você aponte o LibreChat para o seu próprio proxy.

Configuração

A chave de API corresponde ao valor definido na sua configuração de proxy do LiteLLM, em vez de uma chave de provedor, portanto, use o espaço reservado abaixo ou a sua própria. Aponte a baseURL para o seu proxy em execução. Adicione o endpoint em endpoints.custom no seu librechat.yaml:

    - name: "LiteLLM"
      apiKey: "sk-from-config-file"
      baseURL: "http://localhost:8000/v1"
      # if using LiteLLM example in docker-compose.override.yml.example, use "http://litellm:8000/v1"
      models:
        default: ["gpt-3.5-turbo"]
        fetch: true
      titleConvo: true
      titleModel: "gpt-3.5-turbo"
      summarize: false
      summaryModel: "gpt-3.5-turbo"
      modelDisplayLabel: "LiteLLM"

Notas

• Veja Usando o LibreChat com o LiteLLM Proxy para um passo a passo completo de como configurar o proxy.
• Com fetch: true, o LibreChat carrega a lista completa de modelos configurados em seu proxy, portanto default é apenas a seleção inicial.
• Se você executar o proxy integrado a partir do docker-compose.override.yml.example, defina baseURL como http://litellm:8000/v1 para que os containers se comuniquem entre si pelo nome do serviço.