LiteLLM

LiteLLM Proxy es una puerta de enlace autohospedada que expone modelos de muchos proveedores a través de un único endpoint compatible con OpenAI, por lo que puede apuntar LibreChat a su propio proxy.

Configuración

La clave de API coincide con el valor establecido en la configuración de tu proxy LiteLLM en lugar de una clave de proveedor, así que utiliza el marcador de posición a continuación o el tuyo propio. Apunta baseURL a tu proxy en ejecución. Añade el endpoint bajo endpoints.custom en tu librechat.yaml:

    - name: "LiteLLM"
      apiKey: "sk-from-config-file"
      baseURL: "http://localhost:8000/v1"
      # if using LiteLLM example in docker-compose.override.yml.example, use "http://litellm:8000/v1"
      models:
        default: ["gpt-3.5-turbo"]
        fetch: true
      titleConvo: true
      titleModel: "gpt-3.5-turbo"
      summarize: false
      summaryModel: "gpt-3.5-turbo"
      modelDisplayLabel: "LiteLLM"

Notas

• Consulta Using LibreChat with LiteLLM Proxy para obtener una guía completa sobre cómo configurar el proxy.
• Con fetch: true, LibreChat carga la lista completa de modelos configurados en su proxy, por lo que default es solo la selección inicial.
• Si ejecutas el proxy incluido desde docker-compose.override.yml.example, establece baseURL en http://litellm:8000/v1 para que los contenedores se comuniquen entre sí mediante el nombre del servicio.