Estructura del objeto de endpoint personalizado

Cada endpoint en el array custom debe tener la siguiente estructura:

Ejemplo

endpoints:
  custom:
    # Example using Mistral AI API
    - name: 'Mistral'
      apiKey: '${YOUR_ENV_VAR_KEY}'
      baseURL: 'https://api.mistral.ai/v1'
      models:
        default: ['mistral-tiny', 'mistral-small', 'mistral-medium', 'mistral-large-latest']
      titleConvo: true
      titleTiming: 'immediate'
      titleModel: 'mistral-tiny'
      modelDisplayLabel: 'Mistral'
      # customParams:
      #   reasoningFormat: reasoning_object
      #   reasoningKey: reasoning_content
      # tokenConfig:
      #   mistral-large-latest:
      #     prompt: 2
      #     completion: 6
      #     context: 128000
      # addParams:
      #   safe_prompt: true # Mistral specific value for moderating messages
      # NOTE: For Mistral, it is necessary to drop the following parameters or you will encounter a 422 Error:
      dropParams: ['stop', 'user', 'frequency_penalty', 'presence_penalty']

    # Example using the native Anthropic Messages API
    - name: 'Claude-Compatible'
      provider: 'anthropic'
      apiKey: '${ANTHROPIC_API_KEY}'
      baseURL: 'https://api.anthropic.com'
      headers:
        anthropic-version: '2023-06-01'
      models:
        default: ['claude-sonnet-4-5', 'claude-opus-4-5']
        fetch: false
      titleConvo: true
      titleModel: 'claude-sonnet-4-5'
      modelDisplayLabel: 'Claude (Compatible)'

name

Clave:

Requerido

Ejemplo:

name: 'Mistral'

apiKey

Clave:

Requerido

Ejemplo:

apiKey: '${MISTRAL_API_KEY}'

o

apiKey: 'your_api_key'

o

apiKey: 'user_provided'

baseURL

Clave:

Requerido

Ejemplo:

baseURL: 'https://api.mistral.ai/v1'

o

baseURL: '${MISTRAL_BASE_URL}'

o

baseURL: 'user_provided'

Notas:

• Si el baseURL que configuraste es el endpoint completo de completions, puedes establecer el campo directEndpoint en true para usarlo directamente.
  • Esto es necesario porque la aplicación añade "/chat/completions" o "/completion" a la baseURL de forma predeterminada.
• Al usar provider: anthropic, configure baseURL a la raíz de la API que el SDK de Anthropic debe llamar, como https://api.anthropic.com o la raíz de su gateway. LibreChat utiliza la ruta nativa /v1/messages de Anthropic para ese proveedor.

provider

Clave:

Predeterminado: omitido, lo cual utiliza la ruta de endpoint personalizada compatible con OpenAI.

Valores admitidos:

• "anthropic" - Utiliza el cliente nativo de Anthropic /v1/messages con el baseURL, apiKey, headers, addParams, dropParams y customParams.paramDefinitions de este endpoint.

Ejemplo:

endpoints:
  custom:
    - name: 'Claude-Compatible'
      provider: 'anthropic'
      apiKey: '${ANTHROPIC_API_KEY}'
      baseURL: 'https://api.anthropic.com'
      headers:
        anthropic-version: '2023-06-01'
      models:
        default:
          - 'claude-sonnet-4-5'
          - 'claude-opus-4-5'
        fetch: false
      titleConvo: true
      titleModel: 'claude-sonnet-4-5'
      modelDisplayLabel: 'Claude (Compatible)'

Notas:

• Utilice provider: anthropic para Anthropic directamente o para pasarelas compatibles con Anthropic que utilicen la Messages API nativa.
• Enumere los modelos explícitamente bajo models.default; models.fetch al estilo de OpenAI no se utiliza para endpoints personalizados nativos de Anthropic.
• El proveedor implica los parámetros de la UI de Anthropic a menos que establezcas explícitamente un customParams.defaultParamsEndpoint diferente.
• Los endpoint sin provider mantienen el comportamiento compatible con OpenAI.

iconURL

Clave:

Predeterminado: ""

Ejemplo:

iconURL: https://github.com/danny-avila/LibreChat/raw/main/docs/assets/LibreChat.svg

o reutilice un icono de endpoint integrado:

iconURL: openAI

Notas:

• No establezca un name de endpoint personalizado con el nombre de un endpoint integrado solo para reutilizar un icono. Los nombres de los endpoints personalizados deben ser únicos y no deben utilizar valores de endpoints predeterminados como:
  • "openAI" | "azureOpenAI" | "google" | "anthropic" | "assistants" | "azureAssistants" | "agents" | "bedrock"
• Para usar un icono de endpoint incluido en el proyecto, mantén el name del endpoint personalizado como único y, en su lugar, establece iconURL en una de las claves de endpoint integradas.
  • "openAI" | "azureOpenAI" | "google" | "anthropic" | "assistants" | "azureAssistants" | "agents" | "bedrock"
• Para usar una imagen personalizada, establece iconURL en una URL de imagen o una ruta servida por LibreChat, como /assets/my-icon.svg.
• También existen "endpoints conocidos" (que no distinguen entre mayúsculas y minúsculas), los cuales tienen iconos proporcionados. Si el name de tu endpoint coincide con los siguientes nombres, debes omitir este campo:
  • Anyscale
  • APIpie
  • Cohere
  • Deepseek
  • Fireworks
  • groq
  • Helicone
  • Huggingface
  • Mistral
  • MLX
  • Moonshot
  • ollama
  • OpenRouter
  • Perplexity
  • Qwen
  • ShuttleAI
  • together.ai
  • Unificar
  • xai

models

Clave:

Requerido

Propiedades:

default

Clave:

Requerido

Ejemplo:

default:
  - 'mistral-tiny'
  - 'mistral-small'
  - 'mistral-medium'

fetch

Clave:

Predeterminado: false

Ejemplo:

fetch: true

userIdQuery

Clave:

Predeterminado: false

Ejemplo:

userIdQuery: true

titleConvo

Clave:

Predeterminado: false

Ejemplo:

titleConvo: true

titleTiming

Clave:

Predeterminado: "immediate"

Valores disponibles:

• "immediate" - Genera el título tan pronto como comienza la solicitud, en paralelo con la respuesta del modelo, utilizando el primer mensaje del usuario.
• "final" - Aplaza la generación del título hasta que se complete la respuesta completa. Esto preserva el comportamiento heredado.

Ejemplo:

titleTiming: 'final'

titleMethod

Clave:

Predeterminado: "completion"

Métodos disponibles:

• "completion" - Utiliza la API de completion estándar sin herramientas/funciones. Compatible con la mayoría de los LLMs.
• "structured" - Utiliza una salida estructurada para la generación de títulos. Requiere soporte del proveedor/modelo.
• "functions" - Alias heredado para "structured". Funcionalmente idéntico.

Ejemplo:

titleMethod: 'completion'

titleModel

Clave:

Predeterminado: "gpt-3.5-turbo"

Ejemplo:

titleModel: 'mistral-tiny'

titleModel: 'current_model'

titlePrompt

Clave:

Predeterminado:

Analyze this conversation and provide:
1. The detected language of the conversation
2. A concise title in the detected language (5 words or less, no punctuation or quotation)

{convo}

Notas:

• Debe incluir siempre el marcador de posición {convo}
• El marcador de posición {convo} será reemplazado por la conversación formateada

Ejemplo:

titlePrompt: "Create a brief, descriptive title for the following conversation:\n\n{convo}\n\nTitle:"

titlePromptTemplate

Clave:

Predeterminado: "User: {input}\nAI: {output}"

Notas:

• Debe incluir ambos marcadores de posición {input} y {output}
• Controla cómo se formatea la conversación cuando se inserta en titlePrompt

Ejemplo:

titlePromptTemplate: "Human: {input}\n\nAssistant: {output}"

titleEndpoint

Clave:

Predeterminado: Utiliza el endpoint personalizado actual

Valores aceptados:

• openAI
• azureOpenAI
• google
• anthropic
• bedrock
• Otro nombre de endpoint personalizado

Ejemplo:

# Use a different custom endpoint for titles
endpoints:
  custom:
    - name: 'my-chat-endpoint'
      apiKey: '${CHAT_API_KEY}'
      baseURL: 'https://api.example.com/v1/chat'
      models:
        default: ['gpt-4']
      titleEndpoint: 'my-title-endpoint'

    - name: 'my-title-endpoint'
      apiKey: '${TITLE_API_KEY}'
      baseURL: 'https://api.example.com/v1/title'
      models:
        default: ['gpt-3.5-turbo']

modelDisplayLabel

Clave:

Predeterminado: "AI"

Ejemplo:

modelDisplayLabel: 'Mistral'

addParams

Clave:

Ejemplo:

addParams:
  safe_prompt: true
  max_tokens: 2048

Notas:

• El campo addParams le permite incluir parámetros adicionales que no forman parte de la carga útil predeterminada (consulte la sección "Default Parameters"). Esto es particularmente útil para opciones específicas de la API.

dropParams

Clave:

Ejemplo:

dropParams:
  - 'stop'
  - 'user'
  - 'frequency_penalty'
  - 'presence_penalty'

Nota:

• El campo dropParams le permite eliminar "Default Parameters" que se envían con cada solicitud. Esto es útil cuando se trabaja con APIs que no aceptan o reconocen ciertos parámetros.

customParams

Clave:

Sub-claves:

Formatos de razonamiento:

• reasoning_effort - Envía el parámetro heredado reasoning_effort.
• reasoning_object - Envía un objeto reasoning, como { effort, summary }, para proveedores que siguen el formato más reciente compatible con OpenAI.
• disabled - Suprime los parámetros de razonamiento incluso cuando un usuario o Model Specs selecciona el razonamiento.

Reproducción del razonamiento:

• Utilice includeReasoningContent: true para proveedores compatibles con OpenAI que requieran que el reasoning_content del asistente sea reproducido durante los turnos de llamada a herramientas.
• Utilice includeReasoningHistory: true solo para proveedores que también requieran que reasoning_content se reconstruya a partir del historial persistido en turnos posteriores, como algunas puertas de enlace compatibles con Xiaomi MiMo o Kimi.

Nota del proveedor Anthropic:

Utilice provider: anthropic cuando el endpoint personalizado deba utilizar la API nativa de mensajes de Anthropic. Utilice customParams.defaultParamsEndpoint: anthropic sin provider solo cuando aún necesite la ruta del endpoint personalizado compatible con OpenAI, pero desee metadatos de parámetros y adaptación de solicitudes al estilo de Anthropic.

Ejemplo:

customParams:
  reasoningFormat: reasoning_object
  reasoningKey: reasoning_content
  includeReasoningContent: true

tokenConfig

Clave:

Cada clave es un nombre de modelo. Cada entrada de modelo admite:

Ejemplo:

tokenConfig:
  gpt-4o-mini:
    prompt: 0.15
    completion: 0.6
    context: 128000
    cacheRead: 0.075
    cacheWrite: 0.15

Notas:

• Las tarifas se expresan por millón de tokens en USD antes de que se aplique cualquier conversión de interface.currency para su visualización.
• El nombre del modelo debe coincidir con el valor del modelo enviado a través del endpoint personalizado.
• Para los Agents que utilizan múltiples endpoints, se utiliza la configuración de tokens del endpoint/modelo correspondiente al registrar el uso y el costo.

headers

Clave:

Ejemplo:

headers:
  x-api-key: '${ENVIRONMENT_VARIABLE}'
  Content-Type: 'application/json'
  X-User-ID: '{{LIBRECHAT_USER_ID}}'
  X-User-Email: '{{LIBRECHAT_USER_EMAIL}}'

Nota: Admite valores de variables de entorno dinámicas, que utilizan el formato: "${VARIABLE_NAME}".

Cuando se utiliza models.fetch: true, estos encabezados también se resuelven y se reenvían a la solicitud de lista de modelos para las URLs base controladas por el administrador. Un encabezado Authorization configurado tiene prioridad sobre el apiKey de respaldo del endpoint, lo cual es útil para proxies con reconocimiento de autenticación que devuelven listas de modelos por usuario. Si se configura baseURL: "user_provided", LibreChat no reenvía las plantillas de encabezado configuradas al destino proporcionado por el usuario. Para provider: anthropic, los encabezados se reenvían a través del cliente nativo de Anthropic en lugar del cliente compatible con OpenAI.

Marcadores de posición de campo de usuario disponibles:

Marcadores de posición disponibles para el cuerpo de la solicitud:

Ejemplo usando marcadores de posición en el cuerpo de la solicitud:

headers:
  X-Conversation-ID: '{{LIBRECHAT_BODY_CONVERSATIONID}}'
  X-Parent-Message-ID: '{{LIBRECHAT_BODY_PARENTMESSAGEID}}'
  X-Message-ID: '{{LIBRECHAT_BODY_MESSAGEID}}'

directEndpoint

Clave:

Predeterminado: false

Ejemplo:

directEndpoint: true

titleMessageRole

• Opciones: "system" | "user" | "assistant"

Clave:

Predeterminado: "system"

Ejemplo:

titleMessageRole: 'user'