Struttura dell'oggetto endpoint personalizzato

Ogni endpoint nell'array custom dovrebbe avere la seguente struttura:

Esempio

endpoints:
  custom:
    # Example using Mistral AI API
    - name: 'Mistral'
      apiKey: '${YOUR_ENV_VAR_KEY}'
      baseURL: 'https://api.mistral.ai/v1'
      models:
        default: ['mistral-tiny', 'mistral-small', 'mistral-medium', 'mistral-large-latest']
      titleConvo: true
      titleTiming: 'immediate'
      titleModel: 'mistral-tiny'
      modelDisplayLabel: 'Mistral'
      # customParams:
      #   reasoningFormat: reasoning_object
      #   reasoningKey: reasoning_content
      # tokenConfig:
      #   mistral-large-latest:
      #     prompt: 2
      #     completion: 6
      #     context: 128000
      # addParams:
      #   safe_prompt: true # Mistral specific value for moderating messages
      # NOTE: For Mistral, it is necessary to drop the following parameters or you will encounter a 422 Error:
      dropParams: ['stop', 'user', 'frequency_penalty', 'presence_penalty']

    # Example using the native Anthropic Messages API
    - name: 'Claude-Compatible'
      provider: 'anthropic'
      apiKey: '${ANTHROPIC_API_KEY}'
      baseURL: 'https://api.anthropic.com'
      headers:
        anthropic-version: '2023-06-01'
      models:
        default: ['claude-sonnet-4-5', 'claude-opus-4-5']
        fetch: false
      titleConvo: true
      titleModel: 'claude-sonnet-4-5'
      modelDisplayLabel: 'Claude (Compatible)'

name

Chiave:

Obbligatorio

Esempio:

name: 'Mistral'

apiKey

Chiave:

Obbligatorio

Esempio:

apiKey: '${MISTRAL_API_KEY}'

o

apiKey: 'your_api_key'

o

apiKey: 'user_provided'

baseURL

Chiave:

Obbligatorio

Esempio:

baseURL: 'https://api.mistral.ai/v1'

o

baseURL: '${MISTRAL_BASE_URL}'

o

baseURL: 'user_provided'

Note:

• Se il baseURL impostato è l'endpoint completo per i completamenti, puoi impostare il campo directEndpoint su true per utilizzarlo direttamente.
  • Questo è necessario perché l'app aggiunge "/chat/completions" o "/completion" alla baseURL per impostazione predefinita.
• Quando si utilizza provider: anthropic, impostare baseURL sulla root dell'API che l'SDK di Anthropic deve chiamare, come https://api.anthropic.com o la root del proprio gateway. LibreChat utilizza il percorso nativo di Anthropic /v1/messages per quel provider.

provider

Chiave:

Predefinito: omesso, il che utilizza il percorso dell'endpoint personalizzato compatibile con OpenAI.

Valori supportati:

• "anthropic" - Utilizza il client nativo Anthropic /v1/messages con baseURL, apiKey, headers, addParams, dropParams e customParams.paramDefinitions di questo endpoint.

Esempio:

endpoints:
  custom:
    - name: 'Claude-Compatible'
      provider: 'anthropic'
      apiKey: '${ANTHROPIC_API_KEY}'
      baseURL: 'https://api.anthropic.com'
      headers:
        anthropic-version: '2023-06-01'
      models:
        default:
          - 'claude-sonnet-4-5'
          - 'claude-opus-4-5'
        fetch: false
      titleConvo: true
      titleModel: 'claude-sonnet-4-5'
      modelDisplayLabel: 'Claude (Compatible)'

Note:

• Usa provider: anthropic per Anthropic stessa o per gateway compatibili con Anthropic che utilizzano la Messages API nativa.
• Elenca i modelli esplicitamente sotto models.default; lo stile OpenAI models.fetch non viene utilizzato per gli endpoint personalizzati nativi di Anthropic.
• Il provider implica i parametri dell'interfaccia utente di Anthropic a meno che non si imposti esplicitamente un customParams.defaultParamsEndpoint diverso.
• Gli endpoint senza provider mantengono il comportamento compatibile con OpenAI.

iconURL

Chiave:

Predefinito: ""

Esempio:

iconURL: https://github.com/danny-avila/LibreChat/raw/main/docs/assets/LibreChat.svg

o riutilizzare un'icona endpoint integrata:

iconURL: openAI

Note:

• Non impostare un name di un endpoint personalizzato con il nome di un endpoint integrato solo per riutilizzare un'icona. I nomi degli endpoint personalizzati devono essere univoci e non dovrebbero utilizzare valori di endpoint predefiniti come:
  • "openAI" | "azureOpenAI" | "google" | "anthropic" | "assistants" | "azureAssistants" | "agents" | "bedrock"
• Per utilizzare un'icona dell'endpoint inclusa nel progetto, mantieni univoco il name dell'endpoint personalizzato e imposta invece iconURL su una delle chiavi degli endpoint predefiniti.
  • "openAI" | "azureOpenAI" | "google" | "anthropic" | "assistants" | "azureAssistants" | "agents" | "bedrock"
• Per utilizzare un'immagine personalizzata, imposta iconURL su un URL di un'immagine o su un percorso servito da LibreChat, come /assets/my-icon.svg.
• Esistono anche degli "endpoint noti" (case-insensitive), per i quali vengono fornite delle icone. Se il name del tuo endpoint corrisponde ai seguenti nomi, dovresti omettere questo campo:
  • Anyscale
  • APIpie
  • Cohere
  • Deepseek
  • Fireworks
  • groq
  • Helicone
  • Huggingface
  • Mistral
  • MLX
  • "Moonshot"
  • ollama
  • OpenRouter
  • Perplexity
  • Qwen
  • ShuttleAI
  • together.ai
  • Unifica
  • xai

models

Chiave:

Obbligatorio

Proprietà:

default

Chiave:

Obbligatorio

Esempio:

default:
  - 'mistral-tiny'
  - 'mistral-small'
  - 'mistral-medium'

fetch

Chiave:

Predefinito: false

Esempio:

fetch: true

userIdQuery

Chiave:

Predefinito: false

Esempio:

userIdQuery: true

titleConvo

Chiave:

Predefinito: false

Esempio:

titleConvo: true

titleTiming

Chiave:

Predefinito: "immediate"

Valori disponibili:

• "immediate" - Genera il titolo non appena la richiesta ha inizio, in parallelo con la risposta del modello, utilizzando il primo messaggio dell'utente.
• "final" - Posticipa la generazione del titolo fino al completamento della risposta completa. Questo preserva il comportamento legacy.

Esempio:

titleTiming: 'final'

titleMethod

Chiave:

Predefinito: "completion"

Metodi disponibili:

• "completion" - Utilizza l'API di completamento standard senza strumenti/funzioni. Compatibile con la maggior parte degli LLM.
• "structured" - Utilizza l'output strutturato per la generazione del titolo. Richiede il supporto del provider/modello.
• "functions" - Alias legacy per "structured". Funzionalmente identico.

Esempio:

titleMethod: 'completion'

titleModel

Chiave:

Predefinito: "gpt-3.5-turbo"

Esempio:

titleModel: 'mistral-tiny'

titleModel: 'current_model'

titlePrompt

Chiave:

Predefinito:

Analyze this conversation and provide:
1. The detected language of the conversation
2. A concise title in the detected language (5 words or less, no punctuation or quotation)

{convo}

Note:

• Deve sempre includere il segnaposto {convo}
• Il segnaposto {convo} verrà sostituito con la conversazione formattata

Esempio:

titlePrompt: "Create a brief, descriptive title for the following conversation:\n\n{convo}\n\nTitle:"

titlePromptTemplate

Chiave:

Predefinito: "User: {input}\nAI: {output}"

Note:

• Deve includere entrambi i segnaposto {input} e {output}
• Controlla come viene formattata la conversazione quando viene inserita in titlePrompt

Esempio:

titlePromptTemplate: "Human: {input}\n\nAssistant: {output}"

titleEndpoint

Chiave:

Predefinito: Utilizza l'endpoint personalizzato corrente

Valori accettati:

• openAI
• azureOpenAI
• google
• anthropic
• bedrock
• Un altro nome di endpoint personalizzato

Esempio:

# Use a different custom endpoint for titles
endpoints:
  custom:
    - name: 'my-chat-endpoint'
      apiKey: '${CHAT_API_KEY}'
      baseURL: 'https://api.example.com/v1/chat'
      models:
        default: ['gpt-4']
      titleEndpoint: 'my-title-endpoint'

    - name: 'my-title-endpoint'
      apiKey: '${TITLE_API_KEY}'
      baseURL: 'https://api.example.com/v1/title'
      models:
        default: ['gpt-3.5-turbo']

modelDisplayLabel

Chiave:

Predefinito: "AI"

Esempio:

modelDisplayLabel: 'Mistral'

addParams

Chiave:

Esempio:

addParams:
  safe_prompt: true
  max_tokens: 2048

Note:

• Il campo addParams ti consente di includere parametri aggiuntivi che non fanno parte del payload predefinito (consulta la sezione "Default Parameters"). Questo è particolarmente utile per le opzioni specifiche dell'API.

dropParams

Chiave:

Esempio:

dropParams:
  - 'stop'
  - 'user'
  - 'frequency_penalty'
  - 'presence_penalty'

Nota:

• Il campo dropParams ti consente di rimuovere i "Default Parameters" che vengono inviati con ogni richiesta. Questo è utile quando si lavora con API che non accettano o non riconoscono determinati parametri.

customParams

Chiave:

Sotto-chiavi:

Formati di ragionamento:

• reasoning_effort - Invia il parametro legacy reasoning_effort.
• reasoning_object - Invia un oggetto reasoning, come { effort, summary }, per i provider che seguono la struttura più recente compatibile con OpenAI.
• disabled - Sopprime i parametri di ragionamento anche quando un utente o una Model Specs seleziona il ragionamento.

Riproduzione del ragionamento:

• Usa includeReasoningContent: true per i provider compatibili con OpenAI che richiedono che il reasoning_content dell'assistente venga riprodotto durante i turni di chiamata agli strumenti (tool-call).
• Usa includeReasoningHistory: true solo per i provider che richiedono anche che il reasoning_content venga ricostruito dalla cronologia persistente nei turni successivi, come alcuni gateway Xiaomi MiMo o compatibili con Kimi.

Nota sul provider Anthropic:

Utilizza provider: anthropic quando l'endpoint personalizzato deve utilizzare l'API nativa Anthropic Messages. Utilizza customParams.defaultParamsEndpoint: anthropic senza provider solo quando hai ancora bisogno del percorso dell'endpoint personalizzato compatibile con OpenAI, ma desideri i metadati dei parametri e l'adattamento della richiesta in stile Anthropic.

Esempio:

customParams:
  reasoningFormat: reasoning_object
  reasoningKey: reasoning_content
  includeReasoningContent: true

tokenConfig

Chiave:

Ogni chiave è un nome di modello. Ogni voce di modello supporta:

Esempio:

tokenConfig:
  gpt-4o-mini:
    prompt: 0.15
    completion: 0.6
    context: 128000
    cacheRead: 0.075
    cacheWrite: 0.15

Note:

• Le tariffe sono espresse per milione di token in USD prima che venga applicata qualsiasi conversione interface.currency per la visualizzazione.
• Il nome del modello deve corrispondere al valore del modello inviato tramite l'endpoint personalizzato.
• Per gli Agent che utilizzano endpoint multipli, viene utilizzata la configurazione del token endpoint/model corrispondente durante la registrazione dell'utilizzo e dei costi.

headers

Chiave:

Esempio:

headers:
  x-api-key: '${ENVIRONMENT_VARIABLE}'
  Content-Type: 'application/json'
  X-User-ID: '{{LIBRECHAT_USER_ID}}'
  X-User-Email: '{{LIBRECHAT_USER_EMAIL}}'

Nota: Supporta valori dinamici delle variabili d'ambiente, che utilizzano il formato: "${VARIABLE_NAME}".

Quando si utilizza models.fetch: true, queste intestazioni vengono anche risolte e inoltrate alla richiesta dell'elenco dei modelli per i base URL controllati dall'amministratore. Un'intestazione Authorization configurata ha la precedenza sul fallback dell'apiKey dell'endpoint, il che è utile per i proxy che gestiscono l'autenticazione e restituiscono elenchi di modelli specifici per utente. Se è configurato baseURL: "user_provided", LibreChat non inoltra i template di intestazione configurati alla destinazione fornita dall'utente. Per provider: anthropic, le intestazioni vengono inoltrate tramite il client Anthropic nativo invece che tramite il client compatibile con OpenAI.

Segnaposto dei campi utente disponibili:

Segnaposto disponibili per il corpo della richiesta:

Esempio che utilizza segnaposto nel corpo della richiesta:

headers:
  X-Conversation-ID: '{{LIBRECHAT_BODY_CONVERSATIONID}}'
  X-Parent-Message-ID: '{{LIBRECHAT_BODY_PARENTMESSAGEID}}'
  X-Message-ID: '{{LIBRECHAT_BODY_MESSAGEID}}'

directEndpoint

Chiave:

Predefinito: false

Esempio:

directEndpoint: true

titleMessageRole

• Opzioni: "system" | "user" | "assistant"

Chiave:

Predefinito: "system"

Esempio:

titleMessageRole: 'user'