Structure de l'objet endpoint personnalisé

Chaque endpoint dans le tableau custom doit avoir la structure suivante :

Exemple

endpoints:
  custom:
    # Example using Mistral AI API
    - name: 'Mistral'
      apiKey: '${YOUR_ENV_VAR_KEY}'
      baseURL: 'https://api.mistral.ai/v1'
      models:
        default: ['mistral-tiny', 'mistral-small', 'mistral-medium', 'mistral-large-latest']
      titleConvo: true
      titleTiming: 'immediate'
      titleModel: 'mistral-tiny'
      modelDisplayLabel: 'Mistral'
      # customParams:
      #   reasoningFormat: reasoning_object
      #   reasoningKey: reasoning_content
      # tokenConfig:
      #   mistral-large-latest:
      #     prompt: 2
      #     completion: 6
      #     context: 128000
      # addParams:
      #   safe_prompt: true # Mistral specific value for moderating messages
      # NOTE: For Mistral, it is necessary to drop the following parameters or you will encounter a 422 Error:
      dropParams: ['stop', 'user', 'frequency_penalty', 'presence_penalty']
 
    # Example using the native Anthropic Messages API
    - name: 'Claude-Compatible'
      provider: 'anthropic'
      apiKey: '${ANTHROPIC_API_KEY}'
      baseURL: 'https://api.anthropic.com'
      headers:
        anthropic-version: '2023-06-01'
      models:
        default: ['claude-sonnet-4-5', 'claude-opus-4-5']
        fetch: false
      titleConvo: true
      titleModel: 'claude-sonnet-4-5'
      modelDisplayLabel: 'Claude (Compatible)'

name

Clé :

Requis

Exemple :

name: 'Mistral'

apiKey

Clé :

Requis

Exemple :

apiKey: '${MISTRAL_API_KEY}'

ou

apiKey: 'your_api_key'

ou

apiKey: 'user_provided'

baseURL

Clé :

Requis

Exemple :

baseURL: 'https://api.mistral.ai/v1'

ou

baseURL: '${MISTRAL_BASE_URL}'

ou

baseURL: 'user_provided'

Notes :

• Si la baseURL que vous avez définie est le point de terminaison complet des complétions, vous pouvez définir le champ directEndpoint sur true pour l'utiliser directement.
  • Ceci est nécessaire car l'application ajoute par défaut "/chat/completions" ou "/completion" à la baseURL.
• Lorsque vous utilisez provider: anthropic, définissez baseURL sur la racine de l'API que le SDK Anthropic doit appeler, telle que https://api.anthropic.com ou la racine de votre passerelle. LibreChat utilise le chemin natif /v1/messages d'Anthropic pour ce fournisseur.

provider

Clé :

Par défaut : omis, ce qui utilise le chemin d'endpoint personnalisé compatible avec OpenAI.

Valeurs prises en charge :

• "anthropic" - Utilise le client natif Anthropic /v1/messages avec les propriétés baseURL, apiKey, headers, addParams, dropParams et customParams.paramDefinitions de cet endpoint.

Exemple :

endpoints:
  custom:
    - name: 'Claude-Compatible'
      provider: 'anthropic'
      apiKey: '${ANTHROPIC_API_KEY}'
      baseURL: 'https://api.anthropic.com'
      headers:
        anthropic-version: '2023-06-01'
      models:
        default:
          - 'claude-sonnet-4-5'
          - 'claude-opus-4-5'
        fetch: false
      titleConvo: true
      titleModel: 'claude-sonnet-4-5'
      modelDisplayLabel: 'Claude (Compatible)'

Notes :

• Utilisez provider: anthropic pour Anthropic lui-même ou pour les passerelles compatibles avec Anthropic qui utilisent l'API Messages native.
• Listez les modèles explicitement sous models.default ; le style models.fetch d'OpenAI n'est pas utilisé pour les endpoints personnalisés natifs d'Anthropic.
• Le fournisseur implique les paramètres d'interface Anthropic, sauf si vous définissez explicitement un customParams.defaultParamsEndpoint différent.
• Les endpoints sans provider conservent le comportement compatible avec OpenAI.

iconURL

Clé :

Par défaut : ""

Exemple :

iconURL: https://github.com/danny-avila/LibreChat/raw/main/docs/assets/LibreChat.svg

ou réutilisez une icône d'endpoint intégrée :

iconURL: openAI

Notes :

• Ne définissez pas de name d'endpoint personnalisé avec le nom d'un endpoint intégré juste pour réutiliser une icône. Les noms d'endpoints personnalisés doivent être uniques et ne doivent pas utiliser les valeurs d'endpoints par défaut telles que :
  • "openAI" | "azureOpenAI" | "google" | "anthropic" | "assistants" | "azureAssistants" | "agents" | "bedrock"
• Pour utiliser une icône de endpoint incluse dans le projet, gardez le name du endpoint personnalisé unique et définissez plutôt iconURL sur l'une des clés de endpoint intégrées.
  • "openAI" | "azureOpenAI" | "google" | "anthropic" | "assistants" | "azureAssistants" | "agents" | "bedrock"
• Pour utiliser une image personnalisée, définissez iconURL sur une URL d'image ou un chemin servi par LibreChat, tel que /assets/my-icon.svg.
• Il existe également des "known endpoints" (insensibles à la casse), pour lesquels des icônes sont fournies. Si le name de votre endpoint correspond aux noms suivants, vous devez omettre ce champ :
  • Anyscale
  • APIpie
  • Cohere
  • Deepseek
  • Fireworks
  • groq
  • Helicone
  • Huggingface
  • Mistral
  • MLX
  • Moonshot
  • ollama
  • OpenRouter
  • Perplexité
  • Qwen
  • ShuttleAI
  • together.ai
  • Unifier
  • xai

models

Clé :

Requis

Propriétés :

default

Clé :

Requis

Exemple :

default:
  - 'mistral-tiny'
  - 'mistral-small'
  - 'mistral-medium'

fetch

Clé :

Par défaut : false

Exemple :

fetch: true

userIdQuery

Clé :

Par défaut : false

Exemple :

userIdQuery: true

titleConvo

Clé :

Par défaut : false

Exemple :

titleConvo: true

titleTiming

Clé :

Par défaut : "immediate"

Valeurs disponibles :

• "immediate" - Génère le titre dès que la requête commence, en parallèle de la réponse du modèle, en utilisant le premier message de l'utilisateur.
• "final" - Diffère la génération du titre jusqu'à ce que la réponse complète soit terminée. Cela préserve le comportement hérité.

Exemple :

titleTiming: 'final'

titleMethod

Clé :

Par défaut : "completion"

Méthodes disponibles :

• "completion" - Utilise l'API de complétion standard sans outils/fonctions. Compatible avec la plupart des LLM.
• "structured" - Utilise une sortie structurée pour la génération de titres. Nécessite la prise en charge du fournisseur/modèle.
• "functions" - Alias hérité pour "structured". Fonctionnellement identique.

Exemple :

titleMethod: 'completion'

titleModel

Clé :

Par défaut : "gpt-3.5-turbo"

Exemple :

titleModel: 'mistral-tiny'

titleModel: 'current_model'

titlePrompt

Clé :

Par défaut :

Analyze this conversation and provide:
1. The detected language of the conversation
2. A concise title in the detected language (5 words or less, no punctuation or quotation)

{convo}

Notes :

• Doit toujours inclure l'espace réservé {convo}
• Le paramètre fictif {convo} sera remplacé par la conversation formatée

Exemple :

titlePrompt: "Create a brief, descriptive title for the following conversation:\n\n{convo}\n\nTitle:"

titlePromptTemplate

Clé :

Par défaut : "User: {input}\nAI: {output}"

Notes :

• Doit inclure les deux espaces réservés {input} et {output}
• Contrôle la façon dont la conversation est formatée lorsqu'elle est insérée dans titlePrompt

Exemple :

titlePromptTemplate: "Human: {input}\n\nAssistant: {output}"

titleEndpoint

Clé :

Par défaut : Utilise l'endpoint personnalisé actuel

Valeurs acceptées :

• openAI
• azureOpenAI
• google
• anthropic
• bedrock
• Un autre nom d'endpoint personnalisé

Exemple :

# Use a different custom endpoint for titles
endpoints:
  custom:
    - name: 'my-chat-endpoint'
      apiKey: '${CHAT_API_KEY}'
      baseURL: 'https://api.example.com/v1/chat'
      models:
        default: ['gpt-4']
      titleEndpoint: 'my-title-endpoint'
 
    - name: 'my-title-endpoint'
      apiKey: '${TITLE_API_KEY}'
      baseURL: 'https://api.example.com/v1/title'
      models:
        default: ['gpt-3.5-turbo']

modelDisplayLabel

Clé :

Par défaut : "AI"

Exemple :

modelDisplayLabel: 'Mistral'

addParams

Clé :

Exemple :

addParams:
  safe_prompt: true
  max_tokens: 2048

Notes :

• Le champ addParams vous permet d'inclure des paramètres supplémentaires qui ne font pas partie de la charge utile par défaut (voir la section "Paramètres par défaut"). Ceci est particulièrement utile pour les options spécifiques à une API.

dropParams

Clé :

Exemple :

dropParams:
  - 'stop'
  - 'user'
  - 'frequency_penalty'
  - 'presence_penalty'

Remarque :

• Le champ dropParams vous permet de supprimer les "Paramètres par défaut" qui sont envoyés avec chaque requête. Cela est utile lorsque vous travaillez avec des API qui n'acceptent pas ou ne reconnaissent pas certains paramètres.

customParams

Clé :

Sous-clés :

Formats de raisonnement :

• reasoning_effort - Envoie le paramètre hérité reasoning_effort.
• reasoning_object - Envoie un objet reasoning, tel que { effort, summary }, pour les fournisseurs qui suivent la nouvelle structure compatible avec OpenAI.
• disabled - Supprime les paramètres de raisonnement même lorsqu'un utilisateur ou une Model Specs sélectionne le raisonnement.

Note sur le fournisseur Anthropic :

Utilisez provider: anthropic lorsque le point de terminaison personnalisé doit utiliser l'API native Anthropic Messages. Utilisez customParams.defaultParamsEndpoint: anthropic sans provider uniquement lorsque vous avez toujours besoin du chemin de point de terminaison personnalisé compatible avec OpenAI, mais que vous souhaitez bénéficier des métadonnées de paramètres et de l'adaptation de requête de style Anthropic.

Exemple :

customParams:
  reasoningFormat: reasoning_object
  reasoningKey: reasoning_content

tokenConfig

Clé :

Chaque clé est un nom de modèle. Chaque entrée de modèle prend en charge :

Exemple :

tokenConfig:
  gpt-4o-mini:
    prompt: 0.15
    completion: 0.6
    context: 128000
    cacheRead: 0.075
    cacheWrite: 0.15

Notes :

• Les tarifs sont exprimés par million de jetons en USD avant que toute conversion interface.currency ne soit appliquée pour l'affichage.
• Le nom du modèle doit correspondre à la valeur du modèle envoyée via le endpoint personnalisé.
• Pour les Agents utilisant plusieurs endpoints, la configuration de jetons de l'endpoint/modèle correspondant est utilisée lors de l'enregistrement de l'utilisation et du coût.

headers

Clé :

Exemple :

headers:
  x-api-key: '${ENVIRONMENT_VARIABLE}'
  Content-Type: 'application/json'
  X-User-ID: '{{LIBRECHAT_USER_ID}}'
  X-User-Email: '{{LIBRECHAT_USER_EMAIL}}'

Remarque : Prend en charge les valeurs de variables d'environnement dynamiques, qui utilisent le format : "${VARIABLE_NAME}".

Lorsque models.fetch: true est utilisé, ces en-têtes sont également résolus et transmis à la requête de liste de modèles pour les URLs de base contrôlées par l'administrateur. Un en-tête Authorization configuré a priorité sur le recours à l' apiKey de l'endpoint, ce qui est utile pour les proxys sensibles à l'authentification qui renvoient des listes de modèles par utilisateur. Si baseURL: "user_provided" est configuré, LibreChat ne transmet pas les modèles d'en-têtes configurés vers la destination fournie par l'utilisateur. Pour provider: anthropic, les en-têtes sont transmis via le client Anthropic natif au lieu du client compatible OpenAI.

Espaces réservés pour les champs utilisateur disponibles :

Espaces réservés disponibles pour le corps de la requête :

Exemple utilisant des espaces réservés dans le corps de la requête :

headers:
  X-Conversation-ID: '{{LIBRECHAT_BODY_CONVERSATIONID}}'
  X-Parent-Message-ID: '{{LIBRECHAT_BODY_PARENTMESSAGEID}}'
  X-Message-ID: '{{LIBRECHAT_BODY_MESSAGEID}}'

directEndpoint

Clé :

Par défaut : false

Exemple :

directEndpoint: true

titleMessageRole

• Options : "system" | "user" | "assistant"

Clé :

Par défaut : "system"

Exemple :

titleMessageRole: 'user'