Structuur van het Custom Endpoint-object

Elk endpoint in de custom array moet de volgende structuur hebben:

Voorbeeld

endpoints:
  custom:
    # Example using Mistral AI API
    - name: 'Mistral'
      apiKey: '${YOUR_ENV_VAR_KEY}'
      baseURL: 'https://api.mistral.ai/v1'
      models:
        default: ['mistral-tiny', 'mistral-small', 'mistral-medium', 'mistral-large-latest']
      titleConvo: true
      titleTiming: 'immediate'
      titleModel: 'mistral-tiny'
      modelDisplayLabel: 'Mistral'
      # customParams:
      #   reasoningFormat: reasoning_object
      #   reasoningKey: reasoning_content
      # tokenConfig:
      #   mistral-large-latest:
      #     prompt: 2
      #     completion: 6
      #     context: 128000
      # addParams:
      #   safe_prompt: true # Mistral specific value for moderating messages
      # NOTE: For Mistral, it is necessary to drop the following parameters or you will encounter a 422 Error:
      dropParams: ['stop', 'user', 'frequency_penalty', 'presence_penalty']

    # Example using the native Anthropic Messages API
    - name: 'Claude-Compatible'
      provider: 'anthropic'
      apiKey: '${ANTHROPIC_API_KEY}'
      baseURL: 'https://api.anthropic.com'
      headers:
        anthropic-version: '2023-06-01'
      models:
        default: ['claude-sonnet-4-5', 'claude-opus-4-5']
        fetch: false
      titleConvo: true
      titleModel: 'claude-sonnet-4-5'
      modelDisplayLabel: 'Claude (Compatible)'

name

Sleutel:

Vereist

Voorbeeld:

name: 'Mistral'

apiKey

Sleutel:

Vereist

Voorbeeld:

apiKey: '${MISTRAL_API_KEY}'

of

apiKey: 'your_api_key'

of

apiKey: 'user_provided'

baseURL

Sleutel:

Vereist

Voorbeeld:

baseURL: 'https://api.mistral.ai/v1'

of

baseURL: '${MISTRAL_BASE_URL}'

of

baseURL: 'user_provided'

Opmerkingen:

• Als de baseURL die je instelt het volledige completions-endpoint is, kun je het veld directEndpoint op true zetten om het direct te gebruiken.
  • Dit is noodzakelijk omdat de app standaard "/chat/completions" of "/completion" toevoegt aan de baseURL.
• Wanneer je provider: anthropic gebruikt, stel baseURL dan in op de API-root die de Anthropic SDK moet aanroepen, zoals https://api.anthropic.com of je gateway-root. LibreChat gebruikt het native Anthropic /v1/messages pad voor die provider.

provider

Sleutel:

Standaard: weggelaten, wat het OpenAI-compatibele aangepaste endpoint-pad gebruikt.

Ondersteunde waarden:

• "anthropic" - Gebruikt de native Anthropic /v1/messages client met de baseURL, apiKey, headers, addParams, dropParams en customParams.paramDefinitions van dit endpoint.

Voorbeeld:

endpoints:
  custom:
    - name: 'Claude-Compatible'
      provider: 'anthropic'
      apiKey: '${ANTHROPIC_API_KEY}'
      baseURL: 'https://api.anthropic.com'
      headers:
        anthropic-version: '2023-06-01'
      models:
        default:
          - 'claude-sonnet-4-5'
          - 'claude-opus-4-5'
        fetch: false
      titleConvo: true
      titleModel: 'claude-sonnet-4-5'
      modelDisplayLabel: 'Claude (Compatible)'

Opmerkingen:

• Gebruik provider: anthropic voor Anthropic zelf of voor Anthropic-compatibele gateways die de native Messages API ondersteunen.
• Lijst modellen expliciet op onder models.default; OpenAI-stijl models.fetch wordt niet gebruikt voor native Anthropic custom endpoints.
• De provider impliceert Anthropic UI-parameters, tenzij je expliciet een andere customParams.defaultParamsEndpoint instelt.
• Endpoints zonder provider behouden het OpenAI-compatibele gedrag.

iconURL

Sleutel:

Standaard: ""

Voorbeeld:

iconURL: https://github.com/danny-avila/LibreChat/raw/main/docs/assets/LibreChat.svg

of hergebruik een ingebouwd endpoint icoon:

iconURL: openAI

Opmerkingen:

• Stel geen aangepaste endpoint name in op een ingebouwde endpoint-naam enkel om een icoon te hergebruiken. Aangepaste endpoint-namen moeten uniek zijn en mogen geen standaard endpoint-waarden gebruiken zoals:
  • "openAI" | "azureOpenAI" | "google" | "anthropic" | "assistants" | "azureAssistants" | "agents" | "bedrock"
• Om een in het project opgenomen endpoint-icoon te gebruiken, moet je de name van het aangepaste endpoint uniek houden en in plaats daarvan iconURL instellen op een van de ingebouwde endpoint-sleutels.
  • "openAI" | "azureOpenAI" | "google" | "anthropic" | "assistants" | "azureAssistants" | "agents" | "bedrock"
• Om een aangepaste afbeelding te gebruiken, stelt u iconURL in op een afbeeldings-URL of een pad dat door LibreChat wordt geserveerd, zoals /assets/my-icon.svg.
• Er zijn ook "bekende endpoints" (niet hoofdlettergevoelig), waarvoor iconen beschikbaar zijn. Als de name van je endpoint overeenkomt met de volgende namen, moet je dit veld weglaten:
  • Anyscale
  • APIpie
  • Cohere
  • Deepseek
  • Vuurwerk
  • groq
  • Helicone
  • Huggingface
  • Mistral
  • MLX
  • Moonshot
  • ollama
  • OpenRouter
  • Perplexity
  • Qwen
  • ShuttleAI
  • together.ai
  • Verenig
  • xai

models

Sleutel:

Vereist

Eigenschappen:

default

Sleutel:

Vereist

Voorbeeld:

default:
  - 'mistral-tiny'
  - 'mistral-small'
  - 'mistral-medium'

fetch

Sleutel:

Standaard: false

Voorbeeld:

fetch: true

userIdQuery

Sleutel:

Standaard: false

Voorbeeld:

userIdQuery: true

titleConvo

Sleutel:

Standaard: false

Voorbeeld:

titleConvo: true

titleTiming

Sleutel:

Standaard: "immediate"

Beschikbare waarden:

• "immediate" - Genereert de titel zodra het verzoek start, parallel aan het antwoord van het model, met behulp van het eerste bericht van de gebruiker.
• "final" - Stelt het genereren van de titel uit totdat het volledige antwoord is voltooid. Dit behoudt het verouderde gedrag.

Voorbeeld:

titleTiming: 'final'

titleMethod

Sleutel:

Standaard: "completion"

Beschikbare methoden:

• "completion" - Gebruikt de standaard completion API zonder tools/functies. Compatibel met de meeste LLM's.
• "structured" - Gebruikt gestructureerde output voor het genereren van titels. Vereist ondersteuning van de provider/het model.
• "functions" - Verouderde alias voor "structured". Functioneel identiek.

Voorbeeld:

titleMethod: 'completion'

titleModel

Sleutel:

Standaard: "gpt-3.5-turbo"

Voorbeeld:

titleModel: 'mistral-tiny'

titleModel: 'current_model'

titlePrompt

Sleutel:

Standaard:

Analyze this conversation and provide:
1. The detected language of the conversation
2. A concise title in the detected language (5 words or less, no punctuation or quotation)

{convo}

Opmerkingen:

• Moet altijd de {convo} placeholder bevatten
• De {convo} placeholder zal worden vervangen door het geformatteerde gesprek

Voorbeeld:

titlePrompt: "Create a brief, descriptive title for the following conversation:\n\n{convo}\n\nTitle:"

titlePromptTemplate

Sleutel:

Standaard: "User: {input}\nAI: {output}"

Opmerkingen:

• Moet zowel de {input} als {output} placeholders bevatten
• Bepaalt hoe de conversatie wordt geformatteerd wanneer deze in titlePrompt wordt ingevoegd

Voorbeeld:

titlePromptTemplate: "Human: {input}\n\nAssistant: {output}"

titleEndpoint

Sleutel:

Standaard: Gebruikt het huidige aangepaste endpoint

Geaccepteerde waarden:

• openAI
• azureOpenAI
• google
• anthropic
• bedrock
• Nog een aangepaste endpoint-naam

Voorbeeld:

# Use a different custom endpoint for titles
endpoints:
  custom:
    - name: 'my-chat-endpoint'
      apiKey: '${CHAT_API_KEY}'
      baseURL: 'https://api.example.com/v1/chat'
      models:
        default: ['gpt-4']
      titleEndpoint: 'my-title-endpoint'

    - name: 'my-title-endpoint'
      apiKey: '${TITLE_API_KEY}'
      baseURL: 'https://api.example.com/v1/title'
      models:
        default: ['gpt-3.5-turbo']

modelDisplayLabel

Sleutel:

Standaard: "AI"

Voorbeeld:

modelDisplayLabel: 'Mistral'

addParams

Sleutel:

Voorbeeld:

addParams:
  safe_prompt: true
  max_tokens: 2048

Opmerkingen:

• Het addParams veld stelt je in staat om extra parameters toe te voegen die geen deel uitmaken van de standaard payload (zie de "Default Parameters" sectie). Dit is bijzonder nuttig voor API-specifieke opties.

dropParams

Sleutel:

Voorbeeld:

dropParams:
  - 'stop'
  - 'user'
  - 'frequency_penalty'
  - 'presence_penalty'

Let op:

• Het dropParams veld stelt je in staat om "Default Parameters" te verwijderen die met elk verzoek worden meegestuurd. Dit is handig bij het werken met API's die bepaalde parameters niet accepteren of herkennen.

customParams

Sleutel:

Sub-keys:

Redeneerformaten:

• reasoning_effort - Verstuurt de legacy reasoning_effort parameter.
• reasoning_object - Verstuurt een reasoning object, zoals { effort, summary }, voor providers die de nieuwere OpenAI-compatibele vorm volgen.
• disabled - Onderdrukt reasoning-parameters, zelfs wanneer een gebruiker of Model Specs reasoning selecteert.

Reasoning replay:

• Gebruik includeReasoningContent: true voor OpenAI-compatibele providers die vereisen dat reasoning_content van de assistant opnieuw wordt afgespeeld tijdens tool-call turns.
• Gebruik includeReasoningHistory: true alleen voor providers die ook reasoning_content vereisen dat wordt gereconstrueerd uit de opgeslagen geschiedenis in latere beurten, zoals sommige Xiaomi MiMo- of Kimi-compatibele gateways.

Anthropic provider note:

Gebruik provider: anthropic wanneer het aangepaste endpoint de native Anthropic Messages API moet gebruiken. Gebruik customParams.defaultParamsEndpoint: anthropic zonder provider alleen wanneer je nog steeds het OpenAI-compatibele aangepaste endpoint-pad nodig hebt, maar wel Anthropic-stijl parametermetadata en verzoekadaptatie wilt.

Voorbeeld:

customParams:
  reasoningFormat: reasoning_object
  reasoningKey: reasoning_content
  includeReasoningContent: true

tokenConfig

Sleutel:

Elke sleutel is een modelnaam. Elk model-item ondersteunt:

Voorbeeld:

tokenConfig:
  gpt-4o-mini:
    prompt: 0.15
    completion: 0.6
    context: 128000
    cacheRead: 0.075
    cacheWrite: 0.15

Opmerkingen:

• Tarieven worden uitgedrukt per miljoen tokens in USD voordat enige interface.currency conversie wordt toegepast voor weergave.
• De modelnaam moet overeenkomen met de modelwaarde die via de custom endpoint wordt verzonden.
• Voor Agents die meerdere endpoints gebruiken, wordt de bijbehorende endpoint/model token-configuratie gebruikt bij het registreren van het gebruik en de kosten.

headers

Sleutel:

Voorbeeld:

headers:
  x-api-key: '${ENVIRONMENT_VARIABLE}'
  Content-Type: 'application/json'
  X-User-ID: '{{LIBRECHAT_USER_ID}}'
  X-User-Email: '{{LIBRECHAT_USER_EMAIL}}'

Opmerking: Ondersteunt dynamische omgevingsvariabelewaarden, die het formaat "${VARIABLE_NAME}" gebruiken.

Wanneer models.fetch: true wordt gebruikt, worden deze headers ook opgelost en doorgestuurd naar het model-lijstverzoek voor door de beheerder beheerde base URLs. Een geconfigureerde Authorization header krijgt voorrang op de apiKey fallback van de endpoint, wat handig is voor authenticatie-bewuste proxy's die per-gebruiker modellijsten retourneren. Als baseURL: "user_provided" is geconfigureerd, stuurt LibreChat geen geconfigureerde headertemplates door naar de door de gebruiker opgegeven bestemming. Voor provider: anthropic worden headers doorgestuurd via de native Anthropic-client in plaats van de OpenAI-compatibele client.

Beschikbare tijdelijke aanduidingen voor gebruikersvelden:

Beschikbare Request Body Placeholders:

Voorbeeld met gebruik van request body placeholders:

headers:
  X-Conversation-ID: '{{LIBRECHAT_BODY_CONVERSATIONID}}'
  X-Parent-Message-ID: '{{LIBRECHAT_BODY_PARENTMESSAGEID}}'
  X-Message-ID: '{{LIBRECHAT_BODY_MESSAGEID}}'

directEndpoint

Sleutel:

Standaard: false

Voorbeeld:

directEndpoint: true

titleMessageRole

• Opties: "system" | "user" | "assistant"

Sleutel:

Standaard: "system"

Voorbeeld:

titleMessageRole: 'user'