Deze pagina beschrijft de gedeelde configuratie-instellingen voor alle endpoints. De instellingen die hier worden uitgelicht, zijn beschikbaar voor alle configuraties onder het veld "Endpoints", tenzij anders vermeld.

Voorbeeldconfiguratie

endpoints:
  # Individual endpoint configurations
  openAI:
    streamRate: 25
    titleModel: 'gpt-4o-mini'
    titleMethod: 'completion'
    titleTiming: 'immediate'
    titlePrompt: "Create a concise title for this conversation:\n\n{convo}"
    headers:
      X-Gateway-Metadata: '{"user_email":"{{LIBRECHAT_USER_EMAIL}}"}'

  azureOpenAI:
    streamRate: 35
    titleModel: 'grok-3'
    titleMethod: 'structured'
    titlePrompt: |
      Analyze this conversation and provide:
      1. A concise title in the detected language (5 words or less, no punctuation or quotation)
      2. Always provide a relevant emoji at the start of the title

      {convo}
    titleConvo: true

  anthropic:
    streamRate: 25
    titleModel: 'claude-3-5-haiku-20241022'
    titleMethod: 'completion'
    headers:
      X-Conversation-Id: '{{LIBRECHAT_BODY_CONVERSATIONID}}'

  bedrock:
    streamRate: 25
    titleModel: 'us.amazon.nova-lite-v1:0'
    titleEndpoint: 'anthropic'

  google:
    streamRate: 1
    titleModel: 'gemini-2.0-flash-lite'
    titlePromptTemplate: "Human: {input}\nAssistant: {output}"
    headers:
      X-Gateway-Metadata: '{"user_id":"{{LIBRECHAT_USER_ID}}"}'

  assistants:
    streamRate: 30

  azureAssistants:
    streamRate: 30

  # Global configuration using 'all' - this applies shared settings across endpoints.
  # Most defined values override endpoint defaults; headers are merged and endpoint values win on collisions.
  all:
    headers:
      X-App: 'librechat'
    titleConvo: true
    titleModel: 'gpt-4.1-nano'
    titleTiming: 'immediate'
    titlePrompt: |
      Analyze this conversation and provide:
      1. The detected language of the conversation
      2. A concise title in the detected language (5 words or less, no punctuation or quotation)
      3. Always provide a relevant emoji at the start of the title
      {convo}

Belangrijk: Wanneer je de all configuratie gebruikt, zijn de meeste gedeelde eigenschappen die je definieert van toepassing op alle endpoints. In het bovenstaande voorbeeld zou de all configuratie titleConvo, titleModel en titlePrompt toepassen op alle endpoints, terwijl individuele streamRate instellingen behouden blijven omdat deze niet in all zijn gedefinieerd. headers worden afzonderlijk samengevoegd: waarden uit endpoints.all.headers zijn globaal van toepassing, en headers op endpoint-niveau krijgen voorrang bij sleutelconflicten.

streamRate

Sleutel:

Standaard: 1

Maakt het streamen van gegevens op de hoogst mogelijke snelheid mogelijk, terwijl het systeem kan wachten op de volgende tick

titleConvo

Sleutel:

Standaard: false

Opmerkingen:

• Wanneer ingeschakeld, worden titels automatisch gegenereerd met behulp van de geconfigureerde titelinstellingen.
• Moet worden gebruikt in combinatie met titleModel of het endpoint moet een standaardmodel beschikbaar hebben

Voorbeeld:

titleConvo: true

titleTiming

Sleutel:

Standaard: "immediate"

Beschikbare waarden:

• "immediate" - Genereert de titel zodra het verzoek start, parallel aan het antwoord van het model, met behulp van het eerste bericht van de gebruiker. Titels verschijnen meestal binnen een seconde of twee.
• "final" - Stelt het genereren van de titel uit totdat het volledige antwoord is voltooid. Dit behoudt het verouderde gedrag.

Voorbeeld:

endpoints:
  all:
    titleTiming: 'immediate'

titleModel

Sleutel:

Standaard: Systeemstandaard voor de huidige endpoint

titleMethod

Sleutel:

Standaard: "completion"

Beschikbare methoden:

• "completion" - Gebruikt de standaard completion API zonder tools/functies. Compatibel met de meeste LLM's.
• "structured" - Gebruikt gestructureerde output voor het genereren van titels. Vereist ondersteuning van de provider/het model.
• "functions" - Verouderde alias voor "structured". Functioneel identiek.

Voorbeeld:

titleMethod: 'completion'

titlePrompt

Sleutel:

Standaard:

Analyze this conversation and provide:
1. The detected language of the conversation
2. A concise title in the detected language (5 words or less, no punctuation or quotation)

{convo}

Opmerkingen:

• Moet altijd de {convo} placeholder bevatten
• De {convo} placeholder zal worden vervangen door het geformatteerde gesprek
• Kan overal in de prompt worden geplaatst

Voorbeeld:

titlePrompt: "Create a brief, descriptive title for the following conversation:\n\n{convo}\n\nTitle:"

titlePromptTemplate

Sleutel:

Standaard: "User: {input}\nAI: {output}"

Opmerkingen:

• Moet zowel de {input} als {output} placeholders bevatten
• {input} wordt vervangen door het eerste bericht van de gebruiker
• {output} wordt vervangen door het antwoord van de AI
• Het geformatteerde resultaat vervangt {convo} in de titlePrompt

Voorbeeld:

titlePromptTemplate: "Human: {input}\n\nAssistant: {output}"

titleEndpoint

Sleutel:

Standaard: Gebruikt het endpoint van het huidige gesprek

Geaccepteerde waarden:

• openAI
• azureOpenAI
• google
• anthropic
• bedrock
• Voor custom endpoints: gebruik de exacte custom endpoint name

Voorbeeld:

# Use Anthropic for titles even when chatting with OpenAI
endpoints:
  openAI:
    titleEndpoint: 'anthropic'
    # Will use anthropic's configuration for title generation

maxToolResultChars

Sleutel:

Standaard: Geen limiet

Opmerkingen:

• Helpt voorkomen dat extreem grote tool-outputs te veel tokens verbruiken
• Is van toepassing op alle resultaten van tool-aanroepen voor de endpoint

Voorbeeld:

endpoints:
  all:
    maxToolResultChars: 50000

headers

Sleutel:

Ondersteunde endpoints: openAI, anthropic, google, en all.

Voorbeeld:

endpoints:
  all:
    headers:
      X-App: 'librechat'
  anthropic:
    headers:
      X-Conversation-Id: '{{LIBRECHAT_BODY_CONVERSATIONID}}'

Opmerkingen:

• Waarden ondersteunen ${ENV_VAR}, {{LIBRECHAT_USER_*}} en request-body placeholders zoals {{LIBRECHAT_BODY_CONVERSATIONID}}.
• Headers op endpoint-niveau overschrijven endpoints.all.headers bij sleutelconflicten.
• Door de provider beheerde authenticatie en vereiste beta/protocol-headers blijven leidend. Anthropic beta-waarden worden samengevoegd, zodat aangepaste beta-vlaggen de vereiste provider-vlaggen niet overschrijven.
• Headers worden ook doorgestuurd voor ondersteunde model-list verzoeken van providers.
• Gebruik metadata-headers achter een gateway of reverse proxy die deze verbruikt. Native provider-API's negeren doorgaans onbekende headers.

Opmerkingen:

• Alle instellingen die op deze pagina worden getoond, kunnen individueel per endpoint of globaal worden geconfigureerd met behulp van de all key
• Bij gebruik van de all configuratie, zal dit de bijbehorende instellingen in ALLE individuele endpoints overschrijven.
• De all key accepteert geen baseURL
• Instellingen die niet zijn gedefinieerd in all behouden hun individuele endpoint-waarden
• Voor streamRate: Aanbevolen waarden liggen tussen 25-40 voor een vloeiende streamingervaring
• Het gebruik van een hogere stream rate is een vereiste wanneer de app op grote schaal aan veel gebruikers wordt aangeboden.

Voorbeeld van Override-gedrag:

endpoints:
  openAI:
    streamRate: 25 # This will be preserved
    titleModel: 'gpt-4' # This will be overridden
    titleConvo: false # This will be overridden

  all:
    titleConvo: true
    titleModel: 'gpt-3.5-turbo'
    # streamRate not defined here, so individual values are kept

Endpoint Settings

• Custom Endpoints
• OpenAI
• Anthropic
• Bedrock
• Google
• Azure OpenAI
• Assistants