Diese Seite beschreibt die gemeinsamen Konfigurationseinstellungen für alle endpoints. Die hier hervorgehobenen Einstellungen sind für alle Konfigurationen unter dem Feld "Endpoints" verfügbar, sofern nicht anders angegeben.

Beispielkonfiguration

endpoints:
  # Individual endpoint configurations
  openAI:
    streamRate: 25
    titleModel: 'gpt-4o-mini'
    titleMethod: 'completion'
    titleTiming: 'immediate'
    titlePrompt: "Create a concise title for this conversation:\n\n{convo}"
    headers:
      X-Gateway-Metadata: '{"user_email":"{{LIBRECHAT_USER_EMAIL}}"}'
 
  azureOpenAI:
    streamRate: 35
    titleModel: 'grok-3'
    titleMethod: 'structured'
    titlePrompt: |
      Analyze this conversation and provide:
      1. A concise title in the detected language (5 words or less, no punctuation or quotation)
      2. Always provide a relevant emoji at the start of the title
 
      {convo}
    titleConvo: true
 
  anthropic:
    streamRate: 25
    titleModel: 'claude-3-5-haiku-20241022'
    titleMethod: 'completion'
    headers:
      X-Conversation-Id: '{{LIBRECHAT_BODY_CONVERSATIONID}}'
 
  bedrock:
    streamRate: 25
    titleModel: 'us.amazon.nova-lite-v1:0'
    titleEndpoint: 'anthropic'
 
  google:
    streamRate: 1
    titleModel: 'gemini-2.0-flash-lite'
    titlePromptTemplate: "Human: {input}\nAssistant: {output}"
    headers:
      X-Gateway-Metadata: '{"user_id":"{{LIBRECHAT_USER_ID}}"}'
 
  assistants:
    streamRate: 30
 
  azureAssistants:
    streamRate: 30
 
  # Global configuration using 'all' - this applies shared settings across endpoints.
  # Most defined values override endpoint defaults; headers are merged and endpoint values win on collisions.
  all:
    headers:
      X-App: 'librechat'
    titleConvo: true
    titleModel: 'gpt-4.1-nano'
    titleTiming: 'immediate'
    titlePrompt: |
      Analyze this conversation and provide:
      1. The detected language of the conversation
      2. A concise title in the detected language (5 words or less, no punctuation or quotation)
      3. Always provide a relevant emoji at the start of the title
      {convo}

Wichtig: Wenn Sie die all-Konfiguration verwenden, gelten die meisten von Ihnen definierten gemeinsamen Eigenschaften für alle endpoints. Im obigen Beispiel würde die all-Konfiguration titleConvo, titleModel und titlePrompt auf alle endpoints anwenden, während individuelle streamRate-Einstellungen beibehalten würden, da diese nicht in all definiert sind. headers werden separat zusammengeführt: Werte aus endpoints.all.headers gelten global, und bei Schlüsselkollisionen haben die headers auf endpoint-Ebene Vorrang.

streamRate

Schlüssel:

Standard: 1

Ermöglicht das Streamen von Daten mit der schnellstmöglichen Rate, während das System gleichzeitig auf den nächsten Takt warten kann.

titleConvo

Schlüssel:

Standard: false

Hinweise:

• Wenn aktiviert, werden Titel automatisch unter Verwendung der konfigurierten Titeleinstellungen generiert.
• Muss in Verbindung mit titleModel verwendet werden oder der endpoint muss über ein verfügbares Standardmodell verfügen

Beispiel:

titleConvo: true

titleTiming

Schlüssel:

Standard: "immediate"

Verfügbare Werte:

• "immediate" – Generiert den Titel sofort, sobald die Anfrage beginnt, parallel zur Antwort des Modells, unter Verwendung der ersten Nachricht des Benutzers. Titel erscheinen normalerweise innerhalb einer Sekunde oder zwei.
• "final" – Verschiebt die Titelgenerierung, bis die vollständige Antwort abgeschlossen ist. Dies bewahrt das ursprüngliche Verhalten.

Beispiel:

endpoints:
  all:
    titleTiming: 'immediate'

titleModel

Schlüssel:

Standard: Systemstandard für den aktuellen endpoint

titleMethod

Schlüssel:

Standard: "completion"

Verfügbare Methoden:

• "completion" - Verwendet die Standard-Completion-API ohne Tools/Funktionen. Kompatibel mit den meisten LLMs.
• "structured" - Verwendet strukturierte Ausgabe für die Titelgenerierung. Erfordert Unterstützung durch den Anbieter/das Modell.
• "functions" - Veralteter Alias für "structured". Funktionell identisch.

Beispiel:

titleMethod: 'completion'

titlePrompt

Schlüssel:

Standard:

Analyze this conversation and provide:
1. The detected language of the conversation
2. A concise title in the detected language (5 words or less, no punctuation or quotation)

{convo}

Hinweise:

• Muss immer den {convo} Platzhalter enthalten
• Der {convo}-Platzhalter wird durch die formatierte Konversation ersetzt
• Kann an einer beliebigen Stelle im Prompt platziert werden

Beispiel:

titlePrompt: "Create a brief, descriptive title for the following conversation:\n\n{convo}\n\nTitle:"

titlePromptTemplate

Schlüssel:

Standard: "User: {input}\nAI: {output}"

Hinweise:

• Muss sowohl die Platzhalter {input} als auch {output} enthalten
• {input} wird durch die ursprüngliche Nachricht des Benutzers ersetzt
• {output} wird durch die Antwort der KI ersetzt
• Das formatierte Ergebnis ersetzt {convo} im titlePrompt

Beispiel:

titlePromptTemplate: "Human: {input}\n\nAssistant: {output}"

titleEndpoint

Schlüssel:

Standard: Verwendet den endpoint der aktuellen Konversation

Akzeptierte Werte:

• openAI
• azureOpenAI
• google
• anthropic
• bedrock
• Für benutzerdefinierte endpoints: Verwenden Sie den exakten custom endpoint name

Beispiel:

# Use Anthropic for titles even when chatting with OpenAI
endpoints:
  openAI:
    titleEndpoint: 'anthropic'
    # Will use anthropic's configuration for title generation

maxToolResultChars

Schlüssel:

Standard: Kein Limit

Hinweise:

• Hilft zu verhindern, dass übermäßig große Tool-Ausgaben zu viele Token verbrauchen
• Gilt für alle Tool-Aufrufergebnisse für das endpoint

Beispiel:

endpoints:
  all:
    maxToolResultChars: 50000

headers

Schlüssel:

Unterstützte endpoints: openAI, anthropic, google und all.

Beispiel:

endpoints:
  all:
    headers:
      X-App: 'librechat'
  anthropic:
    headers:
      X-Conversation-Id: '{{LIBRECHAT_BODY_CONVERSATIONID}}'

Hinweise:

• Werte unterstützen ${ENV_VAR}, {{LIBRECHAT_USER_*}} und Platzhalter für den Request-Body wie {{LIBRECHAT_BODY_CONVERSATIONID}}.
• Header auf Endpoint-Ebene überschreiben endpoints.all.headers bei Schlüsselkollisionen.
• Vom Anbieter verwaltete Authentifizierung und erforderliche Beta-/Protokoll-Header bleiben maßgeblich. Anthropic-Beta-Werte werden zusammengeführt, sodass benutzerdefinierte Beta-Flags keine erforderlichen Anbieter-Flags überschreiben.
• Header werden auch für unterstützte Modelllisten-Anfragen von Anbietern weitergeleitet.
• Verwenden Sie Metadaten-Header hinter einem Gateway oder Reverse-Proxy, der diese verarbeitet. Native Provider-APIs ignorieren in der Regel unbekannte Header.

Hinweise:

• Alle auf dieser Seite gezeigten Einstellungen können individuell pro endpoint oder global über den all Schlüssel konfiguriert werden.
• Bei Verwendung der all Konfiguration werden die entsprechenden Einstellungen in ALLEN einzelnen endpoint überschrieben.
• Der all-Schlüssel akzeptiert kein baseURL
• Einstellungen, die nicht in all definiert sind, behalten ihre individuellen endpoint-Werte bei.
• Für streamRate: Empfohlene Werte liegen zwischen 25-40 für ein flüssiges Streaming-Erlebnis
• Die Verwendung einer höheren Stream-Rate ist ein Muss, wenn die App für viele Benutzer in großem Maßstab bereitgestellt wird.

Beispiel für das Override-Verhalten:

endpoints:
  openAI:
    streamRate: 25 # This will be preserved
    titleModel: 'gpt-4' # This will be overridden
    titleConvo: false # This will be overridden
 
  all:
    titleConvo: true
    titleModel: 'gpt-3.5-turbo'
    # streamRate not defined here, so individual values are kept

Endpoint-Einstellungen

• Benutzerdefinierte Endpoints
• OpenAI
• Anthropic
• Bedrock
• Google
• Azure OpenAI
• Assistants