Struktur des benutzerdefinierten endpoint-Objekts

Jeder endpoint im custom Array sollte die folgende Struktur aufweisen:

Beispiel

endpoints:
  custom:
    # Example using Mistral AI API
    - name: 'Mistral'
      apiKey: '${YOUR_ENV_VAR_KEY}'
      baseURL: 'https://api.mistral.ai/v1'
      models:
        default: ['mistral-tiny', 'mistral-small', 'mistral-medium', 'mistral-large-latest']
      titleConvo: true
      titleTiming: 'immediate'
      titleModel: 'mistral-tiny'
      modelDisplayLabel: 'Mistral'
      # customParams:
      #   reasoningFormat: reasoning_object
      #   reasoningKey: reasoning_content
      # tokenConfig:
      #   mistral-large-latest:
      #     prompt: 2
      #     completion: 6
      #     context: 128000
      # addParams:
      #   safe_prompt: true # Mistral specific value for moderating messages
      # NOTE: For Mistral, it is necessary to drop the following parameters or you will encounter a 422 Error:
      dropParams: ['stop', 'user', 'frequency_penalty', 'presence_penalty']
 
    # Example using the native Anthropic Messages API
    - name: 'Claude-Compatible'
      provider: 'anthropic'
      apiKey: '${ANTHROPIC_API_KEY}'
      baseURL: 'https://api.anthropic.com'
      headers:
        anthropic-version: '2023-06-01'
      models:
        default: ['claude-sonnet-4-5', 'claude-opus-4-5']
        fetch: false
      titleConvo: true
      titleModel: 'claude-sonnet-4-5'
      modelDisplayLabel: 'Claude (Compatible)'

name

Schlüssel:

Erforderlich

Beispiel:

name: 'Mistral'

apiKey

Schlüssel:

Erforderlich

Beispiel:

apiKey: '${MISTRAL_API_KEY}'

oder

apiKey: 'your_api_key'

oder

apiKey: 'user_provided'

baseURL

Schlüssel:

Erforderlich

Beispiel:

baseURL: 'https://api.mistral.ai/v1'

oder

baseURL: '${MISTRAL_BASE_URL}'

oder

baseURL: 'user_provided'

Hinweise:

• Wenn die von dir festgelegte baseURL der vollständige Completions-Endpunkt ist, kannst du das Feld directEndpoint auf true setzen, um ihn direkt zu verwenden.
  • Dies ist notwendig, da die App standardmäßig "/chat/completions" oder "/completion" an die baseURL anhängt.
• Wenn Sie provider: anthropic verwenden, setzen Sie baseURL auf den API-Root, den das Anthropic SDK aufrufen soll, wie zum Beispiel https://api.anthropic.com oder Ihren Gateway-Root. LibreChat verwendet für diesen Anbieter den nativen Anthropic-Pfad /v1/messages.

provider

Schlüssel:

Standard: weggelassen, wodurch der OpenAI-kompatible benutzerdefinierte endpoint-Pfad verwendet wird.

Unterstützte Werte:

• "anthropic" - Verwendet den nativen Anthropic /v1/messages-Client mit dem baseURL, apiKey, headers, addParams, dropParams und customParams.paramDefinitions dieses Endpoints.

Beispiel:

endpoints:
  custom:
    - name: 'Claude-Compatible'
      provider: 'anthropic'
      apiKey: '${ANTHROPIC_API_KEY}'
      baseURL: 'https://api.anthropic.com'
      headers:
        anthropic-version: '2023-06-01'
      models:
        default:
          - 'claude-sonnet-4-5'
          - 'claude-opus-4-5'
        fetch: false
      titleConvo: true
      titleModel: 'claude-sonnet-4-5'
      modelDisplayLabel: 'Claude (Compatible)'

Hinweise:

• Verwenden Sie provider: anthropic für Anthropic selbst oder für Anthropic-kompatible Gateways, die die native Messages API unterstützen.
• Listen Sie Modelle explizit unter models.default auf; der OpenAI-Stil models.fetch wird für native benutzerdefinierte Anthropic-endpoints nicht verwendet.
• Der Provider impliziert Anthropic UI-Parameter, sofern Sie nicht explizit einen anderen customParams.defaultParamsEndpoint festlegen.
• Endpoints ohne provider behalten das OpenAI-kompatible Verhalten bei.

iconURL

Schlüssel:

Standard: ""

Beispiel:

iconURL: https://github.com/danny-avila/LibreChat/raw/main/docs/assets/LibreChat.svg

oder ein integriertes endpoint-Icon wiederverwenden:

iconURL: openAI

Hinweise:

• Verwenden Sie für einen benutzerdefinierten endpoint name keinen Namen eines integrierten endpoints, nur um ein Symbol wiederzuverwenden. Benutzerdefinierte endpoint-Namen müssen eindeutig sein und sollten keine Standard-endpoint-Werte verwenden, wie zum Beispiel:
  • "openAI" | "azureOpenAI" | "google" | "anthropic" | "assistants" | "azureAssistants" | "agents" | "bedrock"
• Um ein im Projekt enthaltenes Endpoint-Icon zu verwenden, halten Sie den name des benutzerdefinierten Endpoints eindeutig und setzen Sie stattdessen iconURL auf einen der integrierten Endpoint-Schlüssel.
  • "openAI" | "azureOpenAI" | "google" | "anthropic" | "assistants" | "azureAssistants" | "agents" | "bedrock"
• Um ein benutzerdefiniertes Bild zu verwenden, setzen Sie iconURL auf eine Bild-URL oder einen Pfad, der von LibreChat bereitgestellt wird, wie zum Beispiel /assets/my-icon.svg.
• Es gibt auch "bekannte endpoints" (Groß-/Kleinschreibung wird ignoriert), für die Icons bereitgestellt werden. Wenn der name Ihres endpoints mit den folgenden Namen übereinstimmt, sollten Sie dieses Feld weglassen:
  • Anyscale
  • APIpie
  • Cohere
  • Deepseek
  • Fireworks
  • groq
  • Helicone
  • Huggingface
  • Mistral
  • MLX
  • Moonshot
  • ollama
  • OpenRouter
  • Perplexity
  • Qwen
  • ShuttleAI
  • together.ai
  • Vereinen
  • xai

models

Schlüssel:

Erforderlich

Eigenschaften:

default

Schlüssel:

Erforderlich

Beispiel:

default:
  - 'mistral-tiny'
  - 'mistral-small'
  - 'mistral-medium'

fetch

Schlüssel:

Standard: false

Beispiel:

fetch: true

userIdQuery

Schlüssel:

Standard: false

Beispiel:

userIdQuery: true

titleConvo

Schlüssel:

Standard: false

Beispiel:

titleConvo: true

titleTiming

Schlüssel:

Standard: "immediate"

Verfügbare Werte:

• "immediate" - Generiert den Titel, sobald die Anfrage beginnt, parallel zur Antwort des Modells, unter Verwendung der ersten Nachricht des Benutzers.
• "final" – Verschiebt die Titelgenerierung, bis die vollständige Antwort abgeschlossen ist. Dies bewahrt das ursprüngliche Verhalten.

Beispiel:

titleTiming: 'final'

titleMethod

Schlüssel:

Standard: "completion"

Verfügbare Methoden:

• "completion" - Verwendet die Standard-Completion-API ohne Tools/Funktionen. Kompatibel mit den meisten LLMs.
• "structured" - Verwendet strukturierte Ausgabe für die Titelgenerierung. Erfordert Unterstützung durch den Anbieter/das Modell.
• "functions" - Veralteter Alias für "structured". Funktionell identisch.

Beispiel:

titleMethod: 'completion'

titleModel

Schlüssel:

Standard: "gpt-3.5-turbo"

Beispiel:

titleModel: 'mistral-tiny'

titleModel: 'current_model'

titlePrompt

Schlüssel:

Standard:

Analyze this conversation and provide:
1. The detected language of the conversation
2. A concise title in the detected language (5 words or less, no punctuation or quotation)

{convo}

Hinweise:

• Muss immer den {convo} Platzhalter enthalten
• Der {convo}-Platzhalter wird durch die formatierte Konversation ersetzt

Beispiel:

titlePrompt: "Create a brief, descriptive title for the following conversation:\n\n{convo}\n\nTitle:"

titlePromptTemplate

Schlüssel:

Standard: "User: {input}\nAI: {output}"

Hinweise:

• Muss sowohl die Platzhalter {input} als auch {output} enthalten
• Steuert, wie die Konversation formatiert wird, wenn sie in titlePrompt eingefügt wird.

Beispiel:

titlePromptTemplate: "Human: {input}\n\nAssistant: {output}"

titleEndpoint

Schlüssel:

Standard: Verwendet den aktuellen benutzerdefinierten endpoint

Akzeptierte Werte:

• openAI
• azureOpenAI
• google
• anthropic
• bedrock
• Ein weiterer benutzerdefinierter endpoint-Name

Beispiel:

# Use a different custom endpoint for titles
endpoints:
  custom:
    - name: 'my-chat-endpoint'
      apiKey: '${CHAT_API_KEY}'
      baseURL: 'https://api.example.com/v1/chat'
      models:
        default: ['gpt-4']
      titleEndpoint: 'my-title-endpoint'
 
    - name: 'my-title-endpoint'
      apiKey: '${TITLE_API_KEY}'
      baseURL: 'https://api.example.com/v1/title'
      models:
        default: ['gpt-3.5-turbo']

modelDisplayLabel

Schlüssel:

Standard: "AI"

Beispiel:

modelDisplayLabel: 'Mistral'

addParams

Schlüssel:

Beispiel:

addParams:
  safe_prompt: true
  max_tokens: 2048

Hinweise:

• Das Feld addParams ermöglicht es Ihnen, zusätzliche Parameter einzufügen, die nicht Teil der Standard-Payload sind (siehe den Abschnitt "Default Parameters"). Dies ist besonders nützlich für API-spezifische Optionen.

dropParams

Schlüssel:

Beispiel:

dropParams:
  - 'stop'
  - 'user'
  - 'frequency_penalty'
  - 'presence_penalty'

Hinweis:

• Das Feld dropParams ermöglicht es Ihnen, "Standardparameter" zu entfernen, die mit jeder Anfrage gesendet werden. Dies ist hilfreich bei der Arbeit mit APIs, die bestimmte Parameter nicht akzeptieren oder erkennen.

customParams

Schlüssel:

Untergeordnete Schlüssel:

Reasoning-Formate:

• reasoning_effort - Sendet den Legacy-Parameter reasoning_effort.
• reasoning_object - Sendet ein reasoning-Objekt, wie z. B. { effort, summary }, für Anbieter, die dem neueren OpenAI-kompatiblen Format folgen.
• disabled - Unterdrückt Reasoning-Parameter, selbst wenn ein Benutzer oder Model Specs Reasoning auswählen.

Hinweis zum Anthropic-Anbieter:

Verwenden Sie provider: anthropic, wenn der benutzerdefinierte endpoint die native Anthropic Messages API verwenden soll. Verwenden Sie customParams.defaultParamsEndpoint: anthropic ohne provider nur dann, wenn Sie weiterhin den OpenAI-kompatiblen benutzerdefinierten endpoint-Pfad benötigen, aber Parameter-Metadaten und eine Anforderungsanpassung im Anthropic-Stil wünschen.

Beispiel:

customParams:
  reasoningFormat: reasoning_object
  reasoningKey: reasoning_content

tokenConfig

Schlüssel:

Jeder Schlüssel ist ein Modellname. Jeder Modelleintrag unterstützt:

Beispiel:

tokenConfig:
  gpt-4o-mini:
    prompt: 0.15
    completion: 0.6
    context: 128000
    cacheRead: 0.075
    cacheWrite: 0.15

Hinweise:

• Die Preise werden pro Million Token in USD angegeben, bevor eine interface.currency-Umrechnung für die Anzeige angewendet wird.
• Der Modellname muss mit dem Modellwert übereinstimmen, der über den benutzerdefinierten endpoint gesendet wird.
• Für Agents, die mehrere endpoints verwenden, wird die passende endpoint/model-Token-Konfiguration bei der Erfassung von Nutzung und Kosten verwendet.

headers

Schlüssel:

Beispiel:

headers:
  x-api-key: '${ENVIRONMENT_VARIABLE}'
  Content-Type: 'application/json'
  X-User-ID: '{{LIBRECHAT_USER_ID}}'
  X-User-Email: '{{LIBRECHAT_USER_EMAIL}}'

Hinweis: Unterstützt dynamische Umgebungsvariablenwerte, die das Format "${VARIABLE_NAME}" verwenden.

Wenn models.fetch: true verwendet wird, werden diese Header ebenfalls aufgelöst und an die Modelllisten-Anfrage für vom Administrator gesteuerte base URLs weitergeleitet. Ein konfigurierter Authorization-Header hat Vorrang vor dem apiKey-Fallback des endpoint, was für authentifizierungsbewusste Proxys nützlich ist, die benutzerspezifische Modelllisten zurückgeben. Wenn baseURL: "user_provided" konfiguriert ist, leitet LibreChat konfigurierte Header-Vorlagen nicht an das vom Benutzer bereitgestellte Ziel weiter. Für provider: anthropic werden die Header über den nativen Anthropic-Client anstelle des OpenAI-kompatiblen Clients weitergeleitet.

Verfügbare Platzhalter für Benutzerfelder:

Verfügbare Platzhalter für den Request Body:

Beispiel unter Verwendung von Request-Body-Platzhaltern:

headers:
  X-Conversation-ID: '{{LIBRECHAT_BODY_CONVERSATIONID}}'
  X-Parent-Message-ID: '{{LIBRECHAT_BODY_PARENTMESSAGEID}}'
  X-Message-ID: '{{LIBRECHAT_BODY_MESSAGEID}}'

directEndpoint

Schlüssel:

Standard: false

Beispiel:

directEndpoint: true

titleMessageRole

• Optionen: "system" | "user" | "assistant"

Schlüssel:

Standard: "system"

Beispiel:

titleMessageRole: 'user'