Struktura obiektu niestandardowego endpoint

Każdy endpoint w tablicy custom powinien mieć następującą strukturę:

Przykład

endpoints:
  custom:
    # Example using Mistral AI API
    - name: 'Mistral'
      apiKey: '${YOUR_ENV_VAR_KEY}'
      baseURL: 'https://api.mistral.ai/v1'
      models:
        default: ['mistral-tiny', 'mistral-small', 'mistral-medium', 'mistral-large-latest']
      titleConvo: true
      titleTiming: 'immediate'
      titleModel: 'mistral-tiny'
      modelDisplayLabel: 'Mistral'
      # customParams:
      #   reasoningFormat: reasoning_object
      #   reasoningKey: reasoning_content
      # tokenConfig:
      #   mistral-large-latest:
      #     prompt: 2
      #     completion: 6
      #     context: 128000
      # addParams:
      #   safe_prompt: true # Mistral specific value for moderating messages
      # NOTE: For Mistral, it is necessary to drop the following parameters or you will encounter a 422 Error:
      dropParams: ['stop', 'user', 'frequency_penalty', 'presence_penalty']

    # Example using the native Anthropic Messages API
    - name: 'Claude-Compatible'
      provider: 'anthropic'
      apiKey: '${ANTHROPIC_API_KEY}'
      baseURL: 'https://api.anthropic.com'
      headers:
        anthropic-version: '2023-06-01'
      models:
        default: ['claude-sonnet-4-5', 'claude-opus-4-5']
        fetch: false
      titleConvo: true
      titleModel: 'claude-sonnet-4-5'
      modelDisplayLabel: 'Claude (Compatible)'

name

Klucz:

Wymagane

Przykład:

name: 'Mistral'

apiKey

Klucz:

Wymagane

Przykład:

apiKey: '${MISTRAL_API_KEY}'

lub

apiKey: 'your_api_key'

lub

apiKey: 'user_provided'

baseURL

Klucz:

Wymagane

Przykład:

baseURL: 'https://api.mistral.ai/v1'

lub

baseURL: '${MISTRAL_BASE_URL}'

lub

baseURL: 'user_provided'

Uwagi:

• Jeśli ustawiony przez Ciebie baseURL jest pełnym punktem końcowym (endpoint) uzupełnień, możesz ustawić pole directEndpoint na true, aby użyć go bezpośrednio.
  • Jest to konieczne, ponieważ aplikacja domyślnie dodaje "/chat/completions" lub "/completion" do baseURL.
• Podczas korzystania z provider: anthropic, ustaw baseURL na główny adres API, z którym ma łączyć się zestaw SDK Anthropic, na przykład https://api.anthropic.com lub adres główny Twojej bramy (gateway). LibreChat używa natywnej ścieżki Anthropic /v1/messages dla tego dostawcy.

provider

Klucz:

Domyślnie: pominięto, co używa ścieżki niestandardowego endpoint zgodnego z OpenAI.

Obsługiwane wartości:

• "anthropic" - Używa natywnego klienta Anthropic /v1/messages z baseURL, apiKey, headers, addParams, dropParams oraz customParams.paramDefinitions tego endpointu.

Przykład:

endpoints:
  custom:
    - name: 'Claude-Compatible'
      provider: 'anthropic'
      apiKey: '${ANTHROPIC_API_KEY}'
      baseURL: 'https://api.anthropic.com'
      headers:
        anthropic-version: '2023-06-01'
      models:
        default:
          - 'claude-sonnet-4-5'
          - 'claude-opus-4-5'
        fetch: false
      titleConvo: true
      titleModel: 'claude-sonnet-4-5'
      modelDisplayLabel: 'Claude (Compatible)'

Uwagi:

• Użyj provider: anthropic dla samej usługi Anthropic lub bramek kompatybilnych z Anthropic, które obsługują natywne Messages API.
• Wymień modele jawnie w models.default; styl OpenAI models.fetch nie jest używany dla natywnych niestandardowych endpointów Anthropic.
• Dostawca sugeruje parametry UI Anthropic, chyba że jawnie ustawisz inny customParams.defaultParamsEndpoint.
• Endpointy bez provider zachowują zachowanie zgodne z OpenAI.

iconURL

Klucz:

Domyślnie: ""

Przykład:

iconURL: https://github.com/danny-avila/LibreChat/raw/main/docs/assets/LibreChat.svg

lub użyj wbudowanej ikony endpoint:

iconURL: openAI

Uwagi:

• Nie ustawiaj niestandardowej name (nazwy) endpointu na nazwę wbudowanego endpointu tylko po to, aby użyć ponownie ikony. Niestandardowe nazwy endpointów muszą być unikalne i nie powinny używać domyślnych wartości endpointów, takich jak:
  • "openAI" | "azureOpenAI" | "google" | "anthropic" | "assistants" | "azureAssistants" | "agents" | "bedrock"
• Aby użyć ikony punktu końcowego dołączonej do projektu, zachowaj unikalną nazwę name niestandardowego punktu końcowego i ustaw iconURL na jeden z wbudowanych kluczy punktów końcowych.
  • "openAI" | "azureOpenAI" | "google" | "anthropic" | "assistants" | "azureAssistants" | "agents" | "bedrock"
• Aby użyć niestandardowego obrazu, ustaw iconURL na adres URL obrazu lub ścieżkę obsługiwaną przez LibreChat, taką jak /assets/my-icon.svg.
• Istnieją również „znane endpointy” (wielkość liter nie ma znaczenia), dla których dostarczono ikony. Jeśli name Twojego endpointu pasuje do poniższych nazw, powinieneś pominąć to pole:
  • Anyscale
  • APIpie
  • Cohere
  • Deepseek
  • Fajerwerki
  • groq
  • Helicone
  • Huggingface
  • Mistral
  • MLX
  • Moonshot
  • ollama
  • OpenRouter
  • Perplexity
  • Qwen
  • ShuttleAI
  • together.ai
  • Ujednolicenie
  • xai

models

Klucz:

Wymagane

Właściwości:

default

Klucz:

Wymagane

Przykład:

default:
  - 'mistral-tiny'
  - 'mistral-small'
  - 'mistral-medium'

fetch

Klucz:

Domyślnie: false

Przykład:

fetch: true

userIdQuery

Klucz:

Domyślnie: false

Przykład:

userIdQuery: true

titleConvo

Klucz:

Domyślnie: false

Przykład:

titleConvo: true

titleTiming

Klucz:

Domyślnie: "immediate"

Dostępne wartości:

• "immediate" - Generuje tytuł natychmiast po rozpoczęciu żądania, równolegle z odpowiedzią modelu, używając pierwszej wiadomości użytkownika.
• "final" - Odracza generowanie tytułu do momentu zakończenia pełnej odpowiedzi. Zachowuje to starsze zachowanie (legacy behavior).

Przykład:

titleTiming: 'final'

titleMethod

Klucz:

Domyślnie: "completion"

Dostępne metody:

• "completion" - Używa standardowego API completion bez narzędzi/funkcji. Kompatybilne z większością LLM.
• "structured" - Używa ustrukturyzowanego wyjścia do generowania tytułów. Wymaga wsparcia ze strony dostawcy/modelu.
• "functions" - Starszy alias dla "structured". Funkcjonalnie identyczny.

Przykład:

titleMethod: 'completion'

titleModel

Klucz:

Domyślnie: "gpt-3.5-turbo"

Przykład:

titleModel: 'mistral-tiny'

titleModel: 'current_model'

titlePrompt

Klucz:

Domyślne:

Analyze this conversation and provide:
1. The detected language of the conversation
2. A concise title in the detected language (5 words or less, no punctuation or quotation)

{convo}

Uwagi:

• Musi zawsze zawierać symbol zastępczy {convo}
• Symbol zastępczy {convo} zostanie zastąpiony sformatowaną konwersacją

Przykład:

titlePrompt: "Create a brief, descriptive title for the following conversation:\n\n{convo}\n\nTitle:"

titlePromptTemplate

Klucz:

Domyślnie: "User: {input}\nAI: {output}"

Uwagi:

• Musi zawierać oba symbole zastępcze {input} oraz {output}
• Określa, w jaki sposób konwersacja jest formatowana podczas wstawiania do titlePrompt

Przykład:

titlePromptTemplate: "Human: {input}\n\nAssistant: {output}"

titleEndpoint

Klucz:

Domyślnie: Używa bieżącego niestandardowego endpoint.

Akceptowane wartości:

• openAI
• azureOpenAI
• google
• anthropic
• bedrock
• Inna niestandardowa nazwa endpoint

Przykład:

# Use a different custom endpoint for titles
endpoints:
  custom:
    - name: 'my-chat-endpoint'
      apiKey: '${CHAT_API_KEY}'
      baseURL: 'https://api.example.com/v1/chat'
      models:
        default: ['gpt-4']
      titleEndpoint: 'my-title-endpoint'

    - name: 'my-title-endpoint'
      apiKey: '${TITLE_API_KEY}'
      baseURL: 'https://api.example.com/v1/title'
      models:
        default: ['gpt-3.5-turbo']

modelDisplayLabel

Klucz:

Domyślnie: "AI"

Przykład:

modelDisplayLabel: 'Mistral'

addParams

Klucz:

Przykład:

addParams:
  safe_prompt: true
  max_tokens: 2048

Uwagi:

• Pole addParams pozwala na dołączenie dodatkowych parametrów, które nie są częścią domyślnego ładunku (zobacz sekcję "Parametry domyślne"). Jest to szczególnie przydatne w przypadku opcji specyficznych dla danego API.

dropParams

Klucz:

Przykład:

dropParams:
  - 'stop'
  - 'user'
  - 'frequency_penalty'
  - 'presence_penalty'

Uwaga:

• Pole dropParams pozwala na usunięcie "Parametrów domyślnych", które są wysyłane z każdym żądaniem. Jest to przydatne podczas pracy z API, które nie akceptują lub nie rozpoznają określonych parametrów.

customParams

Klucz:

Podklucze:

Formaty rozumowania:

• reasoning_effort - Wysyła starszy parametr reasoning_effort.
• reasoning_object - Wysyła obiekt reasoning, taki jak { effort, summary }, dla dostawców, którzy korzystają z nowszego formatu zgodnego z OpenAI.
• disabled - Pomija parametry rozumowania, nawet jeśli użytkownik lub Model Specs wybiorą rozumowanie.

Odtwarzanie rozumowania:

• Użyj includeReasoningContent: true dla dostawców kompatybilnych z OpenAI, którzy wymagają, aby reasoning_content asystenta było odtwarzane podczas tur wywołań narzędzi (tool-call turns).
• Używaj includeReasoningHistory: true tylko dla dostawców, którzy wymagają również reasoning_content zrekonstruowanego z utrwalonej historii w późniejszych turach, takich jak niektóre bramki Xiaomi MiMo lub kompatybilne z Kimi.

Uwaga dotycząca dostawcy Anthropic:

Użyj provider: anthropic, gdy niestandardowy endpoint powinien korzystać z natywnego API Anthropic Messages. Użyj customParams.defaultParamsEndpoint: anthropic bez provider tylko wtedy, gdy nadal potrzebujesz ścieżki niestandardowego endpointu kompatybilnego z OpenAI, ale chcesz uzyskać metadane parametrów i adaptację żądań w stylu Anthropic.

Przykład:

customParams:
  reasoningFormat: reasoning_object
  reasoningKey: reasoning_content
  includeReasoningContent: true

tokenConfig

Klucz:

Każdy klucz to nazwa modelu. Każdy wpis modelu obsługuje:

Przykład:

tokenConfig:
  gpt-4o-mini:
    prompt: 0.15
    completion: 0.6
    context: 128000
    cacheRead: 0.075
    cacheWrite: 0.15

Uwagi:

• Stawki są wyrażone w USD za milion tokenów przed zastosowaniem jakiejkolwiek konwersji interface.currency na potrzeby wyświetlania.
• Nazwa modelu musi być zgodna z wartością modelu wysyłaną przez niestandardowy endpoint.
• W przypadku Agentów korzystających z wielu endpoint, podczas rejestrowania użycia i kosztów stosowana jest pasująca konfiguracja tokenów dla danego endpoint/model.

headers

Klucz:

Przykład:

headers:
  x-api-key: '${ENVIRONMENT_VARIABLE}'
  Content-Type: 'application/json'
  X-User-ID: '{{LIBRECHAT_USER_ID}}'
  X-User-Email: '{{LIBRECHAT_USER_EMAIL}}'

Uwaga: Obsługuje dynamiczne wartości zmiennych środowiskowych, które używają formatu: "${VARIABLE_NAME}".

Gdy używane jest models.fetch: true, te nagłówki są również rozwiązywane i przekazywane do żądania listy modeli dla adresów bazowych kontrolowanych przez administratora. Skonfigurowany nagłówek Authorization ma pierwszeństwo przed rezerwowym apiKey punktu końcowego, co jest przydatne w przypadku serwerów proxy z obsługą autoryzacji, które zwracają listy modeli dla poszczególnych użytkowników. Jeśli skonfigurowano baseURL: "user_provided", LibreChat nie przekazuje skonfigurowanych szablonów nagłówków do miejsca docelowego podanego przez użytkownika. W przypadku provider: anthropic, nagłówki są przekazywane przez natywnego klienta Anthropic zamiast klienta zgodnego z OpenAI.

Dostępne symbole zastępcze pól użytkownika:

Dostępne symbole zastępcze treści żądania (Request Body):

Przykład użycia symboli zastępczych w treści żądania (request body):

headers:
  X-Conversation-ID: '{{LIBRECHAT_BODY_CONVERSATIONID}}'
  X-Parent-Message-ID: '{{LIBRECHAT_BODY_PARENTMESSAGEID}}'
  X-Message-ID: '{{LIBRECHAT_BODY_MESSAGEID}}'

directEndpoint

Klucz:

Domyślnie: false

Przykład:

directEndpoint: true

titleMessageRole

• Opcje: "system" | "user" | "assistant"

Klucz:

Domyślnie: "system"

Przykład:

titleMessageRole: 'user'