사용자 지정 endpoint 객체 구조

custom 배열의 각 endpoint는 다음 구조를 가져야 합니다:

예시

endpoints:
  custom:
    # Example using Mistral AI API
    - name: 'Mistral'
      apiKey: '${YOUR_ENV_VAR_KEY}'
      baseURL: 'https://api.mistral.ai/v1'
      models:
        default: ['mistral-tiny', 'mistral-small', 'mistral-medium', 'mistral-large-latest']
      titleConvo: true
      titleTiming: 'immediate'
      titleModel: 'mistral-tiny'
      modelDisplayLabel: 'Mistral'
      # customParams:
      #   reasoningFormat: reasoning_object
      #   reasoningKey: reasoning_content
      # tokenConfig:
      #   mistral-large-latest:
      #     prompt: 2
      #     completion: 6
      #     context: 128000
      # addParams:
      #   safe_prompt: true # Mistral specific value for moderating messages
      # NOTE: For Mistral, it is necessary to drop the following parameters or you will encounter a 422 Error:
      dropParams: ['stop', 'user', 'frequency_penalty', 'presence_penalty']

    # Example using the native Anthropic Messages API
    - name: 'Claude-Compatible'
      provider: 'anthropic'
      apiKey: '${ANTHROPIC_API_KEY}'
      baseURL: 'https://api.anthropic.com'
      headers:
        anthropic-version: '2023-06-01'
      models:
        default: ['claude-sonnet-4-5', 'claude-opus-4-5']
        fetch: false
      titleConvo: true
      titleModel: 'claude-sonnet-4-5'
      modelDisplayLabel: 'Claude (Compatible)'

name

키:

필수

예시:

name: 'Mistral'

apiKey

키:

필수

예시:

apiKey: '${MISTRAL_API_KEY}'

또는

apiKey: 'your_api_key'

또는

apiKey: 'user_provided'

baseURL

키:

필수

예시:

baseURL: 'https://api.mistral.ai/v1'

또는

baseURL: '${MISTRAL_BASE_URL}'

또는

baseURL: 'user_provided'

참고:

• 설정한 baseURL이 전체 completions 엔드포인트인 경우, directEndpoint 필드를 true로 설정하여 직접 사용할 수 있습니다.
  • 앱이 기본적으로 baseURL 뒤에 "/chat/completions" 또는 "/completion"을 추가하기 때문에 이 작업이 필요합니다.
• provider: anthropic를 사용할 때는, baseURL을 Anthropic SDK가 호출해야 하는 API 루트(예: https://api.anthropic.com 또는 사용 중인 게이트웨이 루트)로 설정하세요. LibreChat은 해당 provider에 대해 기본 Anthropic /v1/messages 경로를 사용합니다.

provider

키:

기본값: 생략됨. 이 경우 OpenAI 호환 커스텀 endpoint 경로를 사용합니다.

지원되는 값:

• "anthropic" - 이 엔드포인트의 baseURL, apiKey, headers, addParams, dropParams 및 customParams.paramDefinitions와 함께 네이티브 Anthropic /v1/messages 클라이언트를 사용합니다.

예시:

endpoints:
  custom:
    - name: 'Claude-Compatible'
      provider: 'anthropic'
      apiKey: '${ANTHROPIC_API_KEY}'
      baseURL: 'https://api.anthropic.com'
      headers:
        anthropic-version: '2023-06-01'
      models:
        default:
          - 'claude-sonnet-4-5'
          - 'claude-opus-4-5'
        fetch: false
      titleConvo: true
      titleModel: 'claude-sonnet-4-5'
      modelDisplayLabel: 'Claude (Compatible)'

참고:

• Anthropic 자체 또는 네이티브 Messages API를 사용하는 Anthropic 호환 게이트웨이의 경우 provider: anthropic을 사용하세요.
• models.default 아래에 모델을 명시적으로 나열하세요. OpenAI 스타일의 models.fetch는 네이티브 Anthropic 커스텀 endpoint에는 사용되지 않습니다.
• customParams.defaultParamsEndpoint를 명시적으로 다르게 설정하지 않는 한, 해당 provider는 Anthropic UI 매개변수를 의미합니다.
• provider가 없는 endpoint는 OpenAI 호환 동작을 유지합니다.

iconURL

키:

기본값: ""

예시:

iconURL: https://github.com/danny-avila/LibreChat/raw/main/docs/assets/LibreChat.svg

또는 내장된 endpoint 아이콘을 재사용하세요:

iconURL: openAI

참고:

• 사용자 지정 endpoint name을 아이콘을 재사용하기 위해 기본 제공 endpoint 이름으로 설정하지 마십시오. 사용자 지정 endpoint 이름은 고유해야 하며 다음과 같은 기본 endpoint 값을 사용해서는 안 됩니다:
  • "openAI" | "azureOpenAI" | "google" | "anthropic" | "assistants" | "azureAssistants" | "agents" | "bedrock"
• 프로젝트에 포함된 endpoint 아이콘을 사용하려면, 커스텀 endpoint name을 고유하게 유지하고 iconURL을 내장된 endpoint 키 중 하나로 설정하세요.
  • "openAI" | "azureOpenAI" | "google" | "anthropic" | "assistants" | "azureAssistants" | "agents" | "bedrock"
• 사용자 지정 이미지를 사용하려면 iconURL을 이미지 URL 또는 /assets/my-icon.svg와 같이 LibreChat에서 제공하는 경로로 설정하세요.
• 또한 아이콘이 제공되는 "알려진 엔드포인트(known endpoints)"(대소문자 구분 없음)가 있습니다. 엔드포인트 name이 다음 이름들과 일치하는 경우, 이 필드를 생략해야 합니다:
  • Anyscale
  • APIpie
  • Cohere
  • Deepseek
  • Fireworks
  • groq
  • Helicone
  • Huggingface
  • Mistral
  • MLX
  • Moonshot
  • ollama
  • OpenRouter
  • Perplexity
  • Qwen
  • ShuttleAI
  • together.ai
  • 통합
  • xai

models

키:

필수

속성:

default

키:

필수

예시:

default:
  - 'mistral-tiny'
  - 'mistral-small'
  - 'mistral-medium'

fetch

키:

기본값: false

예시:

fetch: true

userIdQuery

키:

기본값: false

예시:

userIdQuery: true

titleConvo

키:

기본값: false

예시:

titleConvo: true

titleTiming

키:

기본값: "immediate"

사용 가능한 값:

• "immediate" - 요청이 시작되자마자 사용자의 첫 번째 메시지를 사용하여 모델 응답과 병렬로 제목을 생성합니다.
• "final" - 전체 응답이 완료될 때까지 제목 생성을 지연합니다. 이는 기존의 레거시 동작을 유지합니다.

예시:

titleTiming: 'final'

titleMethod

키:

기본값: "completion"

사용 가능한 메서드:

• "completion" - 도구/함수 없이 표준 completion API를 사용합니다. 대부분의 LLM과 호환됩니다.
• "structured" - 제목 생성에 구조화된 출력(structured output)을 사용합니다. 공급자/모델의 지원이 필요합니다.
• "functions" - "structured"에 대한 레거시 별칭입니다. 기능적으로 동일합니다.

예시:

titleMethod: 'completion'

titleModel

키:

기본값: "gpt-3.5-turbo"

예시:

titleModel: 'mistral-tiny'

titleModel: 'current_model'

titlePrompt

키:

기본값:

Analyze this conversation and provide:
1. The detected language of the conversation
2. A concise title in the detected language (5 words or less, no punctuation or quotation)

{convo}

참고:

• 항상 {convo} 플레이스홀더를 포함해야 합니다.
• {convo} 플레이스홀더는 포맷된 대화 내용으로 대체됩니다.

예시:

titlePrompt: "Create a brief, descriptive title for the following conversation:\n\n{convo}\n\nTitle:"

titlePromptTemplate

키:

기본값: "User: {input}\nAI: {output}"

참고:

• {input} 및 {output} 자리 표시자를 모두 포함해야 합니다.
• titlePrompt에 삽입될 때 대화가 어떻게 포맷팅되는지 제어합니다.

예시:

titlePromptTemplate: "Human: {input}\n\nAssistant: {output}"

titleEndpoint

키:

기본값: 현재 사용자 지정 endpoint를 사용합니다.

허용되는 값:

• openAI
• azureOpenAI
• google
• anthropic
• bedrock
• 또 다른 사용자 지정 endpoint 이름

예시:

# Use a different custom endpoint for titles
endpoints:
  custom:
    - name: 'my-chat-endpoint'
      apiKey: '${CHAT_API_KEY}'
      baseURL: 'https://api.example.com/v1/chat'
      models:
        default: ['gpt-4']
      titleEndpoint: 'my-title-endpoint'

    - name: 'my-title-endpoint'
      apiKey: '${TITLE_API_KEY}'
      baseURL: 'https://api.example.com/v1/title'
      models:
        default: ['gpt-3.5-turbo']

modelDisplayLabel

키:

기본값: "AI"

예시:

modelDisplayLabel: 'Mistral'

addParams

키:

예시:

addParams:
  safe_prompt: true
  max_tokens: 2048

참고:

• addParams 필드를 사용하면 기본 페이로드( "Default Parameters" 섹션 참조)에 포함되지 않은 추가 매개변수를 포함할 수 있습니다. 이는 특히 API별 옵션을 설정할 때 유용합니다.

dropParams

키:

예시:

dropParams:
  - 'stop'
  - 'user'
  - 'frequency_penalty'
  - 'presence_penalty'

참고:

• dropParams 필드는 모든 요청과 함께 전송되는 "Default Parameters"를 제거할 수 있게 해줍니다. 이는 특정 매개변수를 허용하지 않거나 인식하지 못하는 API와 작업할 때 유용합니다.

customParams

키:

하위 키:

추론 형식:

• reasoning_effort - 레거시 reasoning_effort 매개변수를 전송합니다.
• reasoning_object - 더 새로운 OpenAI 호환 형식을 따르는 공급자를 위해 { effort, summary }와 같은 reasoning 객체를 전송합니다.
• disabled - 사용자가 선택하거나 Model Specs에서 추론을 선택하더라도 추론 매개변수를 억제합니다.

추론 리플레이:

• 도구 호출(tool-call) 턴 중에 어시스턴트의 reasoning_content를 다시 재생해야 하는 OpenAI 호환 공급자(provider)의 경우 includeReasoningContent: true를 사용하세요.
• includeReasoningHistory: true는 일부 Xiaomi MiMo 또는 Kimi 호환 게이트웨이와 같이 이후 턴에서 지속된 기록으로부터 reasoning_content를 재구성해야 하는 공급자에게만 사용하세요.

Anthropic provider note:

사용자 지정 엔드포인트가 네이티브 Anthropic Messages API를 사용해야 할 때는 provider: anthropic를 사용하세요. OpenAI 호환 사용자 지정 엔드포인트 경로가 필요하지만 Anthropic 스타일의 매개변수 메타데이터와 요청 적응(request adaptation)을 원할 때만 provider 없이 customParams.defaultParamsEndpoint: anthropic를 사용하세요.

예시:

customParams:
  reasoningFormat: reasoning_object
  reasoningKey: reasoning_content
  includeReasoningContent: true

tokenConfig

키:

각 키는 모델 이름입니다. 각 모델 항목은 다음을 지원합니다:

예시:

tokenConfig:
  gpt-4o-mini:
    prompt: 0.15
    completion: 0.6
    context: 128000
    cacheRead: 0.075
    cacheWrite: 0.15

참고:

• 요금은 interface.currency 변환이 표시를 위해 적용되기 전, USD 기준 백만 토큰당 요금으로 표시됩니다.
• 모델 이름은 사용자 지정 endpoint를 통해 전송된 모델 값과 일치해야 합니다.
• 여러 엔드포인트를 사용하는 에이전트의 경우, 사용량 및 비용을 기록할 때 일치하는 엔드포인트/모델 토큰 설정이 사용됩니다.

headers

키:

예시:

headers:
  x-api-key: '${ENVIRONMENT_VARIABLE}'
  Content-Type: 'application/json'
  X-User-ID: '{{LIBRECHAT_USER_ID}}'
  X-User-Email: '{{LIBRECHAT_USER_EMAIL}}'

참고: "${VARIABLE_NAME}" 형식을 사용하는 동적 환경 변수 값을 지원합니다.

models.fetch: true가 사용되면, 이러한 헤더들도 해석되어 관리자가 제어하는 기본 URL에 대한 모델 목록 요청으로 전달됩니다. 구성된 Authorization 헤더는 엔드포인트 apiKey 대체보다 우선순위를 가지며, 이는 사용자별 모델 목록을 반환하는 인증 인식 프록시에 유용합니다. baseURL: "user_provided"가 구성된 경우, LibreChat은 구성된 헤더 템플릿을 사용자가 제공한 대상으로 전달하지 않습니다. provider: anthropic의 경우, 헤더는 OpenAI 호환 클라이언트 대신 기본 Anthropic 클라이언트를 통해 전달됩니다.

사용 가능한 사용자 필드 플레이스홀더:

사용 가능한 요청 본문(Request Body) 플레이스홀더:

요청 본문 자리 표시자를 사용하는 예시:

headers:
  X-Conversation-ID: '{{LIBRECHAT_BODY_CONVERSATIONID}}'
  X-Parent-Message-ID: '{{LIBRECHAT_BODY_PARENTMESSAGEID}}'
  X-Message-ID: '{{LIBRECHAT_BODY_MESSAGEID}}'

directEndpoint

키:

기본값: false

예시:

directEndpoint: true

titleMessageRole

• 옵션: "system" | "user" | "assistant"

키:

기본값: "system"

예시:

titleMessageRole: 'user'