Struktur Objek Endpoint Kustom

Setiap endpoint dalam array custom harus memiliki struktur berikut:

Contoh

endpoints:
  custom:
    # Example using Mistral AI API
    - name: 'Mistral'
      apiKey: '${YOUR_ENV_VAR_KEY}'
      baseURL: 'https://api.mistral.ai/v1'
      models:
        default: ['mistral-tiny', 'mistral-small', 'mistral-medium', 'mistral-large-latest']
      titleConvo: true
      titleTiming: 'immediate'
      titleModel: 'mistral-tiny'
      modelDisplayLabel: 'Mistral'
      # customParams:
      #   reasoningFormat: reasoning_object
      #   reasoningKey: reasoning_content
      # tokenConfig:
      #   mistral-large-latest:
      #     prompt: 2
      #     completion: 6
      #     context: 128000
      # addParams:
      #   safe_prompt: true # Mistral specific value for moderating messages
      # NOTE: For Mistral, it is necessary to drop the following parameters or you will encounter a 422 Error:
      dropParams: ['stop', 'user', 'frequency_penalty', 'presence_penalty']

    # Example using the native Anthropic Messages API
    - name: 'Claude-Compatible'
      provider: 'anthropic'
      apiKey: '${ANTHROPIC_API_KEY}'
      baseURL: 'https://api.anthropic.com'
      headers:
        anthropic-version: '2023-06-01'
      models:
        default: ['claude-sonnet-4-5', 'claude-opus-4-5']
        fetch: false
      titleConvo: true
      titleModel: 'claude-sonnet-4-5'
      modelDisplayLabel: 'Claude (Compatible)'

name

Kunci:

Wajib

Contoh:

name: 'Mistral'

apiKey

Kunci:

Wajib

Contoh:

apiKey: '${MISTRAL_API_KEY}'

atau

apiKey: 'your_api_key'

atau

apiKey: 'user_provided'

baseURL

Kunci:

Wajib

Contoh:

baseURL: 'https://api.mistral.ai/v1'

atau

baseURL: '${MISTRAL_BASE_URL}'

atau

baseURL: 'user_provided'

Catatan:

• Jika baseURL yang Anda tetapkan adalah endpoint penyelesaian penuh, Anda dapat mengatur kolom directEndpoint ke true untuk menggunakannya secara langsung.
  • Ini diperlukan karena aplikasi secara default menambahkan "/chat/completions" atau "/completion" ke baseURL.
• Saat menggunakan provider: anthropic, atur baseURL ke root API yang harus dipanggil oleh SDK Anthropic, seperti https://api.anthropic.com atau root gateway Anda. LibreChat menggunakan path /v1/messages Anthropic bawaan untuk provider tersebut.

provider

Kunci:

Default: dihilangkan, yang menggunakan jalur endpoint kustom yang kompatibel dengan OpenAI.

Nilai yang Didukung:

• "anthropic" - Menggunakan klien asli Anthropic /v1/messages dengan baseURL, apiKey, headers, addParams, dropParams, dan customParams.paramDefinitions milik endpoint ini.

Contoh:

endpoints:
  custom:
    - name: 'Claude-Compatible'
      provider: 'anthropic'
      apiKey: '${ANTHROPIC_API_KEY}'
      baseURL: 'https://api.anthropic.com'
      headers:
        anthropic-version: '2023-06-01'
      models:
        default:
          - 'claude-sonnet-4-5'
          - 'claude-opus-4-5'
        fetch: false
      titleConvo: true
      titleModel: 'claude-sonnet-4-5'
      modelDisplayLabel: 'Claude (Compatible)'

Catatan:

• Gunakan provider: anthropic untuk Anthropic itu sendiri atau gateway yang kompatibel dengan Anthropic yang menggunakan Messages API asli.
• Cantumkan model secara eksplisit di bawah models.default; models.fetch gaya OpenAI tidak digunakan untuk endpoint kustom Anthropic bawaan.
• Penyedia menyiratkan parameter UI Anthropic kecuali Anda secara eksplisit menetapkan customParams.defaultParamsEndpoint yang berbeda.
• endpoint tanpa provider tetap mempertahankan perilaku yang kompatibel dengan OpenAI.

iconURL

Kunci:

Default: ""

Contoh:

iconURL: https://github.com/danny-avila/LibreChat/raw/main/docs/assets/LibreChat.svg

atau gunakan kembali ikon endpoint bawaan:

iconURL: openAI

Catatan:

• Jangan mengatur name endpoint kustom ke nama endpoint bawaan hanya untuk menggunakan kembali ikon. Nama endpoint kustom harus unik dan tidak boleh menggunakan nilai endpoint default seperti:
  • "openAI" | "azureOpenAI" | "google" | "anthropic" | "assistants" | "azureAssistants" | "agents" | "bedrock"
• Untuk menggunakan ikon endpoint yang disertakan dalam proyek, pastikan name endpoint kustom tetap unik dan atur iconURL ke salah satu kunci endpoint bawaan sebagai gantinya.
  • "openAI" | "azureOpenAI" | "google" | "anthropic" | "assistants" | "azureAssistants" | "agents" | "bedrock"
• Untuk menggunakan gambar kustom, atur iconURL ke URL gambar atau jalur yang disajikan oleh LibreChat, seperti /assets/my-icon.svg.
• Terdapat juga "known endpoints" (tidak peka huruf besar/kecil), yang telah disediakan ikonnya. Jika name endpoint Anda cocok dengan nama-nama berikut, Anda harus menghilangkan kolom ini:
  • Anyscale
  • APIpie
  • Cohere
  • Deepseek
  • Fireworks
  • groq
  • Helicone
  • Huggingface
  • Mistral
  • MLX
  • Moonshot
  • ollama
  • OpenRouter
  • Perplexity
  • Qwen
  • ShuttleAI
  • together.ai
  • Satukan
  • xai

models

Kunci:

Wajib

Properti:

default

Kunci:

Wajib

Contoh:

default:
  - 'mistral-tiny'
  - 'mistral-small'
  - 'mistral-medium'

fetch

Kunci:

Default: false

Contoh:

fetch: true

userIdQuery

Kunci:

Default: false

Contoh:

userIdQuery: true

titleConvo

Kunci:

Default: false

Contoh:

titleConvo: true

titleTiming

Kunci:

Default: "immediate"

Nilai yang Tersedia:

• "immediate" - Menghasilkan judul segera setelah permintaan dimulai, secara paralel dengan respons model, menggunakan pesan pertama pengguna.
• "final" - Menunda pembuatan judul hingga respons penuh selesai. Ini mempertahankan perilaku lama.

Contoh:

titleTiming: 'final'

titleMethod

Kunci:

Default: "completion"

Metode yang Tersedia:

• "completion" - Menggunakan API penyelesaian standar tanpa alat/fungsi. Kompatibel dengan sebagian besar LLM.
• "structured" - Menggunakan output terstruktur untuk pembuatan judul. Memerlukan dukungan penyedia/model.
• "functions" - Alias lama untuk "structured". Secara fungsional identik.

Contoh:

titleMethod: 'completion'

titleModel

Kunci:

Default: "gpt-3.5-turbo"

Contoh:

titleModel: 'mistral-tiny'

titleModel: 'current_model'

titlePrompt

Kunci:

Default:

Analyze this conversation and provide:
1. The detected language of the conversation
2. A concise title in the detected language (5 words or less, no punctuation or quotation)

{convo}

Catatan:

• Harus selalu menyertakan placeholder {convo}
• Placeholder {convo} akan digantikan dengan percakapan yang telah diformat

Contoh:

titlePrompt: "Create a brief, descriptive title for the following conversation:\n\n{convo}\n\nTitle:"

titlePromptTemplate

Kunci:

Default: "User: {input}\nAI: {output}"

Catatan:

• Harus menyertakan placeholder {input} dan {output}
• Mengontrol bagaimana percakapan diformat saat dimasukkan ke dalam titlePrompt

Contoh:

titlePromptTemplate: "Human: {input}\n\nAssistant: {output}"

titleEndpoint

Kunci:

Default: Menggunakan endpoint kustom saat ini

Nilai yang Diterima:

• openAI
• azureOpenAI
• google
• anthropic
• bedrock
• Nama endpoint kustom lainnya

Contoh:

# Use a different custom endpoint for titles
endpoints:
  custom:
    - name: 'my-chat-endpoint'
      apiKey: '${CHAT_API_KEY}'
      baseURL: 'https://api.example.com/v1/chat'
      models:
        default: ['gpt-4']
      titleEndpoint: 'my-title-endpoint'

    - name: 'my-title-endpoint'
      apiKey: '${TITLE_API_KEY}'
      baseURL: 'https://api.example.com/v1/title'
      models:
        default: ['gpt-3.5-turbo']

modelDisplayLabel

Kunci:

Default: "AI"

Contoh:

modelDisplayLabel: 'Mistral'

addParams

Kunci:

Contoh:

addParams:
  safe_prompt: true
  max_tokens: 2048

Catatan:

• Kolom addParams memungkinkan Anda untuk menyertakan parameter tambahan yang bukan merupakan bagian dari payload default (lihat bagian "Default Parameters"). Hal ini sangat berguna untuk opsi spesifik API.

dropParams

Kunci:

Contoh:

dropParams:
  - 'stop'
  - 'user'
  - 'frequency_penalty'
  - 'presence_penalty'

Catatan:

• Kolom dropParams memungkinkan Anda untuk menghapus "Default Parameters" yang dikirimkan bersama setiap permintaan. Hal ini berguna saat bekerja dengan API yang tidak menerima atau mengenali parameter tertentu.

customParams

Kunci:

Sub-kunci:

Format Penalaran:

• reasoning_effort - Mengirim parameter reasoning_effort versi lama.
• reasoning_object - Mengirim objek reasoning, seperti { effort, summary }, untuk penyedia yang mengikuti bentuk yang kompatibel dengan OpenAI yang lebih baru.
• disabled - Menekan parameter penalaran (reasoning) bahkan ketika pengguna atau Model Specs memilih penalaran.

Pemutaran ulang penalaran (Reasoning replay):

• Gunakan includeReasoningContent: true untuk penyedia yang kompatibel dengan OpenAI yang memerlukan reasoning_content asisten untuk diputar ulang selama giliran pemanggilan alat (tool-call).
• Gunakan includeReasoningHistory: true hanya untuk penyedia yang juga memerlukan reasoning_content yang direkonstruksi dari riwayat yang dipertahankan di seluruh giliran berikutnya, seperti beberapa gateway yang kompatibel dengan Xiaomi MiMo atau Kimi.

Catatan penyedia Anthropic:

Gunakan provider: anthropic ketika endpoint kustom harus menggunakan API Messages Anthropic asli. Gunakan customParams.defaultParamsEndpoint: anthropic tanpa provider hanya ketika Anda masih memerlukan jalur endpoint kustom yang kompatibel dengan OpenAI tetapi menginginkan metadata parameter dan adaptasi permintaan bergaya Anthropic.

Contoh:

customParams:
  reasoningFormat: reasoning_object
  reasoningKey: reasoning_content
  includeReasoningContent: true

tokenConfig

Kunci:

Setiap kunci adalah nama model. Setiap entri model mendukung:

Contoh:

tokenConfig:
  gpt-4o-mini:
    prompt: 0.15
    completion: 0.6
    context: 128000
    cacheRead: 0.075
    cacheWrite: 0.15

Catatan:

• Tarif dinyatakan per satu juta token dalam USD sebelum konversi interface.currency apa pun diterapkan untuk tampilan.
• Nama model harus sesuai dengan nilai model yang dikirim melalui endpoint kustom.
• Untuk Agen yang menggunakan beberapa endpoint, konfigurasi token endpoint/model yang cocok akan digunakan saat mencatat penggunaan dan biaya.

headers

Kunci:

Contoh:

headers:
  x-api-key: '${ENVIRONMENT_VARIABLE}'
  Content-Type: 'application/json'
  X-User-ID: '{{LIBRECHAT_USER_ID}}'
  X-User-Email: '{{LIBRECHAT_USER_EMAIL}}'

Catatan: Mendukung nilai variabel lingkungan dinamis, yang menggunakan format: "${VARIABLE_NAME}".

Ketika models.fetch: true digunakan, header-header ini juga diselesaikan dan diteruskan ke permintaan daftar model untuk URL dasar yang dikontrol admin. Header Authorization yang dikonfigurasi lebih diutamakan daripada fallback apiKey endpoint, yang berguna untuk proksi yang sadar autentikasi yang mengembalikan daftar model per pengguna. Jika baseURL: "user_provided" dikonfigurasi, LibreChat tidak meneruskan templat header yang dikonfigurasi ke tujuan yang disediakan pengguna. Untuk provider: anthropic, header diteruskan melalui klien Anthropic asli alih-alih klien yang kompatibel dengan OpenAI.

Placeholder Bidang Pengguna yang Tersedia:

Placeholder Isi Permintaan yang Tersedia:

Contoh menggunakan placeholder body permintaan:

headers:
  X-Conversation-ID: '{{LIBRECHAT_BODY_CONVERSATIONID}}'
  X-Parent-Message-ID: '{{LIBRECHAT_BODY_PARENTMESSAGEID}}'
  X-Message-ID: '{{LIBRECHAT_BODY_MESSAGEID}}'

directEndpoint

Kunci:

Default: false

Contoh:

directEndpoint: true

titleMessageRole

• Opsi: "system" | "user" | "assistant"

Kunci:

Default: "system"

Contoh:

titleMessageRole: 'user'