Bu sayfa, tüm endpoint'ler için paylaşılan yapılandırma ayarlarını açıklamaktadır. Burada vurgulanan ayarlar, aksi belirtilmedikçe "Endpoints" alanı altındaki tüm yapılandırmalar için kullanılabilir.

Örnek Yapılandırma

endpoints:
  # Individual endpoint configurations
  openAI:
    streamRate: 25
    titleModel: 'gpt-4o-mini'
    titleMethod: 'completion'
    titleTiming: 'immediate'
    titlePrompt: "Create a concise title for this conversation:\n\n{convo}"
    headers:
      X-Gateway-Metadata: '{"user_email":"{{LIBRECHAT_USER_EMAIL}}"}'

  azureOpenAI:
    streamRate: 35
    titleModel: 'grok-3'
    titleMethod: 'structured'
    titlePrompt: |
      Analyze this conversation and provide:
      1. A concise title in the detected language (5 words or less, no punctuation or quotation)
      2. Always provide a relevant emoji at the start of the title

      {convo}
    titleConvo: true

  anthropic:
    streamRate: 25
    titleModel: 'claude-3-5-haiku-20241022'
    titleMethod: 'completion'
    headers:
      X-Conversation-Id: '{{LIBRECHAT_BODY_CONVERSATIONID}}'

  bedrock:
    streamRate: 25
    titleModel: 'us.amazon.nova-lite-v1:0'
    titleEndpoint: 'anthropic'

  google:
    streamRate: 1
    titleModel: 'gemini-2.0-flash-lite'
    titlePromptTemplate: "Human: {input}\nAssistant: {output}"
    headers:
      X-Gateway-Metadata: '{"user_id":"{{LIBRECHAT_USER_ID}}"}'

  assistants:
    streamRate: 30

  azureAssistants:
    streamRate: 30

  # Global configuration using 'all' - this applies shared settings across endpoints.
  # Most defined values override endpoint defaults; headers are merged and endpoint values win on collisions.
  all:
    headers:
      X-App: 'librechat'
    titleConvo: true
    titleModel: 'gpt-4.1-nano'
    titleTiming: 'immediate'
    titlePrompt: |
      Analyze this conversation and provide:
      1. The detected language of the conversation
      2. A concise title in the detected language (5 words or less, no punctuation or quotation)
      3. Always provide a relevant emoji at the start of the title
      {convo}

Önemli: all yapılandırmasını kullanırken, tanımladığınız paylaşılan özelliklerin çoğu tüm endpoint'ler için geçerli olur. Yukarıdaki örnekte, all yapılandırması titleConvo, titleModel ve titlePrompt ayarlarını tüm endpoint'lere uygular; ancak streamRate ayarları all içinde tanımlanmadığı için bireysel ayarlar korunur. headers ayrı olarak birleştirilir: endpoints.all.headers içindeki değerler küresel olarak uygulanır ve anahtar çakışmalarında endpoint düzeyindeki başlıklar öncelik kazanır.

streamRate

Anahtar:

Varsayılan: 1

Sistemin bir sonraki işleme (tick) kadar beklemesine izin verirken verilerin mümkün olan en hızlı oranda akışına olanak tanır

titleConvo

Anahtar:

Varsayılan: false

Notlar:

• Etkinleştirildiğinde, başlıklar yapılandırılmış başlık ayarları kullanılarak otomatik olarak oluşturulacaktır.
• titleModel ile birlikte kullanılmalıdır veya endpoint üzerinde varsayılan bir model bulunmalıdır

Örnek:

titleConvo: true

titleTiming

Anahtar:

Varsayılan: "immediate"

Kullanılabilir Değerler:

• "immediate" - Başlık, isteğin başladığı anda, model yanıtıyla paralel olarak, kullanıcının ilk mesajı kullanılarak oluşturulur. Başlıklar genellikle bir veya iki saniye içinde görünür.
• "final" - Başlık oluşturma işlemini tam yanıt tamamlanana kadar erteler. Bu, eski davranışı korur.

Örnek:

endpoints:
  all:
    titleTiming: 'immediate'

titleModel

Anahtar:

Varsayılan: Mevcut endpoint için sistem varsayılanı

titleMethod

Anahtar:

Varsayılan: "completion"

Kullanılabilir Yöntemler:

• "completion" - Araçlar/fonksiyonlar olmadan standart completion API'sini kullanır. Çoğu LLM ile uyumludur.
• "structured" - Başlık oluşturma için yapılandırılmış çıktı kullanır. Sağlayıcı/model desteği gerektirir.
• "functions" - "structured" için eski bir takma ad. İşlevsel olarak aynıdır.

Örnek:

titleMethod: 'completion'

titlePrompt

Anahtar:

Varsayılan:

Analyze this conversation and provide:
1. The detected language of the conversation
2. A concise title in the detected language (5 words or less, no punctuation or quotation)

{convo}

Notlar:

• Her zaman {convo} yer tutucusunu içermelidir
• {convo} yer tutucusu, biçimlendirilmiş konuşma ile değiştirilecektir
• İstemi herhangi bir yerine yerleştirilebilir

Örnek:

titlePrompt: "Create a brief, descriptive title for the following conversation:\n\n{convo}\n\nTitle:"

titlePromptTemplate

Anahtar:

Varsayılan: "User: {input}\nAI: {output}"

Notlar:

• Hem {input} hem de {output} yer tutucularını içermelidir
• {input}, kullanıcının ilk mesajı ile değiştirilir
• {output} ifadesi, yapay zekanın yanıtı ile değiştirilir
• Biçimlendirilmiş sonuç, titlePrompt içindeki {convo} ifadesinin yerini alır

Örnek:

titlePromptTemplate: "Human: {input}\n\nAssistant: {output}"

titleEndpoint

Anahtar:

Varsayılan: Mevcut konuşmanın endpoint'ini kullanır

Kabul Edilen Değerler:

• openAI
• azureOpenAI
• google
• anthropic
• bedrock
• Özel endpoint'ler için: tam özel endpoint adını kullanın

Örnek:

# Use Anthropic for titles even when chatting with OpenAI
endpoints:
  openAI:
    titleEndpoint: 'anthropic'
    # Will use anthropic's configuration for title generation

maxToolResultChars

Anahtar:

Varsayılan: Sınır yok

Notlar:

• Aşırı büyük araç çıktılarının çok fazla token tüketmesini önlemeye yardımcı olur
• endpoint için tüm araç çağrısı sonuçlarına uygulanır

Örnek:

endpoints:
  all:
    maxToolResultChars: 50000

headers

Anahtar:

Desteklenen endpoint'ler: openAI, anthropic, google ve all.

Örnek:

endpoints:
  all:
    headers:
      X-App: 'librechat'
  anthropic:
    headers:
      X-Conversation-Id: '{{LIBRECHAT_BODY_CONVERSATIONID}}'

Notlar:

• Değerler ${ENV_VAR}, {{LIBRECHAT_USER_*}} ve {{LIBRECHAT_BODY_CONVERSATIONID}} gibi istek gövdesi yer tutucularını destekler.
• Endpoint düzeyindeki başlıklar, anahtar çakışmalarında endpoints.all.headers değerlerini geçersiz kılar.
• Sağlayıcı tarafından yönetilen kimlik doğrulama ve gerekli beta/protokol başlıkları yetkili olmaya devam eder. Anthropic beta değerleri birleştirilir, böylece özel beta bayrakları gerekli sağlayıcı bayraklarının üzerine yazılmaz.
• Desteklenen sağlayıcı model listesi istekleri için başlıklar (headers) da iletilir.
• Bunları tüketen bir ağ geçidi (gateway) veya ters vekil sunucu (reverse proxy) arkasında meta veri başlıklarını kullanın. Yerel sağlayıcı API'leri genellikle bilinmeyen başlıkları yok sayar.

Notlar:

• Bu sayfada gösterilen tüm ayarlar, her endpoint için ayrı ayrı veya all anahtarı kullanılarak genel olarak yapılandırılabilir.
• all yapılandırmasını kullanırken, bu ayar TÜM bireysel endpoint'lerdeki ilgili ayarları geçersiz kılacaktır.
• all anahtarı baseURL kabul etmez
• all içinde tanımlanmayan ayarlar, kendi bireysel endpoint değerlerini koruyacaktır
• streamRate için: Akıcı bir yayın deneyimi için önerilen değerler 25-40 arasındadır
• Uygulamayı ölçekli bir şekilde birçok kullanıcıya sunarken daha yüksek bir akış hızı kullanmak zorunludur.

Geçersiz Kılma (Override) Davranışı Örneği:

endpoints:
  openAI:
    streamRate: 25 # This will be preserved
    titleModel: 'gpt-4' # This will be overridden
    titleConvo: false # This will be overridden

  all:
    titleConvo: true
    titleModel: 'gpt-3.5-turbo'
    # streamRate not defined here, so individual values are kept

Endpoint Settings

• Özel endpoint'ler
• OpenAI
• Anthropic
• Bedrock
• Google
• Azure OpenAI
• Assistants