Skip to main content
LibreChat is joining ClickHouse to power the open-source Agentic Data Stack 🎉 Learn more
LibreChat

Aangepaste parameters

Een standaardset parameters kiezen

Standaard gebruikt LibreChat de standaardparameters van de OpenAI API wanneer je een aangepast endpoint specificeert in het librechat.yaml configuratiebestand. Je kunt deze standaardinstellingen echter overschrijven door het veld customParams.defaultParamsEndpoint op te geven binnen de definitie van je aangepaste endpoint. Bijvoorbeeld, om Google-parameters te gebruiken voor je aangepaste endpoint:

endpoints:
  custom:
    - name: 'Google Gemini'
      apiKey: ...
      baseURL: ...
      customParams:
        defaultParamsEndpoint: 'google'

Je "Google Gemini" endpoint zal nu parameters voor de Google API weergeven wanneer je een nieuwe agent of preset aanmaakt.

Parameterdefinities overschrijven

Daarnaast kun je ook de parameters verfijnen die worden aangeboden voor je custom endpoint. De temperature parameter voor het google endpoint is bijvoorbeeld een schuifregelaar met een bereik van 0.0 tot 1.0 en een standaardwaarde van 1.0; je kunt het librechat.yaml bestand bijwerken om deze waarden te overschrijven:

endpoints:
  custom:
    - name: 'Google Gemini'
      apiKey: ...
      baseURL: ...
      customParams:
        defaultParamsEndpoint: 'google'
        paramDefinitions:
          - key: temperature
            range:
              min: 0
              max: 0.7
              step: 0.1
            default: 0.5

Als resultaat zal de Temperature schuifregelaar worden beperkt tot het bereik van 0.0 en 0.7 met een stap van 0.1, en een standaardwaarde van 0.5. De rest van de parameters zal worden ingesteld op hun standaardwaarden.

Standaard parameterwaarden instellen

U kunt standaardwaarden opgeven voor parameters die automatisch worden toegepast bij het maken van API-verzoeken. Dit is handig voor het instellen van basisparameterwaarden voor uw aangepaste endpoint, zonder dat gebruikers deze telkens handmatig hoeven te configureren.

Het default veld in paramDefinitions stelt je in staat om standaardwaarden in te stellen die worden toegepast wanneer parameters niet zijn gedefinieerd. Deze standaardwaarden volgen een prioriteitsvolgorde om een correct overschrijfgedrag te garanderen:

Prioriteitsvolgorde (laagste naar hoogste):

  1. Standaardwaarden uit paramDefinitions - Wordt als eerste toegepast wanneer de parameter niet is gedefinieerd
  2. addParams - Kan standaardwaarden overschrijven
  3. Door de gebruiker geconfigureerde modelOptions - Hoogste prioriteit, overschrijft alles
endpoints:
  custom:
    - name: 'My Custom LLM'
      apiKey: ...
      baseURL: ...
      customParams:
        defaultParamsEndpoint: 'openAI'
        paramDefinitions:
          - key: temperature
            default: 0.7
          - key: topP
            default: 0.9
          - key: maxTokens
            default: 2000

In dit voorbeeld:

  • Als een gebruiker geen temperature opgeeft, wordt deze standaard ingesteld op 0.7
  • Als een gebruiker expliciet temperature instelt op 0.5, krijgt hun waarde (0.5) voorrang.
  • Het addParams veld (indien geconfigureerd) kan deze standaardwaarden overschrijven
  • Gebruikersselecties in de UI hebben altijd de hoogste prioriteit

Anthropic

Er zijn twee aan Anthropic gerelateerde aangepaste endpoint-modi:

  • provider: 'anthropic' op het aangepaste endpoint gebruikt de native Anthropic /v1/messages client. Gebruik dit voor Anthropic zelf of gateways die de Anthropic Messages API ondersteunen.
  • customParams.defaultParamsEndpoint: 'anthropic' houdt het aangepaste endpoint op het OpenAI-compatibele pad terwijl het metadata van parameters in Anthropic-stijl en verzoekadaptatie toepast.

Wanneer je defaultParamsEndpoint: 'anthropic' gebruikt, biedt het systeem speciale afhandeling die verder gaat dan alleen het weergeven en gebruiken van Anthropic-parametersets:

Anthropic API-compatibiliteit

Het instellen van defaultParamsEndpoint: 'anthropic' past parameters, headers en payload-opmaak aan voor verzoeken in Anthropic-stijl op het aangepaste endpoint-pad:

  • Parameters worden exact zoals de Anthropic API verwacht naar uw custom endpoint verzonden.
  • Dit is essentieel voor proxyservices zoals LiteLLM die parameters die niet voldoen aan de OpenAI-spec direct doorgeven aan de onderliggende provider
  • Anthropic-specifieke parameters zoals thinking zijn correct geformatteerd
  • De messages payload is geformatteerd volgens de vereisten van Anthropic (thinking blocks en prompt caching)
  • De juiste bèta-headers worden automatisch toegevoegd op basis van het model, net zoals wanneer je Anthropic rechtstreeks gebruikt.

Dit is voornamelijk nodig om de thinking parameter correct te formatteren, aangezien deze niet OpenAI-compatibel is:

{
  "thinking": {
    "type": "enabled",
    "budget_tokens": 10000
  }
}

Daarnaast voegt het systeem automatisch modelspecifieke Anthropic bèta-headers toe, zoals:

  • anthropic-beta: prompt-caching-2024-07-31 voor ondersteuning van prompt caching
  • anthropic-beta: context-1m-2025-08-07 voor modellen met uitgebreide context
  • Modelspecifieke feature flags gebaseerd op het gebruikte Claude-model

Voor native Anthropic-compatibele endpoints heeft provider: 'anthropic' op het custom endpoint de voorkeur. Dit routeert agents, samenvattingen, token/context-budgettering en parameter-defaults via het Anthropic-providerpad.

Reasoning replay

Sommige OpenAI-compatibele reasoning gateways vereisen dat reasoning_content van de provider wordt herhaald bij assistant tool-call turns. Gebruik custom endpoint flags om je alleen aan te melden voor providers die dit gedrag vereisen:

customParams:
  reasoningFormat: reasoning_object
  reasoningKey: reasoning_content
  includeReasoningContent: true

Stel includeReasoningHistory: true alleen in wanneer de provider ook vereist dat LibreChat reasoning_content reconstrueert vanuit de opgeslagen gespreksgeschiedenis in latere beurten. Dit impliceert includeReasoningContent.

Implementatiestatus

Momenteel is deze automatische afhandeling van parameters en headers volledig geïmplementeerd voor custom endpoints in Anthropic-stijl. Soortgelijk gedrag voor andere defaultParamsEndpoint waarden (bijv. google, bedrock) staat gepland voor toekomstige updates.

Hoe is deze gids?