Aangepaste parameters
Een standaardset parameters kiezen
Standaard gebruikt LibreChat de standaardparameters van de OpenAI API wanneer je een aangepast endpoint specificeert in het librechat.yaml configuratiebestand. Je kunt deze standaardinstellingen echter overschrijven door het veld customParams.defaultParamsEndpoint op te geven binnen de definitie van je aangepaste endpoint. Bijvoorbeeld, om Google-parameters te gebruiken voor je aangepaste endpoint:
endpoints:
custom:
- name: 'Google Gemini'
apiKey: ...
baseURL: ...
customParams:
defaultParamsEndpoint: 'google'Je "Google Gemini" endpoint zal nu parameters voor de Google API weergeven wanneer je een nieuwe agent of preset aanmaakt.
Parameterdefinities overschrijven
Daarnaast kun je ook de parameters verfijnen die worden aangeboden voor je custom endpoint. De temperature parameter voor het google endpoint is bijvoorbeeld een schuifregelaar met een bereik van 0.0 tot 1.0 en een standaardwaarde van 1.0; je kunt het librechat.yaml bestand bijwerken om deze waarden te overschrijven:
endpoints:
custom:
- name: 'Google Gemini'
apiKey: ...
baseURL: ...
customParams:
defaultParamsEndpoint: 'google'
paramDefinitions:
- key: temperature
range:
min: 0
max: 0.7
step: 0.1
default: 0.5Als resultaat zal de Temperature schuifregelaar worden beperkt tot het bereik van 0.0 en 0.7 met een stap van 0.1, en een standaardwaarde van 0.5. De rest van de parameters zal worden ingesteld op hun standaardwaarden.
Standaard parameterwaarden instellen
U kunt standaardwaarden opgeven voor parameters die automatisch worden toegepast bij het maken van API-verzoeken. Dit is handig voor het instellen van basisparameterwaarden voor uw aangepaste endpoint, zonder dat gebruikers deze telkens handmatig hoeven te configureren.
Het default veld in paramDefinitions stelt je in staat om standaardwaarden in te stellen die worden toegepast wanneer parameters niet zijn gedefinieerd. Deze standaardwaarden volgen een prioriteitsvolgorde om een correct overschrijfgedrag te garanderen:
Prioriteitsvolgorde (laagste naar hoogste):
- Standaardwaarden uit
paramDefinitions- Wordt als eerste toegepast wanneer de parameter niet is gedefinieerd addParams- Kan standaardwaarden overschrijven- Door de gebruiker geconfigureerde
modelOptions- Hoogste prioriteit, overschrijft alles
endpoints:
custom:
- name: 'My Custom LLM'
apiKey: ...
baseURL: ...
customParams:
defaultParamsEndpoint: 'openAI'
paramDefinitions:
- key: temperature
default: 0.7
- key: topP
default: 0.9
- key: maxTokens
default: 2000In dit voorbeeld:
- Als een gebruiker geen
temperatureopgeeft, wordt deze standaard ingesteld op0.7 - Als een gebruiker expliciet
temperatureinstelt op0.5, krijgt hun waarde (0.5) voorrang. - Het
addParamsveld (indien geconfigureerd) kan deze standaardwaarden overschrijven - Gebruikersselecties in de UI hebben altijd de hoogste prioriteit
Anthropic
Er zijn twee aan Anthropic gerelateerde aangepaste endpoint-modi:
provider: 'anthropic'op het aangepaste endpoint gebruikt de native Anthropic/v1/messagesclient. Gebruik dit voor Anthropic zelf of gateways die de Anthropic Messages API ondersteunen.customParams.defaultParamsEndpoint: 'anthropic'houdt het aangepaste endpoint op het OpenAI-compatibele pad terwijl het metadata van parameters in Anthropic-stijl en verzoekadaptatie toepast.
Wanneer je defaultParamsEndpoint: 'anthropic' gebruikt, biedt het systeem speciale afhandeling die verder gaat dan alleen het weergeven en gebruiken van Anthropic-parametersets:
Anthropic API-compatibiliteit
Het instellen van defaultParamsEndpoint: 'anthropic' past parameters, headers en payload-opmaak aan voor verzoeken in Anthropic-stijl op het aangepaste endpoint-pad:
- Parameters worden exact zoals de Anthropic API verwacht naar uw custom endpoint verzonden.
- Dit is essentieel voor proxyservices zoals LiteLLM die parameters die niet voldoen aan de OpenAI-spec direct doorgeven aan de onderliggende provider
- Anthropic-specifieke parameters zoals
thinkingzijn correct geformatteerd - De
messagespayload is geformatteerd volgens de vereisten van Anthropic (thinking blocks en prompt caching) - De juiste bèta-headers worden automatisch toegevoegd op basis van het model, net zoals wanneer je Anthropic rechtstreeks gebruikt.
Dit is voornamelijk nodig om de thinking parameter correct te formatteren, aangezien deze niet OpenAI-compatibel is:
{
"thinking": {
"type": "enabled",
"budget_tokens": 10000
}
}Daarnaast voegt het systeem automatisch modelspecifieke Anthropic bèta-headers toe, zoals:
anthropic-beta: prompt-caching-2024-07-31voor ondersteuning van prompt cachinganthropic-beta: context-1m-2025-08-07voor modellen met uitgebreide context- Modelspecifieke feature flags gebaseerd op het gebruikte Claude-model
Voor native Anthropic-compatibele endpoints heeft provider: 'anthropic' op het custom endpoint de voorkeur. Dit routeert agents, samenvattingen, token/context-budgettering en parameter-defaults via het Anthropic-providerpad.
Reasoning replay
Sommige OpenAI-compatibele reasoning gateways vereisen dat reasoning_content van de provider wordt herhaald bij assistant tool-call turns. Gebruik custom endpoint flags om je alleen aan te melden voor providers die dit gedrag vereisen:
customParams:
reasoningFormat: reasoning_object
reasoningKey: reasoning_content
includeReasoningContent: trueStel includeReasoningHistory: true alleen in wanneer de provider ook vereist dat LibreChat reasoning_content reconstrueert vanuit de opgeslagen gespreksgeschiedenis in latere beurten. Dit impliceert includeReasoningContent.
Implementatiestatus
Momenteel is deze automatische afhandeling van parameters en headers volledig geïmplementeerd voor custom endpoints in Anthropic-stijl. Soortgelijk gedrag voor andere defaultParamsEndpoint waarden (bijv. google, bedrock) staat gepland voor toekomstige updates.
Hoe is deze gids?