Paramètres personnalisés

Choisir un ensemble de paramètres par défaut

Par défaut, lorsque vous spécifiez un endpoint personnalisé dans le fichier de configuration librechat.yaml, il utilisera les paramètres par défaut de l'API OpenAI. Cependant, vous pouvez remplacer ces valeurs par défaut en spécifiant le champ customParams.defaultParamsEndpoint au sein de la définition de votre endpoint personnalisé. Par exemple, pour utiliser les paramètres de Google pour votre endpoint personnalisé :

endpoints:
  custom:
    - name: 'Google Gemini'
      apiKey: ...
      baseURL: ...
      customParams:
        defaultParamsEndpoint: 'google'

Votre endpoint "Google Gemini" affichera désormais les paramètres pour l'API Google lorsque vous créerez un nouvel agent ou un nouveau preset.

Remplacement des définitions de paramètres

En plus de cela, vous pouvez également affiner les paramètres fournis pour votre endpoint personnalisé. Par exemple, le paramètre temperature pour l'endpoint google est un curseur avec une plage allant de 0.0 à 1.0, et une valeur par défaut de 1.0 ; vous pouvez mettre à jour le fichier librechat.yaml pour remplacer ces valeurs :

endpoints:
  custom:
    - name: 'Google Gemini'
      apiKey: ...
      baseURL: ...
      customParams:
        defaultParamsEndpoint: 'google'
        paramDefinitions:
          - key: temperature
            range:
              min: 0
              max: 0.7
              step: 0.1
            default: 0.5

Par conséquent, le curseur Temperature sera limité à une plage comprise entre 0.0 et 0.7 avec un pas de 0.1, et une valeur par défaut de 0.5. Le reste des paramètres sera défini sur leurs valeurs par défaut.

Définition des valeurs de paramètres par défaut

Vous pouvez spécifier des valeurs par défaut pour les paramètres qui seront automatiquement appliquées lors de l'envoi de requêtes API. Ceci est utile pour définir des valeurs de paramètres de base pour votre endpoint personnalisé sans exiger que les utilisateurs les configurent manuellement à chaque fois.

Le champ default dans paramDefinitions vous permet de définir des valeurs par défaut qui sont appliquées lorsque les paramètres ne sont pas définis. Ces valeurs par défaut suivent un ordre de priorité pour assurer un comportement de remplacement approprié :

Ordre de priorité (du plus bas au plus élevé) :

Valeurs par défaut de paramDefinitions - Appliquées en premier lorsque le paramètre n'est pas défini
addParams - Peut remplacer les valeurs par défaut
modelOptions configurées par l'utilisateur - Priorité la plus élevée, remplace tout le reste

endpoints:
  custom:
    - name: 'My Custom LLM'
      apiKey: ...
      baseURL: ...
      customParams:
        defaultParamsEndpoint: 'openAI'
        paramDefinitions:
          - key: temperature
            default: 0.7
          - key: topP
            default: 0.9
          - key: maxTokens
            default: 2000

Dans cet exemple :

Si un utilisateur ne spécifie pas temperature, la valeur par défaut est 0.7
Si un utilisateur définit explicitement temperature sur 0.5, sa valeur (0.5) prévaut.
Le champ addParams (s'il est configuré) peut remplacer ces valeurs par défaut
Les sélections de l'utilisateur dans l'interface utilisateur ont toujours la priorité la plus élevée.

Anthropic

Il existe deux modes de point de terminaison personnalisés liés à Anthropic :

provider: 'anthropic' sur le endpoint personnalisé utilise le client natif Anthropic /v1/messages. Utilisez ceci pour Anthropic lui-même ou pour les passerelles qui utilisent l'API Messages d'Anthropic.
customParams.defaultParamsEndpoint: 'anthropic' conserve le endpoint personnalisé sur le chemin compatible OpenAI tout en appliquant les métadonnées de paramètres et l'adaptation de requête de style Anthropic.

Lorsque vous utilisez defaultParamsEndpoint: 'anthropic', le système fournit un traitement spécial qui va au-delà du simple affichage et de l'utilisation des ensembles de paramètres Anthropic :

Compatibilité avec l'API Anthropic

Définir defaultParamsEndpoint: 'anthropic' adapte les paramètres, les en-têtes et le formatage de la charge utile pour les requêtes au format Anthropic sur le chemin de l'endpoint personnalisé :

Les paramètres sont envoyés à votre endpoint personnalisé exactement comme l'API Anthropic l'attend.
Ceci est essentiel pour les services de proxy comme LiteLLM qui transmettent directement des paramètres non conformes à la spécification OpenAI au fournisseur sous-jacent.
Les paramètres spécifiques à Anthropic comme thinking sont correctement formatés
La charge utile messages est formatée conformément aux exigences d'Anthropic (blocs de réflexion et mise en cache des invites).
Les en-têtes bêta appropriés sont automatiquement ajoutés en fonction du modèle, comme lors de l'utilisation directe d'Anthropic.

Ceci est principalement nécessaire pour formater correctement le paramètre thinking, qui n'est pas compatible avec OpenAI :

{
  "thinking": {
    "type": "enabled",
    "budget_tokens": 10000
  }
}

De plus, le système ajoute automatiquement des en-têtes bêta Anthropic spécifiques au modèle, tels que :

anthropic-beta: prompt-caching-2024-07-31 pour la prise en charge de la mise en cache des prompts
anthropic-beta: context-1m-2025-08-07 pour les modèles à contexte étendu
Indicateurs de fonctionnalités spécifiques au modèle basés sur le modèle Claude utilisé

Pour les endpoints natifs compatibles avec Anthropic, préférez provider: 'anthropic' sur l'endpoint personnalisé. Cela achemine les agents, la synthèse, la gestion du budget de jetons/contexte et les paramètres par défaut via le chemin du fournisseur Anthropic.

État de l'implémentation

Actuellement, cette gestion automatique des paramètres et des en-têtes est entièrement implémentée pour les endpoints personnalisés de style Anthropic. Un comportement similaire pour d'autres valeurs de defaultParamsEndpoint (par exemple, google, bedrock) est prévu pour les futures mises à jour.