LibreChat is joining ClickHouse to power the open-source Agentic Data Stack 🎉 Learn more
LibreChat

Huggingface

Configurer Huggingface en tant qu'endpoint personnalisé dans LibreChat.

Huggingface expose des modèles hébergés via une API d'inférence compatible avec OpenAI, que vous pouvez ajouter à LibreChat en tant qu'endpoint personnalisé.

Obtenir une clé API

Créez un jeton sur huggingface.co/settings/tokens. Ajoutez-le à votre fichier .env :

HUGGINGFACE_TOKEN=your-api-key

Configuration

Ajoutez l'endpoint sous endpoints.custom dans votre librechat.yaml :

    - name: 'HuggingFace'
      apiKey: '${HUGGINGFACE_TOKEN}'
      baseURL: 'https://api-inference.huggingface.co/v1'
      models:
        default: [
          "codellama/CodeLlama-34b-Instruct-hf",
          "google/gemma-1.1-2b-it",
          "google/gemma-1.1-7b-it",
          "HuggingFaceH4/starchat2-15b-v0.1",
          "HuggingFaceH4/zephyr-7b-beta",
          "meta-llama/Meta-Llama-3-8B-Instruct",
          "microsoft/Phi-3-mini-4k-instruct",
          "mistralai/Mistral-7B-Instruct-v0.1",
          "mistralai/Mistral-7B-Instruct-v0.2",
          "mistralai/Mixtral-8x7B-Instruct-v0.1",
          "NousResearch/Nous-Hermes-2-Mixtral-8x7B-DPO",
        ]
        fetch: true
      titleConvo: true
      titleModel: "NousResearch/Nous-Hermes-2-Mixtral-8x7B-DPO"
      dropParams: ["top_p"]
      modelDisplayLabel: "HuggingFace"

La liste des modèles ci-dessus a été mise à jour pour la dernière fois le 9 mai 2024.

Notes

  • Les modèles listés sont gratuits mais soumis à des limites de débit, et les réponses peuvent être très courtes avec l'offre gratuite. Certains modèles fonctionnent mieux que d'autres.
  • La récupération de la liste des modèles n'est pas prise en charge, vous devez donc définir vous-même le tableau default.
  • dropParams: ["top_p"] est requis. Sans cela, les requêtes échouent car Huggingface rejette le paramètre top_p. Voir dropParams.

Que pensez-vous de ce guide ?

Modifier sur GitHub