LibreChatHuggingface
Konfiguriere Huggingface als benutzerdefinierten endpoint in LibreChat.
Huggingface stellt gehostete Modelle über eine OpenAI-kompatible Inference-API bereit, die Sie in LibreChat als benutzerdefinierten endpoint hinzufügen können.
Einen API-Schlüssel erhalten
Erstellen Sie ein Token unter huggingface.co/settings/tokens. Fügen Sie es Ihrer .env Datei hinzu:
HUGGINGFACE_TOKEN=your-api-keyKonfiguration
Fügen Sie den endpoint unter endpoints.custom in Ihrer librechat.yaml hinzu:
- name: 'HuggingFace'
apiKey: '${HUGGINGFACE_TOKEN}'
baseURL: 'https://api-inference.huggingface.co/v1'
models:
default: [
"codellama/CodeLlama-34b-Instruct-hf",
"google/gemma-1.1-2b-it",
"google/gemma-1.1-7b-it",
"HuggingFaceH4/starchat2-15b-v0.1",
"HuggingFaceH4/zephyr-7b-beta",
"meta-llama/Meta-Llama-3-8B-Instruct",
"microsoft/Phi-3-mini-4k-instruct",
"mistralai/Mistral-7B-Instruct-v0.1",
"mistralai/Mistral-7B-Instruct-v0.2",
"mistralai/Mixtral-8x7B-Instruct-v0.1",
"NousResearch/Nous-Hermes-2-Mixtral-8x7B-DPO",
]
fetch: true
titleConvo: true
titleModel: "NousResearch/Nous-Hermes-2-Mixtral-8x7B-DPO"
dropParams: ["top_p"]
modelDisplayLabel: "HuggingFace"Die obige Modellliste wurde zuletzt am 09. Mai 2024 aktualisiert.
Hinweise
- Die aufgeführten Modelle sind kostenlos, unterliegen jedoch einer Ratenbegrenzung, und die Antworten können in der kostenlosen Stufe sehr kurz ausfallen. Einige Modelle funktionieren besser als andere.
- Das Abrufen der Modellliste wird nicht unterstützt, daher müssen Sie das
default-Array selbst festlegen. dropParams: ["top_p"]ist erforderlich. Ohne diesen Parameter schlagen Anfragen fehl, da Huggingface dentop_p-Parameter ablehnt. SiehedropParams.
Wie finden Sie diese Anleitung?