LibreChatHuggingface
Configureer Huggingface als een aangepast endpoint in LibreChat.
Huggingface stelt gehoste modellen beschikbaar via een OpenAI-compatibele inference API, die je als custom endpoint aan LibreChat kunt toevoegen.
Een API-sleutel verkrijgen
Maak een token aan op huggingface.co/settings/tokens. Voeg deze toe aan je .env bestand:
HUGGINGFACE_TOKEN=your-api-keyConfiguratie
Voeg het endpoint toe onder endpoints.custom in je librechat.yaml:
- name: 'HuggingFace'
apiKey: '${HUGGINGFACE_TOKEN}'
baseURL: 'https://api-inference.huggingface.co/v1'
models:
default: [
"codellama/CodeLlama-34b-Instruct-hf",
"google/gemma-1.1-2b-it",
"google/gemma-1.1-7b-it",
"HuggingFaceH4/starchat2-15b-v0.1",
"HuggingFaceH4/zephyr-7b-beta",
"meta-llama/Meta-Llama-3-8B-Instruct",
"microsoft/Phi-3-mini-4k-instruct",
"mistralai/Mistral-7B-Instruct-v0.1",
"mistralai/Mistral-7B-Instruct-v0.2",
"mistralai/Mixtral-8x7B-Instruct-v0.1",
"NousResearch/Nous-Hermes-2-Mixtral-8x7B-DPO",
]
fetch: true
titleConvo: true
titleModel: "NousResearch/Nous-Hermes-2-Mixtral-8x7B-DPO"
dropParams: ["top_p"]
modelDisplayLabel: "HuggingFace"De bovenstaande modellijst is voor het laatst bijgewerkt op 9 mei 2024.
Opmerkingen
- De vermelde modellen zijn gratis maar hebben een snelheidslimiet, en antwoorden kunnen erg kort zijn in de gratis laag. Sommige modellen werken beter dan andere.
- Het ophalen van de modellijst wordt niet ondersteund, dus stel de
defaultarray zelf in. dropParams: ["top_p"]is vereist. Zonder dit mislukken verzoeken omdat Huggingface detop_pparameter afwijst. ZiedropParams.
Hoe is deze gids?