LibreChatHuggingface
Configura Huggingface come endpoint personalizzato in LibreChat.
Huggingface espone modelli ospitati tramite un'API di inferenza compatibile con OpenAI, che puoi aggiungere a LibreChat come endpoint personalizzato.
Ottieni una API key
Crea un token su huggingface.co/settings/tokens. Aggiungilo al tuo file .env:
HUGGINGFACE_TOKEN=your-api-keyConfigurazione
Aggiungi l'endpoint sotto endpoints.custom nel tuo librechat.yaml:
- name: 'HuggingFace'
apiKey: '${HUGGINGFACE_TOKEN}'
baseURL: 'https://api-inference.huggingface.co/v1'
models:
default: [
"codellama/CodeLlama-34b-Instruct-hf",
"google/gemma-1.1-2b-it",
"google/gemma-1.1-7b-it",
"HuggingFaceH4/starchat2-15b-v0.1",
"HuggingFaceH4/zephyr-7b-beta",
"meta-llama/Meta-Llama-3-8B-Instruct",
"microsoft/Phi-3-mini-4k-instruct",
"mistralai/Mistral-7B-Instruct-v0.1",
"mistralai/Mistral-7B-Instruct-v0.2",
"mistralai/Mixtral-8x7B-Instruct-v0.1",
"NousResearch/Nous-Hermes-2-Mixtral-8x7B-DPO",
]
fetch: true
titleConvo: true
titleModel: "NousResearch/Nous-Hermes-2-Mixtral-8x7B-DPO"
dropParams: ["top_p"]
modelDisplayLabel: "HuggingFace"L'elenco dei modelli qui sopra è stato aggiornato l'ultima volta il 9 maggio 2024.
Note
- I modelli elencati sono gratuiti ma soggetti a limiti di velocità (rate limited) e le risposte possono essere molto brevi nel piano gratuito. Alcuni modelli funzionano meglio di altri.
- Il recupero dell'elenco dei modelli non è supportato, quindi imposta tu stesso l'array
default. dropParams: ["top_p"]è richiesto. Senza di esso, le richieste falliscono perché Huggingface rifiuta il parametrotop_p. VedidropParams.
Com’è questa guida?