LibreChatHuggingface
Configure o Huggingface como um endpoint personalizado no LibreChat.
O Huggingface expƵe modelos hospedados por meio de uma API de inferĆŖncia compatĆvel com OpenAI, a qual vocĆŖ pode adicionar ao LibreChat como um endpoint personalizado.
Obtenha uma API key
Crie um token em huggingface.co/settings/tokens. Adicione-o ao seu arquivo .env:
HUGGINGFACE_TOKEN=your-api-keyConfiguraĆ§Ć£o
Adicione o endpoint em endpoints.custom no seu librechat.yaml:
- name: 'HuggingFace'
apiKey: '${HUGGINGFACE_TOKEN}'
baseURL: 'https://api-inference.huggingface.co/v1'
models:
default: [
"codellama/CodeLlama-34b-Instruct-hf",
"google/gemma-1.1-2b-it",
"google/gemma-1.1-7b-it",
"HuggingFaceH4/starchat2-15b-v0.1",
"HuggingFaceH4/zephyr-7b-beta",
"meta-llama/Meta-Llama-3-8B-Instruct",
"microsoft/Phi-3-mini-4k-instruct",
"mistralai/Mistral-7B-Instruct-v0.1",
"mistralai/Mistral-7B-Instruct-v0.2",
"mistralai/Mixtral-8x7B-Instruct-v0.1",
"NousResearch/Nous-Hermes-2-Mixtral-8x7B-DPO",
]
fetch: true
titleConvo: true
titleModel: "NousResearch/Nous-Hermes-2-Mixtral-8x7B-DPO"
dropParams: ["top_p"]
modelDisplayLabel: "HuggingFace"A lista de modelos acima foi atualizada pela Ćŗltima vez em 09 de maio de 2024.
Notas
- Os modelos listados sĆ£o gratuitos, mas possuem limite de taxa, e as respostas podem ser muito curtas no nĆvel gratuito. Alguns modelos funcionam melhor que outros.
- A busca pela lista de modelos nĆ£o Ć© suportada, portanto, defina o array
defaultvocĆŖ mesmo. dropParams: ["top_p"]Ć© obrigatĆ³rio. Sem ele, as solicitaƧƵes falham porque o Huggingface rejeita o parĆ¢metrotop_p. VejadropParams.
Como estĆ” este guia?