LibreChatHugging Face
Configurar Huggingface como un endpoint personalizado en LibreChat.
Huggingface expone modelos alojados a través de una API de inferencia compatible con OpenAI, la cual puedes añadir a LibreChat como un endpoint personalizado.
Obtener una API key
Cree un token en huggingface.co/settings/tokens. Añádalo a su archivo .env:
HUGGINGFACE_TOKEN=your-api-keyConfiguración
Agregue el endpoint bajo endpoints.custom en su librechat.yaml:
- name: 'HuggingFace'
apiKey: '${HUGGINGFACE_TOKEN}'
baseURL: 'https://api-inference.huggingface.co/v1'
models:
default: [
"codellama/CodeLlama-34b-Instruct-hf",
"google/gemma-1.1-2b-it",
"google/gemma-1.1-7b-it",
"HuggingFaceH4/starchat2-15b-v0.1",
"HuggingFaceH4/zephyr-7b-beta",
"meta-llama/Meta-Llama-3-8B-Instruct",
"microsoft/Phi-3-mini-4k-instruct",
"mistralai/Mistral-7B-Instruct-v0.1",
"mistralai/Mistral-7B-Instruct-v0.2",
"mistralai/Mixtral-8x7B-Instruct-v0.1",
"NousResearch/Nous-Hermes-2-Mixtral-8x7B-DPO",
]
fetch: true
titleConvo: true
titleModel: "NousResearch/Nous-Hermes-2-Mixtral-8x7B-DPO"
dropParams: ["top_p"]
modelDisplayLabel: "HuggingFace"La lista de modelos anterior se actualizó por última vez el 09 de mayo de 2024.
Notas
- Los modelos listados son gratuitos pero tienen lÃmites de tasa, y las respuestas pueden ser muy breves en el nivel gratuito. Algunos modelos funcionan mejor que otros.
- La obtención de la lista de modelos no es compatible, por lo que debe configurar la matriz
defaultusted mismo. dropParams: ["top_p"]es obligatorio. Sin él, las solicitudes fallan porque Huggingface rechaza el parámetrotop_p. ConsultadropParams.
¿Qué te parece esta guÃa?