LibreChatHuggingface
Huggingface'i LibreChat'te özel bir endpoint olarak yapılandırın.
Huggingface, barındırılan modelleri OpenAI uyumlu bir çıkarım API'si aracılığıyla sunar; bunu LibreChat'e özel bir endpoint olarak ekleyebilirsiniz.
Bir API anahtarı alın
huggingface.co/settings/tokens adresinden bir token oluşturun. Bunu .env dosyanıza ekleyin:
HUGGINGFACE_TOKEN=your-api-keyYapılandırma
librechat.yaml dosyanızda endpoints.custom altına endpoint'i ekleyin:
- name: 'HuggingFace'
apiKey: '${HUGGINGFACE_TOKEN}'
baseURL: 'https://api-inference.huggingface.co/v1'
models:
default: [
"codellama/CodeLlama-34b-Instruct-hf",
"google/gemma-1.1-2b-it",
"google/gemma-1.1-7b-it",
"HuggingFaceH4/starchat2-15b-v0.1",
"HuggingFaceH4/zephyr-7b-beta",
"meta-llama/Meta-Llama-3-8B-Instruct",
"microsoft/Phi-3-mini-4k-instruct",
"mistralai/Mistral-7B-Instruct-v0.1",
"mistralai/Mistral-7B-Instruct-v0.2",
"mistralai/Mixtral-8x7B-Instruct-v0.1",
"NousResearch/Nous-Hermes-2-Mixtral-8x7B-DPO",
]
fetch: true
titleConvo: true
titleModel: "NousResearch/Nous-Hermes-2-Mixtral-8x7B-DPO"
dropParams: ["top_p"]
modelDisplayLabel: "HuggingFace"Yukarıdaki model listesi en son 09 Mayıs 2024 tarihinde güncellenmiştir.
Notlar
- Listelenen modeller ücretsizdir ancak hız sınırına tabidir ve ücretsiz katmanda yanıtlar çok kısa olabilir. Bazı modeller diğerlerinden daha iyi çalışır.
- Model listesini getirme özelliği desteklenmemektedir, bu nedenle
defaultdizisini kendiniz ayarlayın. dropParams: ["top_p"]gereklidir. Bu olmadan, Huggingfacetop_pparametresini reddettiği için istekler başarısız olur. Bkz.dropParams.
Bu rehber nasıl?