LibreChat is joining ClickHouse to power the open-source Agentic Data Stack 🎉 Learn more
LibreChat

Huggingface

Konfiguriere Huggingface als benutzerdefinierten endpoint in LibreChat.

Huggingface stellt gehostete Modelle über eine OpenAI-kompatible Inference-API bereit, die Sie in LibreChat als benutzerdefinierten endpoint hinzufügen können.

Einen API-Schlüssel erhalten

Erstellen Sie ein Token unter huggingface.co/settings/tokens. Fügen Sie es Ihrer .env Datei hinzu:

HUGGINGFACE_TOKEN=your-api-key

Konfiguration

Fügen Sie den endpoint unter endpoints.custom in Ihrer librechat.yaml hinzu:

    - name: 'HuggingFace'
      apiKey: '${HUGGINGFACE_TOKEN}'
      baseURL: 'https://api-inference.huggingface.co/v1'
      models:
        default: [
          "codellama/CodeLlama-34b-Instruct-hf",
          "google/gemma-1.1-2b-it",
          "google/gemma-1.1-7b-it",
          "HuggingFaceH4/starchat2-15b-v0.1",
          "HuggingFaceH4/zephyr-7b-beta",
          "meta-llama/Meta-Llama-3-8B-Instruct",
          "microsoft/Phi-3-mini-4k-instruct",
          "mistralai/Mistral-7B-Instruct-v0.1",
          "mistralai/Mistral-7B-Instruct-v0.2",
          "mistralai/Mixtral-8x7B-Instruct-v0.1",
          "NousResearch/Nous-Hermes-2-Mixtral-8x7B-DPO",
        ]
        fetch: true
      titleConvo: true
      titleModel: "NousResearch/Nous-Hermes-2-Mixtral-8x7B-DPO"
      dropParams: ["top_p"]
      modelDisplayLabel: "HuggingFace"

Die obige Modellliste wurde zuletzt am 09. Mai 2024 aktualisiert.

Hinweise

  • Die aufgelisteten Modelle sind kostenlos, unterliegen jedoch Ratenbegrenzungen, und die Antworten können in der kostenlosen Stufe sehr kurz ausfallen. Einige Modelle funktionieren besser als andere.
  • Das Abrufen der Modellliste wird nicht unterstützt, daher müssen Sie das default-Array selbst festlegen.
  • dropParams: ["top_p"] ist erforderlich. Ohne diesen Parameter schlagen Anfragen fehl, da Huggingface den top_p-Parameter ablehnt. Siehe dropParams.

Wie finden Sie diese Anleitung?

Auf GitHub bearbeiten