Hugging Face

Huggingface expone modelos alojados a través de una API de inferencia compatible con OpenAI, la cual puedes añadir a LibreChat como un endpoint personalizado.

Obtener una API key

Cree un token en huggingface.co/settings/tokens. Añádalo a su archivo .env:

HUGGINGFACE_TOKEN=your-api-key

Configuración

Agregue el endpoint bajo endpoints.custom en su librechat.yaml:

    - name: 'HuggingFace'
      apiKey: '${HUGGINGFACE_TOKEN}'
      baseURL: 'https://api-inference.huggingface.co/v1'
      models:
        default: [
          "codellama/CodeLlama-34b-Instruct-hf",
          "google/gemma-1.1-2b-it",
          "google/gemma-1.1-7b-it",
          "HuggingFaceH4/starchat2-15b-v0.1",
          "HuggingFaceH4/zephyr-7b-beta",
          "meta-llama/Meta-Llama-3-8B-Instruct",
          "microsoft/Phi-3-mini-4k-instruct",
          "mistralai/Mistral-7B-Instruct-v0.1",
          "mistralai/Mistral-7B-Instruct-v0.2",
          "mistralai/Mixtral-8x7B-Instruct-v0.1",
          "NousResearch/Nous-Hermes-2-Mixtral-8x7B-DPO",
        ]
        fetch: true
      titleConvo: true
      titleModel: "NousResearch/Nous-Hermes-2-Mixtral-8x7B-DPO"
      dropParams: ["top_p"]
      modelDisplayLabel: "HuggingFace"

La lista de modelos anterior se actualizó por última vez el 09 de mayo de 2024.

Notas

Los modelos listados son gratuitos pero tienen límites de tasa, y las respuestas pueden ser muy breves en el nivel gratuito. Algunos modelos funcionan mejor que otros.
La obtención de la lista de modelos no es compatible, por lo que debe configurar la matriz default usted mismo.
dropParams: ["top_p"] es obligatorio. Sin él, las solicitudes fallan porque Huggingface rechaza el parámetro top_p. Consulta dropParams.

Hugging Face

Obtener una API key

Configuración

Notas

Otros errores del modelo