Groq

Groq ejecuta modelos abiertos como Llama y Mixtral en su hardware de inferencia LPU, expuestos a través de una API compatible con OpenAI que puedes añadir a LibreChat como un endpoint personalizado.

Obtener una API key

Cree una clave desde la consola de Groq. Añádala a su archivo .env:

GROQ_API_KEY=your-api-key

Configuración

Agregue el endpoint bajo endpoints.custom en su librechat.yaml:

    - name: "groq"
      apiKey: "${GROQ_API_KEY}"
      baseURL: "https://api.groq.com/openai/v1/"
      models:
        default: [
          "llama3-70b-8192",
          "llama3-8b-8192",
          "llama2-70b-4096",
          "mixtral-8x7b-32768",
          "gemma-7b-it",
          ]
        fetch: false
      titleConvo: true
      titleModel: "mixtral-8x7b-32768"
      modelDisplayLabel: "groq"

Notas

• Una temperatura de 0 se convierte a 1e-8. Si experimentas problemas, utiliza un número de punto flotante mayor que 0 y hasta 2.
• Groq es gratuito, pero tiene un límite de velocidad de 10 consultas por minuto y 100 por hora.