Groq

O Groq executa modelos abertos como Llama e Mixtral em seu hardware de inferência LPU, exposto por meio de uma API compatível com OpenAI que você pode adicionar ao LibreChat como um endpoint personalizado.

Obtenha uma API key

Crie uma chave no Groq console. Adicione-a ao seu arquivo .env:

GROQ_API_KEY=your-api-key

Configuração

Adicione o endpoint em endpoints.custom no seu librechat.yaml:

    - name: "groq"
      apiKey: "${GROQ_API_KEY}"
      baseURL: "https://api.groq.com/openai/v1/"
      models:
        default: [
          "llama3-70b-8192",
          "llama3-8b-8192",
          "llama2-70b-4096",
          "mixtral-8x7b-32768",
          "gemma-7b-it",
          ]
        fetch: false
      titleConvo: true
      titleModel: "mixtral-8x7b-32768"
      modelDisplayLabel: "groq"

Notas

• Uma temperatura de 0 é convertida para 1e-8. Se você encontrar problemas, use um float maior que 0 e até 2.
• O Groq é gratuito, mas possui limite de taxa de 10 consultas por minuto e 100 por hora.