Groq

Groq esegue modelli aperti come Llama e Mixtral sul suo hardware di inferenza LPU, esposti tramite un'API compatibile con OpenAI che puoi aggiungere a LibreChat come endpoint personalizzato.

Ottieni una API key

Crea una chiave dalla Groq console. Aggiungila al tuo file .env:

GROQ_API_KEY=your-api-key

Configurazione

Aggiungi l'endpoint sotto endpoints.custom nel tuo librechat.yaml:

    - name: "groq"
      apiKey: "${GROQ_API_KEY}"
      baseURL: "https://api.groq.com/openai/v1/"
      models:
        default: [
          "llama3-70b-8192",
          "llama3-8b-8192",
          "llama2-70b-4096",
          "mixtral-8x7b-32768",
          "gemma-7b-it",
          ]
        fetch: false
      titleConvo: true
      titleModel: "mixtral-8x7b-32768"
      modelDisplayLabel: "groq"

Note

• Una temperatura di 0 viene convertita in 1e-8. Se riscontri problemi, utilizza un valore float maggiore di 0 e fino a 2.
• Groq è gratuito ma limitato a 10 query al minuto e 100 all'ora.