Groq

Groq exécute des modèles ouverts tels que Llama et Mixtral sur son matériel d'inférence LPU, exposés via une API compatible avec OpenAI que vous pouvez ajouter à LibreChat en tant qu'endpoint personnalisé.

Obtenir une clé API

Créez une clé depuis la console Groq. Ajoutez-la à votre fichier .env :

GROQ_API_KEY=your-api-key

Configuration

Ajoutez l'endpoint sous endpoints.custom dans votre librechat.yaml :

    - name: "groq"
      apiKey: "${GROQ_API_KEY}"
      baseURL: "https://api.groq.com/openai/v1/"
      models:
        default: [
          "llama3-70b-8192",
          "llama3-8b-8192",
          "llama2-70b-4096",
          "mixtral-8x7b-32768",
          "gemma-7b-it",
          ]
        fetch: false
      titleConvo: true
      titleModel: "mixtral-8x7b-32768"
      modelDisplayLabel: "groq"

Notes

• Une température de 0 est convertie en 1e-8. Si vous rencontrez des problèmes, utilisez un nombre à virgule flottante supérieur à 0 et allant jusqu'à 2.
• Groq est gratuit mais limité à 10 requêtes par minute et 100 par heure.