Groq

Groq draait open modellen zoals Llama en Mixtral op zijn LPU-inferentiehardware, beschikbaar gesteld via een OpenAI-compatibele API die je aan LibreChat kunt toevoegen als een custom endpoint.

Een API-sleutel verkrijgen

Maak een sleutel aan via de Groq console. Voeg deze toe aan je .env bestand:

GROQ_API_KEY=your-api-key

Configuratie

Voeg het endpoint toe onder endpoints.custom in je librechat.yaml:

    - name: "groq"
      apiKey: "${GROQ_API_KEY}"
      baseURL: "https://api.groq.com/openai/v1/"
      models:
        default: [
          "llama3-70b-8192",
          "llama3-8b-8192",
          "llama2-70b-4096",
          "mixtral-8x7b-32768",
          "gemma-7b-it",
          ]
        fetch: false
      titleConvo: true
      titleModel: "mixtral-8x7b-32768"
      modelDisplayLabel: "groq"

Opmerkingen

• Een temperatuur van 0 wordt geconverteerd naar 1e-8. Als je problemen ondervindt, gebruik dan een float groter dan 0 en tot maximaal 2.
• Groq is gratis, maar heeft een snelheidslimiet van 10 zoekopdrachten per minuut en 100 per uur.