Groq

Groq betreibt offene Modelle wie Llama und Mixtral auf seiner LPU-Inferenz-Hardware, die über eine OpenAI-kompatible API bereitgestellt werden, welche Sie LibreChat als benutzerdefinierten endpoint hinzufügen können.

Einen API-Schlüssel erhalten

Erstellen Sie einen Schlüssel über die Groq console. Fügen Sie ihn Ihrer .env Datei hinzu:

GROQ_API_KEY=your-api-key

Konfiguration

Fügen Sie den endpoint unter endpoints.custom in Ihrer librechat.yaml hinzu:

    - name: "groq"
      apiKey: "${GROQ_API_KEY}"
      baseURL: "https://api.groq.com/openai/v1/"
      models:
        default: [
          "llama3-70b-8192",
          "llama3-8b-8192",
          "llama2-70b-4096",
          "mixtral-8x7b-32768",
          "gemma-7b-it",
          ]
        fetch: false
      titleConvo: true
      titleModel: "mixtral-8x7b-32768"
      modelDisplayLabel: "groq"

Hinweise

• Eine Temperatur von 0 wird in 1e-8 umgewandelt. Falls Probleme auftreten, verwenden Sie einen Float-Wert größer als 0 und bis zu 2.
• Groq ist kostenlos, aber auf 10 Abfragen pro Minute und 100 pro Stunde begrenzt.