Groq

Groq menjalankan model terbuka seperti Llama dan Mixtral pada perangkat keras inferensi LPU miliknya, yang diekspos melalui API yang kompatibel dengan OpenAI yang dapat Anda tambahkan ke LibreChat sebagai custom endpoint.

Dapatkan API key

Buat kunci dari Groq console. Tambahkan ke file .env Anda:

GROQ_API_KEY=your-api-key

Konfigurasi

Tambahkan endpoint di bawah endpoints.custom dalam librechat.yaml Anda:

    - name: "groq"
      apiKey: "${GROQ_API_KEY}"
      baseURL: "https://api.groq.com/openai/v1/"
      models:
        default: [
          "llama3-70b-8192",
          "llama3-8b-8192",
          "llama2-70b-4096",
          "mixtral-8x7b-32768",
          "gemma-7b-it",
          ]
        fetch: false
      titleConvo: true
      titleModel: "mixtral-8x7b-32768"
      modelDisplayLabel: "groq"

Catatan

• Suhu 0 dikonversi menjadi 1e-8. Jika Anda mengalami masalah, gunakan float yang lebih besar dari 0 hingga 2.
• Groq gratis tetapi dibatasi hingga 10 kueri per menit dan 100 per jam.