Groq

Groq, Llama ve Mixtral gibi açık modelleri LPU çıkarım donanımı üzerinde çalıştırır ve bunları, LibreChat'e özel bir endpoint olarak ekleyebileceğiniz OpenAI uyumlu bir API aracılığıyla sunar.

Bir API anahtarı alın

Groq console üzerinden bir anahtar oluşturun. Bunu .env dosyanıza ekleyin:

GROQ_API_KEY=your-api-key

Yapılandırma

librechat.yaml dosyanızda endpoints.custom altına endpoint'i ekleyin:

    - name: "groq"
      apiKey: "${GROQ_API_KEY}"
      baseURL: "https://api.groq.com/openai/v1/"
      models:
        default: [
          "llama3-70b-8192",
          "llama3-8b-8192",
          "llama2-70b-4096",
          "mixtral-8x7b-32768",
          "gemma-7b-it",
          ]
        fetch: false
      titleConvo: true
      titleModel: "mixtral-8x7b-32768"
      modelDisplayLabel: "groq"

Notlar

• 0 sıcaklık değeri 1e-8 değerine dönüştürülür. Sorun yaşarsanız, 0'dan büyük ve 2'ye kadar bir kayan noktalı sayı (float) kullanın.
• Groq ücretsizdir ancak dakikada 10 ve saatte 100 sorgu ile hız sınırlandırılmıştır.