Groq

Groq uruchamia otwarte modele, takie jak Llama i Mixtral, na swoim sprzęcie wnioskującym LPU, udostępniając je poprzez API kompatybilne z OpenAI, które możesz dodać do LibreChat jako niestandardowy endpoint.

Uzyskaj klucz API

Utwórz klucz w konsoli Groq. Dodaj go do swojego pliku .env:

GROQ_API_KEY=your-api-key

Konfiguracja

Dodaj endpoint w sekcji endpoints.custom w swoim librechat.yaml:

    - name: "groq"
      apiKey: "${GROQ_API_KEY}"
      baseURL: "https://api.groq.com/openai/v1/"
      models:
        default: [
          "llama3-70b-8192",
          "llama3-8b-8192",
          "llama2-70b-4096",
          "mixtral-8x7b-32768",
          "gemma-7b-it",
          ]
        fetch: false
      titleConvo: true
      titleModel: "mixtral-8x7b-32768"
      modelDisplayLabel: "groq"

Uwagi

• Temperatura 0 jest konwertowana na 1e-8. Jeśli napotkasz problemy, użyj liczby zmiennoprzecinkowej większej niż 0 i do 2.
• Groq jest darmowy, ale posiada limity wynoszące 10 zapytań na minutę i 100 na godzinę.