Groq | LibreChat

Groq은 Llama 및 Mixtral과 같은 오픈 모델을 LPU 추론 하드웨어에서 실행하며, 이를 LibreChat에 사용자 지정 endpoint로 추가할 수 있는 OpenAI 호환 API를 통해 제공합니다.

API 키 발급받기

Groq console에서 키를 생성하세요. .env 파일에 추가하세요:

GROQ_API_KEY=your-api-key

구성

librechat.yaml의 endpoints.custom 아래에 해당 endpoint를 추가하세요:

    - name: "groq"
      apiKey: "${GROQ_API_KEY}"
      baseURL: "https://api.groq.com/openai/v1/"
      models:
        default: [
          "llama3-70b-8192",
          "llama3-8b-8192",
          "llama2-70b-4096",
          "mixtral-8x7b-32768",
          "gemma-7b-it",
          ]
        fetch: false
      titleConvo: true
      titleModel: "mixtral-8x7b-32768"
      modelDisplayLabel: "groq"

참고 사항

0의 temperature는 1e-8로 변환됩니다. 문제가 발생하면 0보다 크고 2 이하인 부동 소수점 값을 사용하세요.
Groq은 무료이지만 분당 10회, 시간당 100회로 쿼리 제한이 있습니다.