Groq

Groq chạy các mô hình mã nguồn mở như Llama và Mixtral trên phần cứng suy luận LPU của họ, được cung cấp thông qua API tương thích với OpenAI mà bạn có thể thêm vào LibreChat dưới dạng một endpoint tùy chỉnh.

Nhận API key

Tạo một key từ Groq console. Thêm nó vào tệp .env của bạn:

GROQ_API_KEY=your-api-key

Cấu hình

Thêm endpoint vào dưới endpoints.custom trong tệp librechat.yaml của bạn:

    - name: "groq"
      apiKey: "${GROQ_API_KEY}"
      baseURL: "https://api.groq.com/openai/v1/"
      models:
        default: [
          "llama3-70b-8192",
          "llama3-8b-8192",
          "llama2-70b-4096",
          "mixtral-8x7b-32768",
          "gemma-7b-it",
          ]
        fetch: false
      titleConvo: true
      titleModel: "mixtral-8x7b-32768"
      modelDisplayLabel: "groq"

Ghi chú

• Nhiệt độ 0 được chuyển đổi thành 1e-8. Nếu bạn gặp sự cố, hãy sử dụng giá trị số thực lớn hơn 0 và tối đa là 2.
• Groq miễn phí nhưng bị giới hạn tốc độ ở mức 10 truy vấn mỗi phút và 100 truy vấn mỗi giờ.