Groq | LibreChat

Groq

LibreChatでGroqをカスタムendpointとして設定する。

Groqは、LlamaやMixtralといったオープンモデルをLPU推論ハードウェア上で実行しており、OpenAI互換のAPIを通じて提供されているため、カスタムendpointとしてLibreChatに追加することができます。

APIキーを取得する

Groq console からキーを作成します。それを .env ファイルに追加してください：

GROQ_API_KEY=your-api-key

設定

librechat.yaml の endpoints.custom の下にエンドポイントを追加します：

    - name: "groq"
      apiKey: "${GROQ_API_KEY}"
      baseURL: "https://api.groq.com/openai/v1/"
      models:
        default: [
          "llama3-70b-8192",
          "llama3-8b-8192",
          "llama2-70b-4096",
          "mixtral-8x7b-32768",
          "gemma-7b-it",
          ]
        fetch: false
      titleConvo: true
      titleModel: "mixtral-8x7b-32768"
      modelDisplayLabel: "groq"

注記

0 の temperature は 1e-8 に変換されます。問題が発生した場合は、0 より大きく 2 以下の浮動小数点数を使用してください。
Groqは無料ですが、1分間に10クエリ、1時間に100クエリというレート制限があります。

このガイドはいかがでしたか？