花火 | LibreChat

花火

LibreChatでFireworksをカスタムendpointとして設定する。

Fireworks AIは、OpenAI互換APIを通じてさまざまなオープンモデルを提供しており、LibreChatではカスタムendpointとして使用されます。

APIキーを取得する

Fireworks API keys page からキーを作成します。それを .env ファイルに追加してください：

FIREWORKS_API_KEY=your-api-key

設定

librechat.yaml の endpoints.custom の下にエンドポイントを追加します：

    - name: "Fireworks"
      apiKey: "${FIREWORKS_API_KEY}"
      baseURL: "https://api.fireworks.ai/inference/v1"
      models:
        default: [
          "accounts/fireworks/models/mixtral-8x7b-instruct",
          ]
        fetch: true
      titleConvo: true
      titleModel: "accounts/fireworks/models/llama-v2-7b-chat"
      summarize: false
      summaryModel: "accounts/fireworks/models/llama-v2-7b-chat"
      modelDisplayLabel: "Fireworks"
      dropParams: ["user"]

注記

APIは一部のモデルに対して厳格であり、userのようなフィールドを拒否する場合があるため、dropParamsを使用してそれらを除外してください。

このガイドはいかがでしたか？