Skip to main content
LibreChat is joining ClickHouse to power the open-source Agentic Data Stack 🎉 Learn more
LibreChat

Fireworks

在 LibreChat 中将 Fireworks 配置为自定义 endpoint。

Fireworks AI 通过兼容 OpenAI 的 API 提供一系列开源模型,在 LibreChat 中作为自定义 endpoint 使用。

获取 API key

Fireworks API keys page 创建一个密钥。将其添加到你的 .env 文件中:

FIREWORKS_API_KEY=your-api-key

配置

在你的 librechat.yaml 中,将 endpoint 添加到 endpoints.custom 下:

    - name: "Fireworks"
      apiKey: "${FIREWORKS_API_KEY}"
      baseURL: "https://api.fireworks.ai/inference/v1"
      models:
        default: [
          "accounts/fireworks/models/mixtral-8x7b-instruct",
          ]
        fetch: true
      titleConvo: true
      titleModel: "accounts/fireworks/models/llama-v2-7b-chat"
      summarize: false
      summaryModel: "accounts/fireworks/models/llama-v2-7b-chat"
      modelDisplayLabel: "Fireworks"
      dropParams: ["user"]

注意事项

  • 对于某些模型,API 的要求非常严格,可能会拒绝 user 等字段,因此请使用 dropParams 将其剔除。

这篇指南怎么样?