Helicone
在 LibreChat 中将 Helicone 的 AI Gateway 配置为自定义 endpoint。
Helicone 是一个 AI 网关,它通过一个兼容 OpenAI 的单一 endpoint,将请求路由至 OpenAI、Anthropic、Google、Meta、Mistral 及其他提供商的模型,并内置了请求日志记录和使用分析功能。
获取 API key
在 helicone.ai 创建一个账户,并从 Settings → API Keys 生成一个密钥。将其添加到你的 .env 文件中:
请确保您的账户中有余额,否则模型请求将会失败。
配置
在你的 librechat.yaml 中,将 endpoint 添加到 endpoints.custom 下:
注意事项
- 当设置
fetch: true时,LibreChat 会从 Helicone 加载完整的模型列表,因此default数组仅作为初始选择。请浏览 Helicone model library 中提供的所有模型。 x-librechat-body-parentmessageid请求头会将每个请求的父消息 ID 传递给 Helicone,以便按对话对日志进行分组。- 在 Helicone dashboard 中设置速率限制、缓存策略并查看使用情况。
这篇指南怎么样?