Anyscale

在 LibreChat 中将 Anyscale 配置为自定义 endpoint。

Anyscale Endpoints 通过与 OpenAI 兼容的 API 提供 Llama 等开源模型，您可以将其作为自定义 endpoint 添加到 LibreChat 中。

获取 API key

从您的 Anyscale credentials 创建一个密钥。将其添加到您的 .env 文件中：

ANYSCALE_API_KEY=your-api-key

配置

在你的 librechat.yaml 中，将 endpoint 添加到 endpoints.custom 下：

    - name: "Anyscale"
      apiKey: "${ANYSCALE_API_KEY}"
      baseURL: "https://api.endpoints.anyscale.com/v1"
      models:
        default: [
          "meta-llama/Llama-2-7b-chat-hf",
          ]
        fetch: true
      titleConvo: true
      titleModel: "meta-llama/Llama-2-7b-chat-hf"
      summarize: false
      summaryModel: "meta-llama/Llama-2-7b-chat-hf"
      modelDisplayLabel: "Anyscale"

注意事项

当设置 fetch: true 时，LibreChat 会从 Anyscale 加载可用的模型列表，因此 default 数组仅作为初始选择。

这篇指南怎么样？