Skip to main content
LibreChat is joining ClickHouse to power the open-source Agentic Data Stack 🎉 Learn more
LibreChat

自定义 endpoint

使用 librechat.yaml 将 OpenRouter、Ollama 和兼容 Anthropic 的网关等自定义 AI 提供商添加到 LibreChat

LibreChat 支持将兼容 OpenAI API 的服务作为自定义 endpoint。它也支持通过 provider: "anthropic" 配置兼容 Anthropic 的自定义 endpoint。您可以在 librechat.yaml 中配置 endpoint,在 .env 中存储 API 密钥,并通过 docker-compose.override.yml 为 Docker 部署挂载配置文件。

哪个文件有什么作用?

自定义 endpoint 设置涉及三个文件,每个文件都有特定的作用:

  1. librechat.yaml -- 定义您的自定义 endpoint(名称、API URL、模型、显示设置)
  2. .env -- 存储敏感值,例如 API 密钥(在 librechat.yaml 中使用 ${VAR_NAME} 语法引用)
  3. docker-compose.override.yml -- 将 librechat.yaml 挂载到 Docker 容器中(仅限 Docker 用户)

有关这些文件如何协同工作的完整概述,请参阅 Configuration Overview

开始之前

本指南假设您已经安装并运行了 LibreChat。如果尚未安装,请先完成 Docker setup

第一步:挂载 librechat.yaml (仅限 Docker)

Docker 用户需要将 librechat.yaml 作为卷(volume)挂载,以便容器能够读取它。如果你是在本地运行 LibreChat 而未使用 Docker,则可以跳过此步骤。

cp docker-compose.override.yml.example docker-compose.override.yml

编辑 docker-compose.override.yml 并确保卷挂载(volume mount)已取消注释:

services:
  api:
    volumes:
      - type: bind
        source: ./librechat.yaml
        target: /app/librechat.yaml

了解更多:Docker Override Guide

第 2 步:配置 librechat.yaml

在项目根目录下创建一个 librechat.yaml 文件(如果该文件不存在),并添加您的 endpoint 配置。有关详细的设置说明,请参阅 librechat.yaml 指南

以下是使用 OpenRouterOllama 和兼容 Anthropic 的网关的示例:

version: 1.3.13
cache: true
endpoints:
  custom:
    - name: 'OpenRouter'
      apiKey: '${OPENROUTER_KEY}'
      baseURL: 'https://openrouter.ai/api/v1'
      models:
        default: ['meta-llama/llama-3-70b-instruct']
        fetch: true
      titleConvo: true
      titleModel: 'meta-llama/llama-3-70b-instruct'
      dropParams: ['stop']
      modelDisplayLabel: 'OpenRouter'
    - name: 'Ollama'
      apiKey: 'ollama'
      baseURL: 'http://host.docker.internal:11434/v1/'
      models:
        default: ['llama3:latest', 'command-r', 'mixtral', 'phi3']
        fetch: true
      titleConvo: true
      titleModel: 'current_model'
    - name: 'Claude-Compatible'
      provider: 'anthropic'
      apiKey: '${ANTHROPIC_API_KEY}'
      baseURL: 'https://api.anthropic.com'
      headers:
        anthropic-version: '2023-06-01'
      models:
        default: ['claude-sonnet-4-5']
        fetch: false
      titleConvo: true
      titleModel: 'claude-sonnet-4-5'

AI Endpoints 部分浏览所有兼容的提供商。有关完整的字段参考,请参阅 Custom Endpoint Object Structure

兼容 Anthropic 的 endpoint

仅在与原生 Anthropic Messages API 通信的 endpoint 上使用 provider: "anthropic"。对于仅暴露 Anthropic 模型的 OpenAI 兼容网关,请省略 provider 并使用常规的 OpenAI 兼容自定义 endpoint 格式。

API 密钥配置

在配置自定义 endpoint 的 API 密钥时,你有三种选择:

  1. 环境变量(推荐):apiKey: "${OPENROUTER_KEY}" -- 从 .env 读取
  2. User provided: apiKey: "user_provided" -- 用户在 UI 中输入他们自己的密钥
  3. 直接值(不推荐):apiKey: "sk-your-actual-key" -- 以纯文本形式存储

步骤 3. 设置环境变量

librechat.yaml 中引用的 API 密钥添加到 .env 文件中:

OPENROUTER_KEY=your_openrouter_api_key

librechat.yaml 中的每个 ${VARIABLE_NAME} 都必须在 .env 中有对应的条目。

第 4 步:重启并验证

编辑配置文件后,您必须重启 LibreChat 才能使更改生效。

docker compose down && docker compose up -d

在浏览器中打开 LibreChat。您的自定义 endpoint 应会出现在 endpoint 选择器的下拉菜单中。

没看到您的 endpoint?

检查服务器日志以查找配置错误:

docker compose logs api

常见问题:YAML 语法错误、缺少环境变量,或 librechat.yaml 未挂载到 Docker 中。请使用 YAML Validator 验证您的 YAML。

OpenRouter 仍然没有显示

对于 OpenRouter,请特别核实以下三文件链:

  1. .env 包含 OPENROUTER_KEY=...
  2. librechat.yaml 在 OpenRouter 自定义 endpoint 下具有 apiKey: "${OPENROUTER_KEY}"
  3. Docker 用户在 docker-compose.override.yml 中挂载了 librechat.yaml

然后通过以下命令重启:

docker compose down && docker compose up -d

如果 endpoint 显示但返回 402 Payment Required,说明请求已成功到达 OpenRouter,问题通常出在账户余额、账单或 OpenRouter 上的模型可用性。

后续步骤

这篇指南怎么样?