API RAG

RAG API lập chỉ mục các tệp do người dùng tải lên và truy xuất các đoạn văn bản liên quan để tăng cường cho các prompt của bạn, giúp LibreChat đưa ra các phản hồi có nhận thức về ngữ cảnh dựa trên tài liệu của bạn. Nó chạy như một dịch vụ FastAPI riêng biệt được hỗ trợ bởi cơ sở dữ liệu PostgreSQL + pgvector.

Tính khả dụng

RAG hoạt động với Agents, cũng như các Custom Endpoints, OpenAI, Azure OpenAI, Anthropic và Google.

OpenAI Assistants có cơ chế RAG riêng thông qua khả năng "Retrieval" (chi tiết tại đây). Việc sử dụng RAG API với Assistants API vẫn rất đáng giá vì OpenAI tính phí cho cả lưu trữ tệp và Retrieval. Tích hợp này đã được lên kế hoạch cho một bản cập nhật trong tương lai.

Docker Quick Start

Đối với Docker, RAG API đã được thiết lập sẵn trong cả hai tệp docker-compose.yml và deploy-compose.yml mặc định, bao gồm cả giá trị RAG_API_URL. Bạn chỉ cần đảm bảo rằng mình đang chạy image và các tệp compose mới nhất. Hãy xem Hướng dẫn cập nhật LibreChat cho Docker nếu bạn không chắc chắn về cách cập nhật.

Chọn nhà cung cấp embeddings mà bạn muốn sử dụng.

RAG_API_URL=http://host.docker.internal:8000

RAG_OPENAI_API_KEY=sk-your-openai-api-key-example

docker compose up -d

RAG_API_URL=http://host.docker.internal:8000
EMBEDDINGS_PROVIDER=huggingface
HF_TOKEN=hf_xxxxxxxxxxxxxxxxxxxxxxx

version: '3.4'

services:
  rag_api:
    image: registry.librechat.ai/danny-avila/librechat-rag-api-dev:latest

docker compose up -d

RAG_API_URL=http://host.docker.internal:8000
EMBEDDINGS_PROVIDER=ollama
OLLAMA_BASE_URL=http://host.docker.internal:11434
EMBEDDINGS_MODEL=nomic-embed-text

version: '3.4'

services:
  rag_api:
    image: registry.librechat.ai/danny-avila/librechat-rag-api-dev:latest
    # If running on Linux
    # extra_hosts:
    #   - "host.docker.internal:host-gateway"

docker compose up -d

Lite so với full image

Docker mặc định sử dụng image "lite" của RAG API (registry.librechat.ai/danny-avila/librechat-rag-api-dev-lite:latest), chỉ hỗ trợ các embedding từ xa từ OpenAI hoặc dịch vụ HuggingFace/Ollama từ xa mà bạn đã cấu hình.

Đối với local embeddings, hãy chuyển đổi image trong file compose sang bản build đầy đủ, registry.librechat.ai/danny-avila/librechat-rag-api-dev:latest. Hãy thực hiện thay đổi này trong Docker Compose Override File của bạn. Xem docker-compose.override.yml.example tại thư mục gốc của dự án để biết ví dụ.

Nếu bạn muốn một tệp compose chỉ bao gồm cơ sở dữ liệu PostgreSQL + pgvector và Python API, hãy xem rag.yml tại thư mục gốc của dự án.

Lưu trữ cơ sở dữ liệu

Các tệp compose mặc định lưu trữ dữ liệu pgvector/PostgreSQL trong volume pgdata2 do Docker quản lý. Điều này là có chủ đích: các tệp cơ sở dữ liệu không cần phải chỉnh sửa trực tiếp từ máy chủ (host) và volume được quản lý giúp tránh các vấn đề phổ biến về quyền sở hữu và quyền truy cập. Các tệp mà người dùng có thể chỉnh sửa (tệp tải lên, nhật ký, hình ảnh, dữ liệu MongoDB và cấu hình NGINX) được bind-mount vào các thư mục dự án nơi việc truy cập trực tiếp từ máy chủ là hữu ích.

Thiết lập cục bộ

Thiết lập không sử dụng container đòi hỏi thao tác thủ công nhiều hơn. Hãy làm theo các hướng dẫn trong RAG API repo.

Thiết lập RAG_API_URL trong tệp .env của LibreChat của bạn tới bất kỳ nơi nào mà API có thể truy cập được từ thiết lập của bạn. Điều này khác với Docker, nơi giá trị đã được thiết lập sẵn trong tệp docker-compose.yml mặc định.

Cấu hình

Thiết lập các tùy chọn RAG API thông qua các biến môi trường trong tệp .env mà API có thể truy cập. Hầu hết các tùy chọn này là không bắt buộc, ngoại trừ thông tin xác thực và đường dẫn được yêu cầu bởi nhà cung cấp mà bạn đã chọn. Trong thiết lập mặc định, chỉ cần RAG_OPENAI_API_KEY là bắt buộc.

Các biến môi trường

Để xem danh sách đầy đủ các biến và mô tả của chúng, hãy xem RAG API repo.

Cách sử dụng

Khi RAG API đang chạy, nó sẽ tự động tích hợp với LibreChat. Khi người dùng tải tệp lên một cuộc trò chuyện, API sẽ lập chỉ mục các tệp đó và sử dụng chúng để đưa ra các phản hồi dựa trên ngữ cảnh.

Khắc phục sự cố

Nếu bạn gặp sự cố khi thiết lập hoặc sử dụng RAG API:

• Xác nhận tất cả các biến môi trường bắt buộc đã được thiết lập chính xác trong tệp .env của bạn.
• Hãy đảm bảo rằng cơ sở dữ liệu vector đã được cấu hình và có thể truy cập được.
• Xác minh rằng khóa API OpenAI hoặc thông tin xác thực của nhà cung cấp khác là hợp lệ.
• Kiểm tra cả nhật ký của LibreChat và RAG API để tìm lỗi hoặc cảnh báo.

Nếu sự cố vẫn tiếp diễn, hãy tham khảo tài liệu RAG API hoặc hỏi cộng đồng LibreChat trên GitHub Discussions hoặc Discord.