Cấu hình Tìm kiếm Web

Cấu hình webSearch cho phép bạn tùy chỉnh chức năng tìm kiếm web trong LibreChat, bao gồm các nhà cung cấp dịch vụ tìm kiếm, công cụ thu thập nội dung và công cụ xếp hạng lại kết quả.

Tổng quan

Tính năng tìm kiếm web bao gồm ba thành phần chính:

1. Search Providers: Các dịch vụ thực hiện tìm kiếm web ban đầu
2. Scrapers: Các dịch vụ trích xuất nội dung từ các trang web
3. Rerankers: Các dịch vụ sắp xếp lại kết quả tìm kiếm để có độ liên quan tốt hơn

Ví dụ

webSearch:
  # Search Provider Configuration
  serperApiKey: "${SERPER_API_KEY}"
  searxngInstanceUrl: "${SEARXNG_INSTANCE_URL}"
  searxngApiKey: "${SEARXNG_API_KEY}"
  searchProvider: "serper" # Options: "serper", "searxng", "tavily"

  # Tavily Configuration (search and/or scraper)
  tavilyApiKey: "${TAVILY_API_KEY}"
  # Optional: custom Tavily-compatible endpoints
  tavilySearchUrl: "${TAVILY_SEARCH_URL}"
  tavilyExtractUrl: "${TAVILY_EXTRACT_URL}"

  # Scraper Configuration
  firecrawlApiKey: "${FIRECRAWL_API_KEY}"
  firecrawlApiUrl: "${FIRECRAWL_API_URL}"
  firecrawlVersion: "${FIRECRAWL_VERSION}"
  scraperProvider: "firecrawl" # Options: "firecrawl", "serper", "tavily"

  # Reranker Configuration
  jinaApiKey: "${JINA_API_KEY}"
  jinaApiUrl: "${JINA_API_URL}"
  cohereApiKey: "${COHERE_API_KEY}"
  rerankerType: "jina" # Options: "jina", "cohere", "none"

  # General Settings
  scraperTimeout: 7500 # Timeout in milliseconds for scraper requests (default: 7500)
  safeSearch: 1 # Options: 0 (OFF), 1 (MODERATE - default), 2 (STRICT)

Các nhà cung cấp tìm kiếm

searchProvider

serperApiKey

Lưu ý: Lấy khóa API của bạn từ Serper.dev

searxngInstanceUrl

searxngApiKey

Lưu ý: Đây là tùy chọn và chỉ cần thiết nếu instance SearXNG của bạn yêu cầu xác thực.

tavilyApiKey

Lưu ý: Lấy API key của bạn từ Tavily

tavilySearchUrl

tavilyExtractUrl

tavilySearchOptions

Các khóa con:

Scrapers

firecrawlApiKey

Lưu ý: Lấy khóa API của bạn từ Firecrawl.dev

firecrawlApiUrl

Lưu ý: Đây là tùy chọn và chỉ cần thiết nếu bạn đang sử dụng một instance Firecrawl tùy chỉnh.

firecrawlVersion

scraperProvider

firecrawlOptions

Các khóa con:

formats

includeTags

excludeTags

headers

waitFor

timeout

maxAge

Lưu ý: Nếu bạn không cần dữ liệu cực kỳ mới, việc bật tính năng này có thể tăng tốc độ thu thập dữ liệu của bạn lên 500%.

mobile

skipTlsVerification

blockAds

removeBase64Images

parsePDF

storeInCache

zeroDataRetention

location

onlyMainContent

changeTrackingOptions

Ví dụ:

webSearch:
  firecrawlApiKey: "${FIRECRAWL_API_KEY}"
  firecrawlOptions:
    formats: ["markdown", "rawHtml"]
    includeTags: ["main", "article", ".content"]
    excludeTags: ["nav", "footer", ".ads"]
    waitFor: 2000
    timeout: 10000
    mobile: false
    blockAds: true
    onlyMainContent: true
    location:
      country: "US"
      languages: ["en"]

Lưu ý: Để biết thông tin chi tiết về các tùy chọn và cài đặt mặc định của trình thu thập dữ liệu Firecrawl, hãy xem Tài liệu API Firecrawl.

tavilyScraperOptions

Các khóa con:

Ví dụ:

webSearch:
  searchProvider: tavily
  scraperProvider: tavily
  tavilyApiKey: "${TAVILY_API_KEY}"
  # Optional: custom Tavily-compatible endpoints
  # tavilySearchUrl: "${TAVILY_SEARCH_URL}"
  # tavilyExtractUrl: "${TAVILY_EXTRACT_URL}"
  tavilySearchOptions:
    searchDepth: basic
    maxResults: 5
    topic: general
  tavilyScraperOptions:
    extractDepth: basic

Lưu ý: Để biết thông tin chi tiết về các tùy chọn Tavily API, hãy xem Tavily API Documentation.

Rerankers

jinaApiKey

Lưu ý: Lấy API key của bạn từ Jina.ai

jinaApiUrl

Lưu ý: Đây là tùy chọn và chỉ cần thiết nếu bạn đang sử dụng một instance Jina tùy chỉnh.

cohereApiKey

Lưu ý: Lấy API key của bạn từ Cohere Dashboard

rerankerType

Cài đặt chung

scraperTimeout

safeSearch

Lưu ý: Các cấp độ tìm kiếm an toàn tuân theo các quy ước API tìm kiếm tiêu chuẩn. Bộ lọc MODERATE được bật theo mặc định để cung cấp khả năng lọc nội dung hợp lý trong khi vẫn duy trì hiệu quả tìm kiếm. Tavily không kế thừa cài đặt toàn cục này theo mặc định; chỉ sử dụng tavilySearchOptions.safeSearch nếu tài khoản Tavily của bạn hỗ trợ safe_search.

Ghi chú

• Các API keys có thể được cấu hình theo hai cách:
  1. Thiết lập các biến môi trường được chỉ định trong cấu hình YAML
  2. Nếu các biến môi trường không được thiết lập, người dùng sẽ được nhắc cung cấp các khóa API thông qua giao diện người dùng (UI).
• Cấu hình hỗ trợ nhiều dịch vụ cho mỗi thành phần (providers, scrapers, rerankers)
• Nếu một loại dịch vụ cụ thể không được chỉ định, hệ thống sẽ thử tất cả các dịch vụ khả dụng trong danh mục đó
• Safe search cung cấp ba cấp độ lọc nội dung: OFF (0), MODERATE (1) và STRICT (2)
• Tavily không kế thừa cài đặt tìm kiếm an toàn (safe search) toàn cục theo mặc định; hãy đặt tavilySearchOptions.safeSearch một cách rõ ràng chỉ khi tài khoản Tavily của bạn hỗ trợ safe_search
• Không bao giờ đặt các API key thực tế vào cấu hình YAML - chỉ sử dụng tên biến môi trường

Thiết lập SearXNG

SearXNG là một công cụ tìm kiếm meta tập trung vào quyền riêng tư mà bạn có thể tự lưu trữ (self-host). Để biết thêm thông tin, hãy xem tài liệu chính thức của SearXNG.

Dưới đây là các bước để thiết lập instance SearXNG của riêng bạn để sử dụng với LibreChat:

Sử dụng Docker Desktop

1. Tìm kiếm image SearXNG chính thức

   • Mở Docker Desktop
   • Tìm kiếm searxng/searxng trong tab Images
   • Nhấp vào Run trên image chính thức để tự động tải xuống và chạy một container của image đó

2. Chạy container

   • Mở rộng menu thả xuống Optional Settings trong bảng điều khiển xuất hiện sau khi quá trình tải xuống hoàn tất.
   • Thiết lập các chi tiết cấu hình mong muốn của bạn (số cổng, tên container, v.v.)
   • Nhấp vào Run để khởi chạy container

3. Cấu hình SearXNG cho LibreChat

   • Điều hướng đến tab Files trong Docker Desktop
   • Đi đến /etc/searxng/settings.yaml
   • Mở trình chỉnh sửa tệp
   • Điều hướng đến phần formats
   • Thêm json làm định dạng chấp nhận được để LibreChat có thể giao tiếp với instance của bạn
   • Lưu tệp

4. Khởi động lại container

   • Khởi động lại container để các thay đổi có hiệu lực

Hướng dẫn bằng video:

Dưới đây là video hướng dẫn bạn thực hiện quy trình từ đầu đến cuối trong khoảng một phút:

Lưu ý: Trong ví dụ này, URL của instance là http://localhost:55011 (số cổng được tìm thấy bên dưới tên container ở góc trên cùng bên trái vào cuối video)

Cấu hình LibreChat để sử dụng SearXNG

Bạn có thể cấu hình SearXNG trong LibreChat thông qua giao diện người dùng hoặc thông qua librechat.yaml.

Cấu hình giao diện (UI)

1. Mở menu thả xuống công cụ trong thanh nhập liệu trò chuyện

2. Nhấp vào biểu tượng bánh răng bên cạnh Web Search

3. Chọn SearXNG từ menu thả xuống Search Provider

4. Nhập chi tiết cấu hình của bạn (ví dụ: URL instance, loại scraper, v.v.) và nhấp vào lưu

5. Nhấp vào tùy chọn Web Search trong menu thả xuống công cụ

6. Huy hiệu Web Search hiện đã được kích hoạt, nghĩa là các truy vấn của bạn giờ đây có thể sử dụng chức năng tìm kiếm trên web