웹 검색 설정

webSearch 구성을 통해 LibreChat 내의 웹 검색 기능을 사용자 정의할 수 있으며, 여기에는 검색 제공자, 콘텐츠 스크레이퍼, 결과 리랭커가 포함됩니다.

개요

웹 검색 기능은 세 가지 주요 구성 요소로 이루어져 있습니다:

1. Search Providers: 초기 웹 검색을 수행하는 서비스
2. Scrapers: 웹 페이지에서 콘텐츠를 추출하는 서비스
3. Rerankers: 검색 결과를 더 높은 관련성으로 재정렬하는 서비스

예시

webSearch:
  # Search Provider Configuration
  serperApiKey: "${SERPER_API_KEY}"
  searxngInstanceUrl: "${SEARXNG_INSTANCE_URL}"
  searxngApiKey: "${SEARXNG_API_KEY}"
  searchProvider: "serper" # Options: "serper", "searxng", "tavily"

  # Tavily Configuration (search and/or scraper)
  tavilyApiKey: "${TAVILY_API_KEY}"
  # Optional: custom Tavily-compatible endpoints
  tavilySearchUrl: "${TAVILY_SEARCH_URL}"
  tavilyExtractUrl: "${TAVILY_EXTRACT_URL}"

  # Scraper Configuration
  firecrawlApiKey: "${FIRECRAWL_API_KEY}"
  firecrawlApiUrl: "${FIRECRAWL_API_URL}"
  firecrawlVersion: "${FIRECRAWL_VERSION}"
  scraperProvider: "firecrawl" # Options: "firecrawl", "serper", "tavily"

  # Reranker Configuration
  jinaApiKey: "${JINA_API_KEY}"
  jinaApiUrl: "${JINA_API_URL}"
  cohereApiKey: "${COHERE_API_KEY}"
  rerankerType: "jina" # Options: "jina", "cohere", "none"

  # General Settings
  scraperTimeout: 7500 # Timeout in milliseconds for scraper requests (default: 7500)
  safeSearch: 1 # Options: 0 (OFF), 1 (MODERATE - default), 2 (STRICT)

검색 제공자 (Search Providers)

searchProvider

serperApiKey

참고: Serper.dev에서 API 키를 받으세요.

searxngInstanceUrl

searxngApiKey

참고: 이는 선택 사항이며, 사용 중인 SearXNG 인스턴스에 인증이 필요한 경우에만 필요합니다.

tavilyApiKey

참고: Tavily에서 API 키를 받으세요.

tavilySearchUrl

tavilyExtractUrl

tavilySearchOptions

하위 키(Subkeys):

Scrapers

firecrawlApiKey

참고: Firecrawl.dev에서 API 키를 받으세요.

firecrawlApiUrl

참고: 이는 선택 사항이며, 사용자 지정 Firecrawl 인스턴스를 사용하는 경우에만 필요합니다.

firecrawlVersion

scraperProvider

firecrawlOptions

하위 키(Subkeys):

formats

includeTags

excludeTags

headers

waitFor

timeout

maxAge

참고: 매우 최신 데이터가 필요하지 않은 경우, 이 기능을 활성화하면 스크래핑 속도를 500%까지 높일 수 있습니다.

mobile

skipTlsVerification

blockAds

removeBase64Images

parsePDF

storeInCache

zeroDataRetention

location

onlyMainContent

changeTrackingOptions

예시:

webSearch:
  firecrawlApiKey: "${FIRECRAWL_API_KEY}"
  firecrawlOptions:
    formats: ["markdown", "rawHtml"]
    includeTags: ["main", "article", ".content"]
    excludeTags: ["nav", "footer", ".ads"]
    waitFor: 2000
    timeout: 10000
    mobile: false
    blockAds: true
    onlyMainContent: true
    location:
      country: "US"
      languages: ["en"]

참고: Firecrawl 스크레이퍼 옵션 및 기본값에 대한 자세한 정보는 Firecrawl API Documentation을 참조하세요.

tavilyScraperOptions

하위 키(Subkeys):

예시:

webSearch:
  searchProvider: tavily
  scraperProvider: tavily
  tavilyApiKey: "${TAVILY_API_KEY}"
  # Optional: custom Tavily-compatible endpoints
  # tavilySearchUrl: "${TAVILY_SEARCH_URL}"
  # tavilyExtractUrl: "${TAVILY_EXTRACT_URL}"
  tavilySearchOptions:
    searchDepth: basic
    maxResults: 5
    topic: general
  tavilyScraperOptions:
    extractDepth: basic

참고: Tavily API 옵션에 대한 자세한 내용은 Tavily API Documentation을 참조하세요.

Rerankers

jinaApiKey

참고: Jina.ai에서 API 키를 받으세요.

jinaApiUrl

참고: 이는 선택 사항이며 사용자 지정 Jina 인스턴스를 사용하는 경우에만 필요합니다.

cohereApiKey

참고: Cohere Dashboard에서 API 키를 받으세요.

rerankerType

일반 설정

scraperTimeout

safeSearch

참고: 세이프 서치(Safe search) 수준은 표준 검색 API 규칙을 따릅니다. MODERATE 필터링은 기본적으로 활성화되어 있어 검색 효율성을 유지하면서 적절한 콘텐츠 필터링을 제공합니다. Tavily는 기본적으로 이 전역 설정을 상속하지 않으므로, Tavily 계정이 safe_search를 지원하는 경우에만 tavilySearchOptions.safeSearch를 사용하세요.

참고 사항

• API 키는 두 가지 방법으로 구성할 수 있습니다:
  1. YAML 구성에 지정된 환경 변수를 설정합니다.
  2. 환경 변수가 설정되어 있지 않으면, 사용자는 UI를 통해 API 키를 입력하라는 메시지를 받게 됩니다.
• 이 구성은 각 구성 요소(providers, scrapers, rerankers)에 대해 다중 서비스를 지원합니다.
• 특정 서비스 유형이 지정되지 않은 경우, 시스템은 해당 카테고리에 있는 모든 사용 가능한 서비스를 시도합니다.
• Safe search는 세 가지 수준의 콘텐츠 필터링을 제공합니다: OFF (0), MODERATE (1), STRICT (2)
• Tavily는 기본적으로 전역 세이프 서치 설정을 상속하지 않습니다. Tavily 계정이 safe_search를 지원하는 경우에만 tavilySearchOptions.safeSearch를 명시적으로 설정하십시오.
• 실제 API 키를 YAML 구성에 절대 넣지 마십시오. 환경 변수 이름만 사용해야 합니다.

SearXNG 설정하기

SearXNG는 직접 호스팅할 수 있는 개인정보 보호 중심의 메타 검색 엔진입니다. 더 자세한 정보는 공식 SearXNG 문서를 참조하세요.

LibreChat에서 사용할 나만의 SearXNG 인스턴스를 설정하는 단계는 다음과 같습니다:

Docker Desktop 사용하기

1. 공식 SearXNG 이미지 검색

   • Docker Desktop 열기
   • Images 탭에서 searxng/searxng를 검색하세요.
   • 공식 이미지에서 Run을 클릭하여 해당 이미지의 컨테이너를 자동으로 가져오고 실행하세요.

2. 컨테이너 실행하기

   • 다운로드가 완료된 후 나타나는 진행 패널에서 Optional Settings 드롭다운을 확장하세요.
   • 원하는 구성 세부 정보(포트 번호, 컨테이너 이름 등)를 설정하세요.
   • Run을 클릭하여 컨테이너를 시작하세요

3. LibreChat용 SearXNG 구성

   • Docker Desktop의 Files 탭으로 이동합니다.
   • /etc/searxng/settings.yaml로 이동하세요.
   • 파일 편집기 열기
   • formats 섹션으로 이동하세요
   • json을 허용되는 형식으로 추가하여 LibreChat이 귀하의 인스턴스와 통신할 수 있도록 하십시오.
   • 파일을 저장하세요

4. 컨테이너 재시작

   • 변경 사항을 적용하려면 컨테이너를 다시 시작하세요.

동영상 가이드:

약 1분 만에 처음부터 끝까지 과정을 안내하는 영상입니다:

참고: 이 예시에서 인스턴스 URL은 http://localhost:55011 입니다(포트 번호는 영상 왼쪽 상단 컨테이너 이름 끝에서 확인할 수 있습니다).

LibreChat에서 SearXNG를 사용하도록 구성하기

LibreChat 내의 UI 또는 librechat.yaml을 통해 SearXNG를 구성할 수 있습니다.

UI 구성

1. 채팅 입력 바에서 도구 드롭다운을 엽니다

2. Web Search 옆의 톱니바퀴 아이콘을 클릭하세요

3. 검색 제공자(Search Provider) 드롭다운에서 SearXNG를 선택하세요

4. 구성 세부 정보(예: 인스턴스 URL, 스크레이퍼 유형 등)를 입력하고 저장을 클릭하세요.

5. 도구 드롭다운에서 Web Search 옵션을 클릭하세요

6. 이제 웹 검색 배지가 활성화되어 쿼리에서 웹 검색 기능을 사용할 수 있게 되었습니다.