Configuratie van webzoekopdrachten

De webSearch configuratie stelt je in staat om de webzoekfunctionaliteit binnen LibreChat aan te passen, inclusief zoekproviders, content scrapers en resultaat-rerankers.

Overzicht

De webzoekfunctie bestaat uit drie hoofdcomponenten:

1. Zoekproviders: Services die de initiële zoekopdracht op het web uitvoeren
2. Scrapers: Services die inhoud van webpagina's extraheren
3. Rerankers: Services die zoekresultaten opnieuw rangschikken voor een betere relevantie

Voorbeeld

webSearch:
  # Search Provider Configuration
  serperApiKey: "${SERPER_API_KEY}"
  searxngInstanceUrl: "${SEARXNG_INSTANCE_URL}"
  searxngApiKey: "${SEARXNG_API_KEY}"
  searchProvider: "serper" # Options: "serper", "searxng", "tavily"

  # Tavily Configuration (search and/or scraper)
  tavilyApiKey: "${TAVILY_API_KEY}"
  # Optional: custom Tavily-compatible endpoints
  tavilySearchUrl: "${TAVILY_SEARCH_URL}"
  tavilyExtractUrl: "${TAVILY_EXTRACT_URL}"

  # Scraper Configuration
  firecrawlApiKey: "${FIRECRAWL_API_KEY}"
  firecrawlApiUrl: "${FIRECRAWL_API_URL}"
  firecrawlVersion: "${FIRECRAWL_VERSION}"
  scraperProvider: "firecrawl" # Options: "firecrawl", "serper", "tavily"

  # Reranker Configuration
  jinaApiKey: "${JINA_API_KEY}"
  jinaApiUrl: "${JINA_API_URL}"
  cohereApiKey: "${COHERE_API_KEY}"
  rerankerType: "jina" # Options: "jina", "cohere", "none"

  # General Settings
  scraperTimeout: 7500 # Timeout in milliseconds for scraper requests (default: 7500)
  safeSearch: 1 # Options: 0 (OFF), 1 (MODERATE - default), 2 (STRICT)

Zoekproviders

searchProvider

serperApiKey

Let op: Haal je API-sleutel op via Serper.dev

searxngInstanceUrl

searxngApiKey

Let op: Dit is optioneel en alleen nodig als jouw SearXNG-instantie authenticatie vereist.

tavilyApiKey

Let op: Haal je API-sleutel op bij Tavily

tavilySearchUrl

tavilyExtractUrl

tavilySearchOptions

Subkeys:

Scrapers

firecrawlApiKey

Let op: Haal je API-sleutel op bij Firecrawl.dev

firecrawlApiUrl

Let op: Dit is optioneel en alleen nodig als je een aangepaste Firecrawl-instantie gebruikt.

firecrawlVersion

scraperProvider

firecrawlOptions

Subkeys:

formats

includeTags

excludeTags

headers

waitFor

timeout

maxAge

Let op: Als je geen extreem actuele gegevens nodig hebt, kan het inschakelen hiervan je scrapes met 500% versnellen.

mobile

skipTlsVerification

blockAds

removeBase64Images

parsePDF

storeInCache

zeroDataRetention

location

onlyMainContent

changeTrackingOptions

Voorbeeld:

webSearch:
  firecrawlApiKey: "${FIRECRAWL_API_KEY}"
  firecrawlOptions:
    formats: ["markdown", "rawHtml"]
    includeTags: ["main", "article", ".content"]
    excludeTags: ["nav", "footer", ".ads"]
    waitFor: 2000
    timeout: 10000
    mobile: false
    blockAds: true
    onlyMainContent: true
    location:
      country: "US"
      languages: ["en"]

Let op: Voor gedetailleerde informatie over de opties en standaardinstellingen van de Firecrawl-scraper, zie de Firecrawl API Documentation.

tavilyScraperOptions

Subkeys:

Voorbeeld:

webSearch:
  searchProvider: tavily
  scraperProvider: tavily
  tavilyApiKey: "${TAVILY_API_KEY}"
  # Optional: custom Tavily-compatible endpoints
  # tavilySearchUrl: "${TAVILY_SEARCH_URL}"
  # tavilyExtractUrl: "${TAVILY_EXTRACT_URL}"
  tavilySearchOptions:
    searchDepth: basic
    maxResults: 5
    topic: general
  tavilyScraperOptions:
    extractDepth: basic

Let op: Voor gedetailleerde informatie over Tavily API-opties, zie de Tavily API Documentation.

Rerankers

jinaApiKey

Let op: Haal je API-sleutel op via Jina.ai

jinaApiUrl

Let op: Dit is optioneel en alleen nodig als je een aangepaste Jina-instantie gebruikt.

cohereApiKey

Let op: Haal je API-sleutel op via het Cohere Dashboard

rerankerType

Algemene instellingen

scraperTimeout

safeSearch

Let op: Safe search-niveaus komen overeen met de standaard conventies van de search API. MODERATE filtering is standaard ingeschakeld om redelijke inhoudsfiltering te bieden met behoud van zoekeffectiviteit. Tavily neemt deze globale instelling standaard niet over; gebruik tavilySearchOptions.safeSearch alleen als uw Tavily-account safe_search ondersteunt.

Opmerkingen

• API keys kunnen op twee manieren worden geconfigureerd:
  1. Stel de omgevingsvariabelen in die zijn opgegeven in de YAML-configuratie
  2. Als omgevingsvariabelen niet zijn ingesteld, worden gebruikers gevraagd om de API-sleutels via de UI op te geven.
• De configuratie ondersteunt meerdere services voor elk onderdeel (providers, scrapers, rerankers)
• Als er geen specifiek servicetype is opgegeven, zal het systeem alle beschikbare services in die categorie proberen.
• Safe search biedt drie niveaus van inhoudsfiltering: OFF (0), MODERATE (1) en STRICT (2)
• Tavily neemt de globale instelling voor veilig zoeken niet standaard over; stel tavilySearchOptions.safeSearch alleen expliciet in wanneer uw Tavily-account safe_search ondersteunt.
• Plaats nooit echte API-sleutels in de YAML-configuratie - gebruik alleen omgevingsvariabelenamen

SearXNG instellen

SearXNG is een privacygerichte metazoekmachine die je zelf kunt hosten. Voor meer informatie, zie de officiële SearXNG-documentatie.

Hier zijn de stappen om je eigen SearXNG-instantie in te stellen voor gebruik met LibreChat:

Docker Desktop gebruiken

1. Zoek naar de officiële SearXNG-image

   • Open Docker Desktop
   • Zoek naar searxng/searxng in het tabblad Images
   • Klik op Run bij de officiële image om automatisch een container van de image op te halen en uit te voeren.

2. De container uitvoeren

   • Vouw het Optional Settings-keuzemenu uit in het volgende paneel dat verschijnt zodra de download is voltooid.
   • Stel de gewenste configuratiegegevens in (poortnummer, containernaam, enz.)
   • Klik op Run om de container te starten

3. Configureer SearXNG voor LibreChat

   • Navigeer naar het Files tabblad in Docker Desktop
   • Ga naar /etc/searxng/settings.yaml
   • Open de bestandseditor
   • Navigeer naar de formats sectie
   • Voeg json toe als een acceptabel formaat zodat LibreChat kan communiceren met jouw instance
   • Sla het bestand op

4. Herstart de container

   • Start de container opnieuw op om de wijzigingen door te voeren

Videogids:

Hier is een video die je in ongeveer een minuut door het hele proces leidt:

Let op: In dit voorbeeld is de instance URL http://localhost:55011 (het poortnummer is te vinden onder de containernaam linksboven aan het einde van de video)

LibreChat configureren om SearXNG te gebruiken

Je kunt SearXNG in LibreChat configureren via de UI of via librechat.yaml.

UI-configuratie

1. Open het tools-dropdownmenu in de chat-invoerbalk

2. Klik op het tandwielpictogram naast Web Search

3. Selecteer SearXNG in het vervolgkeuzemenu voor zoekproviders

4. Voer uw configuratiegegevens in (bijv. instance URL, scraper type, enz.) en klik op opslaan

5. Klik op de Web Search optie in het dropdownmenu voor tools

6. De Web Search badge zou nu ingeschakeld moeten zijn, wat betekent dat je zoekopdrachten nu gebruik kunnen maken van de webzoekfunctionaliteit