LibreChat is joining ClickHouse to power the open-source Agentic Data Stack 🎉 Learn more
LibreChat
FiturPencarian Web

Pencarian Web

Fitur pencarian web LibreChat memungkinkan Anda untuk mencari di internet dan mengambil informasi yang relevan untuk meningkatkan percakapan Anda. Fitur ini terdiri dari tiga komponen utama yang bekerja bersama untuk memberikan hasil pencarian yang komprehensif.

Memulai Cepat

Untuk memulai dengan pencarian web, Anda perlu mengonfigurasi kunci API untuk penyedia pencarian dan scraper. Reranking dapat menggunakan Jina atau Cohere, atau dinonaktifkan dengan rerankerType: "none". Anda dapat melakukan ini dengan dua cara:

  1. Variabel Lingkungan (Direkomendasikan untuk admin):

    # Search Provider (Required - choose one)
SERPER_API_KEY=your_serper_api_key
# or
SEARXNG_INSTANCE_URL=your_searxng_instance_url
SEARXNG_API_KEY=your_searxng_api_key  # Optional
# or
TAVILY_API_KEY=your_tavily_api_key

# Scraper (Required - choose one)
FIRECRAWL_API_KEY=your_firecrawl_api_key
# Optional: Custom Firecrawl API URL
FIRECRAWL_API_URL=your_firecrawl_api_url
# Optional: Firecrawl API version (v0 or v1)
# FIRECRAWL_VERSION=v1
# or
TAVILY_API_KEY=your_tavily_api_key

# Reranker (Optional - choose one, or set rerankerType: "none")
JINA_API_KEY=your_jina_api_key
# Optional: Custom Jina API URL
JINA_API_URL=your_jina_api_url
# or
COHERE_API_KEY=your_cohere_api_key

  2. Antarmuka Pengguna (Jika variabel lingkungan tidak diatur):

    • Pengguna akan diminta untuk memasukkan kunci API yang diperlukan saat mereka pertama kali menggunakan fitur pencarian web.
    • Mereka dapat memilih penyedia pencarian (Serper, SearXNG, atau Tavily) dan layanan reranker mana yang akan digunakan (Jina, Cohere, atau tidak sama sekali)

Mendapatkan API Keys

Setiap layanan eksternal yang diaktifkan memerlukan kunci API-nya sendiri. Berikut cara mendapatkannya:

Penyedia Pencarian

Serper

  1. Kunjungi Serper.dev
  2. Daftar untuk sebuah akun
  3. Buka bagian API Key
  4. Salin kunci API Anda
  5. Atur di variabel lingkungan Anda atau sediakan melalui UI

SearXNG

  1. Ikuti petunjuk pengaturan dalam dokumentasi Web Search Configuration
  2. Atur SEARXNG_INSTANCE_URL ke URL instance Anda
  3. Secara opsional, atur SEARXNG_API_KEY jika instance Anda memerlukan autentikasi

Tavily

  1. Kunjungi Tavily
  2. Daftar untuk sebuah akun
  3. Salin kunci API Anda
  4. Atur TAVILY_API_KEY di variabel lingkungan Anda atau sediakan melalui UI
  5. Tavily dapat digunakan baik sebagai penyedia pencarian maupun penyedia scraper

Scraper: Firecrawl

  1. Kunjungi Firecrawl.dev
  2. Daftar untuk sebuah akun
  3. Buka bagian API Key
  4. Salin kunci API Anda
  5. Atur di variabel lingkungan Anda atau sediakan melalui UI
  6. (Opsional) Jika Anda menggunakan instance Firecrawl kustom, Anda juga perlu mengatur API URL

Rerankers

Jina

  1. Kunjungi Jina.ai
  2. Daftar untuk sebuah akun
  3. Buka Dasbor API
  4. Salin kunci API Anda
  5. Atur di variabel lingkungan Anda atau sediakan melalui UI

Cohere

  1. Kunjungi Cohere Dashboard
  2. Daftar untuk sebuah akun
  3. Navigasikan ke bagian API Keys
  4. Salin kunci API Anda
  5. Atur di variabel lingkungan Anda atau sediakan melalui UI

Komponen

1. Penyedia Pencarian

Penyedia pencarian bertanggung jawab untuk melakukan pencarian web awal dan mengembalikan hasil yang relevan.

Penyedia yang Tersedia:

  • Serper: API Google Search yang menyediakan hasil pencarian berkualitas tinggi
  • SearXNG: Mesin pencari meta sumber terbuka yang di-host sendiri
    • Self-host instance Anda sendiri
    • Hasil pencarian yang mengutamakan privasi
  • Tavily: API pencarian yang dioptimalkan untuk AI
    • Dapatkan kunci API Anda dari Tavily
    • Mendukung kedalaman pencarian yang dapat dikonfigurasi, penyaringan topik, penyaringan domain, dan banyak lagi
    • Juga dapat berfungsi sebagai penyedia scraper

2. Scrapers

Scrapers mengekstrak konten aktual dari halaman web yang dikembalikan oleh penyedia pencarian.

Scraper yang Tersedia:

  • Firecrawl: Layanan web scraping canggih yang mengekstrak konten dari halaman web

    • Dapatkan kunci API Anda dari Firecrawl.dev
    • URL API bersifat opsional (defaultnya adalah layanan yang dihosting oleh Firecrawl)

  • Tavily: Ekstraksi URL batch melalui Tavily Extract API

    • Menggunakan TAVILY_API_KEY yang sama dengan penyedia pencarian
    • Mendukung kedalaman ekstraksi yang dapat dikonfigurasi, ekstraksi gambar, dan ekstraksi favicon

Scraper yang Direncanakan:

  • Local Firecrawl: Versi self-hosted dari Firecrawl
  • Layanan scraping pihak ketiga tambahan

3. Rerankers

Rerankers menganalisis konten yang telah dikikis untuk menentukan bagian yang paling relevan dan menyusunnya kembali demi hasil yang lebih baik.

Reranker yang Tersedia:

  • Jina: Layanan reranking berbasis AI
    • Dapatkan kunci API Anda dari Jina.ai
    • API URL bersifat opsional (defaultnya adalah layanan yang dihosting oleh Jina)
  • Cohere: Layanan pemeringkatan ulang (reranking) tingkat lanjut
  • None: Melewati proses reranking saat rerankerType diatur ke "none"

Reranker yang Direncanakan:

  • RAG API: Reranking sumber terbuka menggunakan RAG (Retrieval-Augmented Generation)
  • Layanan reranking pihak ketiga tambahan

Konfigurasi

Konfigurasi Admin

Admin dapat mengonfigurasi fitur pencarian web menggunakan variabel lingkungan. Konfigurasi YAML memungkinkan Anda untuk menentukan nama variabel lingkungan kustom untuk setiap komponen.

⚠️ Penting: Jangan pernah memasukkan kunci API atau nilai yang sebenarnya ke dalam file YAML (kunci tersebut tidak akan berfungsi)—hanya gunakan nama variabel lingkungan.

webSearch:
  # Search Provider Configuration
  serperApiKey: "${CUSTOM_SERPER_API_KEY}"  # ✅ Correct: Using environment variable name
  # serperApiKey: "sk-123..."               # ❌ Wrong: Never put actual API keys here
  # or
  searxngInstanceUrl: "${CUSTOM_SEARXNG_INSTANCE_URL}"  # ✅ Correct: Using environment variable name
  searxngApiKey: "${CUSTOM_SEARXNG_API_KEY}"            # ✅ Correct: Using environment variable name
  # searxngInstanceUrl: "http://..."        # ❌ Wrong: Never put actual URLs here
  # searxngApiKey: "sk-123..."              # ❌ Wrong: Never put actual API keys here

  # Tavily Configuration (search and/or scraper)
  tavilyApiKey: "${CUSTOM_TAVILY_API_KEY}"
  tavilySearchUrl: "${CUSTOM_TAVILY_SEARCH_URL}"
  tavilyExtractUrl: "${CUSTOM_TAVILY_EXTRACT_URL}"

  # Scraper Configuration
  firecrawlApiKey: "${CUSTOM_FIRECRAWL_API_KEY}"
  firecrawlApiUrl: "${CUSTOM_FIRECRAWL_API_URL}"
  # firecrawlApiKey: "fc-123..."            # ❌ Wrong: Never put actual API keys here
  # firecrawlApiUrl: "https://..."          # ❌ Wrong: Never put actual URLs here

  # Reranker Configuration
  jinaApiKey: "${CUSTOM_JINA_API_KEY}"
  jinaApiUrl: "${CUSTOM_JINA_API_URL}"
  cohereApiKey: "${CUSTOM_COHERE_API_KEY}"
  # jinaApiKey: "jn-123..."                 # ❌ Wrong: Never put actual API keys here
  # jinaApiUrl: "https://..."               # ❌ Wrong: Never put actual URLs here
  # cohereApiKey: "ch-123..."               # ❌ Wrong: Never put actual API keys here

  # General Settings
  safeSearch: 1 # Options: 0 (OFF), 1 (MODERATE - default), 2 (STRICT)

Catatan: Konfigurasi YAML hanya boleh berisi nama variabel lingkungan (dalam format ${VARIABLE_NAME}). Fleksibilitas ini memungkinkan:

  • Menggunakan nama variabel yang berbeda di lingkungan yang berbeda
  • Mendukung berbagai konfigurasi untuk kelompok pengguna yang berbeda
  • Integrasi di masa mendatang dengan konfigurasi berbasis peran

Jika Anda ingin membatasi sistem agar hanya menggunakan layanan tertentu, Anda dapat menentukan jenis layanannya:

webSearch:
  # ... variable configurations ...
  searchProvider: "serper"    # Only use Serper for search
  # searchProvider: "searxng" # Only use SearXNG for search
  # searchProvider: "tavily"  # Only use Tavily for search
  scraperProvider: "firecrawl"    # Only use Firecrawl for scraping
  # scraperProvider: "tavily" # Only use Tavily for scraping
  rerankerType: "jina"        # Options: "jina", "cohere", "none"

Konfigurasi Pengguna

Jika admin belum mengonfigurasi semua kunci API yang diperlukan, pengguna akan diminta untuk menyediakannya melalui UI. Antarmuka ini memungkinkan pengguna untuk:

  1. Pilih reranker pilihan mereka (Jina, Cohere, atau tidak sama sekali)
  2. Masukkan kunci API untuk layanan yang diperlukan
  3. Konfigurasikan URL API Firecrawl jika diperlukan (opsional)
  4. Konfigurasikan URL API Jina jika diperlukan (opsional)
  5. Konfigurasikan URL API Tavily Search atau Extract jika diperlukan (opsional)

Penggunaan

Setelah dikonfigurasi, Anda dapat menggunakan pencarian web dengan dua cara:

  1. Antarmuka Obrolan: Klik tombol pencarian web di antarmuka obrolan untuk mengaktifkan pencarian web bagi percakapan Anda
  2. Agents: Gunakan kapabilitas web_search pada agents untuk memungkinkan mereka melakukan pencarian di web

Catatan

  • Konfigurasi penyedia pencarian (search provider) dan scraper diperlukan; reranking dapat dinonaktifkan dengan rerankerType: "none"
  • URL API Firecrawl bersifat opsional dan secara default menggunakan layanan yang mereka sediakan.
  • URL Jina API bersifat opsional dan secara default akan menggunakan layanan yang mereka sediakan.
  • URL API Tavily Search and Extract bersifat opsional dan secara default menggunakan layanan yang dihosting oleh Tavily
  • Safe search menyediakan tiga tingkat penyaringan konten: OFF (0), MODERATE (1 - default), dan STRICT (2)
  • Tavily tidak mewarisi pengaturan safeSearch global secara default; gunakan tavilySearchOptions.safeSearch hanya jika akun Tavily Anda mendukung safe_search
  • Batas waktu scraper diatur ke 7,5 detik (7500ms) secara default
  • API keys dapat dicabut kapan saja melalui UI
  • Pembaruan di masa mendatang akan mencakup lebih banyak opsi sumber terbuka (open-source) yang di-host sendiri (self-hosted) untuk semua komponen
  • Opsi kustomisasi tambahan sedang direncanakan, termasuk:
    • Kontrol atas jumlah tautan yang akan di-scrape
    • Daftar izin/daftar blokir domain untuk scraping
    • Aturan scraping dan filter kustom
    • Opsi pemfilteran dan pemeringkatan hasil tingkat lanjut
    • Kontrol pembatasan laju (rate limiting) dan pelambatan permintaan (request throttling)

Bagaimana panduan ini?

Edit di GitHub

API Code Interpreter

Jalankan kode dengan aman dan kelola file secara mulus dengan Code Interpreter API LibreChat

Pencarian Pesan

Cari percakapan terdahulu dengan cepat menggunakan Meilisearch yang terintegrasi di LibreChat

Di halaman ini

Memulai CepatMendapatkan API KeysPenyedia PencarianSerperSearXNGTavilyScraper: FirecrawlRerankersJinaCohereKomponen1. Penyedia Pencarian2. Scrapers3. RerankersKonfigurasiKonfigurasi AdminKonfigurasi PenggunaPenggunaanCatatan