RAG API

RAG API, kullanıcı tarafından yüklenen dosyaları indeksler ve istemlerinizi zenginleştirmek için ilgili pasajları getirerek LibreChat'in belgelerinize dayalı, bağlama duyarlı yanıtlar vermesini sağlar. PostgreSQL + pgvector veritabanı tarafından desteklenen ayrı bir FastAPI servisi olarak çalışır.

Kullanılabilirlik

RAG, Agents ile ve ayrıca Custom Endpoints, OpenAI, Azure OpenAI, Anthropic ve Google ile çalışır.

OpenAI Assistants, "Retrieval" (Geri Getirme) yeteneği aracılığıyla kendi RAG uygulamalarına sahiptir (ayrıntılar burada). OpenAI hem dosya depolama hem de Retrieval için ücret talep ettiğinden, RAG API'sini Assistants API ile kullanmak yine de değerlidir. Bu entegrasyon gelecekteki bir güncelleme için planlanmıştır.

Docker ile Hızlı Başlangıç

Docker için RAG API, hem varsayılan docker-compose.yml hem de deploy-compose.yml dosyalarında, RAG_API_URL değeri de dahil olmak üzere halihazırda yapılandırılmıştır. Sadece en güncel imajı ve compose dosyalarını çalıştırdığınızdan emin olmanız yeterlidir. Nasıl güncelleyeceğinizden emin değilseniz Docker için LibreChat'i Güncelleme kılavuzuna bakın.

Kullanmak istediğiniz embeddings sağlayıcısını seçin.

RAG_API_URL=http://host.docker.internal:8000

RAG_OPENAI_API_KEY=sk-your-openai-api-key-example

docker compose up -d

RAG_API_URL=http://host.docker.internal:8000
EMBEDDINGS_PROVIDER=huggingface
HF_TOKEN=hf_xxxxxxxxxxxxxxxxxxxxxxx

version: '3.4'

services:
  rag_api:
    image: registry.librechat.ai/danny-avila/librechat-rag-api-dev:latest

docker compose up -d

RAG_API_URL=http://host.docker.internal:8000
EMBEDDINGS_PROVIDER=ollama
OLLAMA_BASE_URL=http://host.docker.internal:11434
EMBEDDINGS_MODEL=nomic-embed-text

version: '3.4'

services:
  rag_api:
    image: registry.librechat.ai/danny-avila/librechat-rag-api-dev:latest
    # If running on Linux
    # extra_hosts:
    #   - "host.docker.internal:host-gateway"

docker compose up -d

Lite ve tam sürüm imajı

Docker, varsayılan olarak yalnızca OpenAI'dan veya yapılandırdığınız uzak bir HuggingFace/Ollama hizmetinden gelen uzak yerleştirmeleri (embeddings) destekleyen RAG API'nin "lite" imajını (registry.librechat.ai/danny-avila/librechat-rag-api-dev-lite:latest) kullanır.

Yerel embedding'ler için, compose dosyasındaki imajı tam yapılandırma olan registry.librechat.ai/danny-avila/librechat-rag-api-dev:latest ile değiştirin. Bu değişikliği Docker Compose Geçersiz Kılma Dosyanızda yapın. Bir örnek için projenin kök dizinindeki docker-compose.override.yml.example dosyasına bakın.

Yalnızca PostgreSQL + pgvector veritabanını ve Python API'sini içeren bir compose dosyası istiyorsanız, projenin kök dizinindeki rag.yml dosyasına bakın.

Veritabanı depolama

Varsayılan compose dosyaları, pgvector/PostgreSQL verilerini Docker tarafından yönetilen pgdata2 biriminde (volume) saklar. Bu kasıtlı bir durumdur: veritabanı dosyalarının doğrudan ana bilgisayardan (host) düzenlenmesine gerek yoktur ve yönetilen bir birim, yaygın sahiplik ve izin sorunlarını önler. Kullanıcıya dönük, düzenlenebilir dosyalar (yüklemeler, günlükler, görseller, MongoDB verileri ve NGINX yapılandırması), doğrudan ana bilgisayar erişiminin yararlı olduğu proje klasörlerine bind-mount yöntemiyle bağlanır.

Yerel Kurulum

Konteyner dışı bir kurulum daha fazla manuel işlem gerektirir. RAG API repo içindeki talimatları izleyin.

LibreChat .env dosyanızdaki RAG_API_URL değerini, API'nin kurulumunuzdan erişilebilir olduğu yere ayarlayın. Bu, değerin varsayılan docker-compose.yml dosyasında zaten ayarlı olduğu Docker'dan farklıdır.

Yapılandırma

RAG API seçeneklerini, API tarafından erişilebilen bir .env dosyasındaki ortam değişkenleri aracılığıyla ayarlayın. Seçtiğiniz sağlayıcı tarafından gerekli görülen kimlik bilgileri ve yollar dışında çoğu seçenek isteğe bağlıdır. Varsayılan kurulumda yalnızca RAG_OPENAI_API_KEY gereklidir.

Ortam Değişkenleri

Değişkenlerin ve açıklamalarının tam listesi için RAG API repo sayfasına bakın.

Kullanım

RAG API çalışmaya başladığında, LibreChat ile otomatik olarak entegre olur. Bir kullanıcı bir konuşmaya dosya yüklediğinde, API bunları indeksler ve bağlama duyarlı yanıtlar için kullanır.

Sorun Giderme

RAG API'sini kurarken veya kullanırken sorunlarla karşılaşırsanız:

• .env dosyanızda gerekli tüm ortam değişkenlerinin doğru şekilde ayarlandığından emin olun.
• Vektör veritabanının yapılandırıldığından ve erişilebilir olduğundan emin olun.
• OpenAI API anahtarının veya diğer sağlayıcı kimlik bilgilerinin geçerli olduğunu doğrulayın.
• Hatalar veya uyarılar için hem LibreChat hem de RAG API günlüklerini kontrol edin.

Sorun devam ederse, RAG API dokümantasyonuna başvurun veya GitHub Discussions ya da Discord üzerindeki LibreChat topluluğuna sorun.