RAG API (Chatten met bestanden)

De RAG (Retrieval-Augmented Generation) API is een krachtige tool die integreert met LibreChat om contextbewuste antwoorden te bieden op basis van door de gebruiker geüploade bestanden.

Het maakt gebruik van LangChain, PostgresQL + PGVector en Python FastAPI om relevante documenten te indexeren en op te halen, wat de gesprekservaring verbetert.

Voor meer details, raadpleeg de configuratiehandleiding die hier wordt verstrekt: RAG API Configuration

---

Momenteel is deze functie beschikbaar via Agents, evenals via Custom Endpoints, OpenAI, Azure OpenAI, Anthropic en Google.

OpenAI Assistants hebben hun eigen implementatie van RAG via de "Retrieval"-functionaliteit. Lees er hier meer over.

Het zal nog steeds nuttig zijn om het gebruik van de RAG API met de Assistants API te implementeren, aangezien OpenAI kosten in rekening brengt voor zowel bestandsopslag als het gebruik van "Retrieval", en dit zal in een toekomstige update worden geïntroduceerd.

Nog steeds verward over RAG? Lees de sectie die ik hieronder heb geschreven waarin het algemene concept in meer detail wordt uitgelegd, inclusief een link naar een behulpzame video.

Wat is RAG?

RAG, of Retrieval-Augmented Generation, is een AI-framework dat is ontworpen om de kwaliteit en nauwkeurigheid van antwoorden gegenereerd door large language models (LLM's) te verbeteren. Dit wordt bereikt door het LLM te baseren op externe kennisbronnen, wat de interne informatievoorstelling van het model aanvult.

Kenmerken

• Document Indexing: De RAG API indexeert door gebruikers geüploade bestanden en creëert embeddings voor efficiënte opvraging.
• Semantische zoekopdracht: Het voert een semantische zoekopdracht uit over de geïndexeerde documenten om de meest relevante informatie te vinden op basis van de invoer van de gebruiker.
• Context-Aware Responses: Door de prompt van de gebruiker aan te vullen met opgehaalde informatie, stelt de API LibreChat in staat om nauwkeurigere en contextueel relevante antwoorden te genereren.
• Asynchrone verwerking: De API ondersteunt asynchrone operaties voor verbeterde prestaties en schaalbaarheid.
• Flexibele configuratie: Het staat aanpassing toe van verschillende parameters zoals chunk size, overlap en embedding models.

Belangrijkste voordelen van RAG

1. Toegang tot actuele en betrouwbare feiten: RAG zorgt ervoor dat de LLM toegang heeft tot de meest actuele en betrouwbare informatie door relevante feiten op te halen uit een externe kennisbank.
2. Transparantie en vertrouwen: Gebruikers hebben toegang tot de bronnen van het model, waardoor ze de nauwkeurigheid van de gegenereerde antwoorden kunnen verifiëren en vertrouwen in het systeem kunnen opbouwen.
3. Minder datalekken en hallucinaties: Door het LLM te baseren op een set externe, verifieerbare feiten, verkleint RAG de kans dat het model gevoelige gegevens lekt of onjuiste of misleidende informatie genereert.
4. Lagere computationele en financiële kosten: RAG vermindert de noodzaak voor continue training en het bijwerken van de parameters van het model, wat de computationele en financiële kosten voor het draaien van LLM-gestuurde chatbots in een bedrijfsomgeving potentieel verlaagt.

Hoe RAG werkt

RAG bestaat uit twee hoofdfasen: retrieval en content generation.

1. Retrieval Phase: Algoritmen zoeken naar en halen fragmenten van informatie op die relevant zijn voor de prompt of vraag van de gebruiker uit een externe kennisbank. In een open-domein, consumentgerichte omgeving kunnen deze feiten afkomstig zijn van geïndexeerde documenten op het internet. In een closed-domein, zakelijke omgeving wordt doorgaans een beperktere set bronnen gebruikt voor extra beveiliging en betrouwbaarheid.
2. Generative fase: De opgehaalde externe kennis wordt toegevoegd aan de prompt van de gebruiker en doorgegeven aan de LLM. De LLM put vervolgens uit de aangevulde prompt en zijn interne representatie van zijn trainingsdata om een op maat gemaakt, boeiend antwoord voor de gebruiker te synthetiseren. Het antwoord kan worden doorgegeven aan een chatbot met links naar de bronnen.

Uitdagingen en lopend onderzoek

Hoewel RAG momenteel een van de bekendste tools is om LLM's te baseren op de nieuwste, verifieerbare informatie en de kosten van constante hertraining en updates te verlagen, is het niet perfect. Enkele uitdagingen zijn onder meer:

1. Onbeantwoorde vragen herkennen: LLM's moeten expliciet worden getraind om vragen te herkennen die ze niet kunnen beantwoorden op basis van de beschikbare informatie. Dit kan het finetunen op duizenden voorbeelden van beantwoordbare en onbeantwoordbare vragen vereisen.
2. Verbetering van retrieval en generatie: Lopend onderzoek richt zich op innovatie aan beide kanten van het RAG-proces: het verbeteren van de retrieval van de meest relevante informatie om aan het LLM te voeden, en het optimaliseren van de structuur van die informatie om de rijkste antwoorden van het LLM te verkrijgen.

Samenvattend is RAG een krachtig framework dat de mogelijkheden van LLM's verbetert door ze te baseren op externe, verifieerbare kennis. Het helpt bij het garanderen van nauwkeurigere, actuele en betrouwbare antwoorden, terwijl de kosten die gepaard gaan met continue hertraining van modellen worden verlaagd. Naarmate het onderzoek op dit gebied vordert, kunnen we verdere verbeteringen verwachten in de kwaliteit en efficiëntie van door LLM aangedreven conversationele AI-systemen.

Voor een meer gedetailleerde uitleg over RAG kun je deze informatieve video van IBM op YouTube bekijken:

Conclusie

De RAG API is een krachtige toevoeging aan LibreChat, die contextbewuste antwoorden mogelijk maakt op basis van door de gebruiker geüploade bestanden. Door gebruik te maken van Langchain en FastAPI biedt het efficiënte mogelijkheden voor het indexeren, ophalen en genereren van documenten. Met zijn flexibele configuratieopties en naadloze integratie verbetert de RAG API de gesprekservaring in LibreChat.

Voor meer gedetailleerde informatie over de RAG API, inclusief API endpoints, request/response-formaten en geavanceerde configuratie, verwijzen we u naar de officiële RAG API-documentatie.