RAG zoekt de verkeerde passage: onderzoek retrieval vóór je het antwoord herschrijft

Begin met een terugvindbaar foutvoorbeeld

Bewaar de vraag, de bedoelde gebruikerscontext en de bronversie waarop de beoordeling is gebaseerd. Noteer welke passage had moeten worden gevonden en welke passages daadwerkelijk werden aangeboden. Een melding dat het antwoord slecht was, is voor een ontwikkelaar onvoldoende om te bepalen of zoeken, selectie of interpretatie het probleem veroorzaakte.

Kies een voorbeeld waarvan de inhoudelijke eigenaar de juiste bron kan aanwijzen. Als twee beoordelaars al verschillend denken over de geldige instructie, is eerst een inhoudelijk besluit nodig. Een technische zoekaanpassing mag niet stilzwijgend de redactionele keuze maken welke regel geldt. Houd ook de mogelijkheid open dat de benodigde informatie helemaal niet in de aangesloten bronnen staat.

Controleer exacte termen en betekenis afzonderlijk

Sommige vragen draaien om een productcode, een naam of een specifieke datum. Andere gebruiken een alledaagse omschrijving die niet letterlijk in het document voorkomt. Een vergelijkingsproef moet beide soorten vragen bevatten. Anders kun je een zoekontwerp kiezen dat fraaie omschrijvingen goed behandelt maar juist de herkenbare codes mist waarop medewerkers dagelijks vertrouwen.

Hybride zoekontwerpen kunnen tekst- en vectorzoekresultaten combineren. Dat is een technische mogelijkheid, geen bewijs dat de combinatie voor jouw materiaal beter presteert. Vergelijk concrete vragen met dezelfde bronselectie. Laat een verbeterde score voor algemeen geformuleerde vragen niet verbergen dat belangrijke exacte productvragen slechter worden afgehandeld dan in de bestaande zoekroute.

Microsoft Learn: Hybrid search in Azure AI Search ↗

Onderzoek de bronpassage in haar context

Een gevonden fragment kan de juiste woorden bevatten en toch de verkeerde betekenis overbrengen. Een tabelregel zonder kolomkop, een waarschuwing zonder productverwijzing of een paragraaf zonder voorafgaande uitzondering kan slecht bruikbaar zijn voor antwoordvorming. Controleer daarom wat de zoekstap als zelfstandig stuk informatie teruggeeft, niet alleen welk documentnummer bij het resultaat staat.

Open de passage naast het originele bestand. Vraag of een inhoudelijk beoordelaar kan vaststellen op welke situatie de tekst slaat. Als de grens van het fragment een beslissende voorwaarde afsnijdt, onderzoek de verdeling van de bron. Meer resultaten ophalen lost dat niet noodzakelijk op; het kan juist extra tegenstrijdige of overbodige passages in het antwoordproces brengen.

Toets zoeken en antwoorden afzonderlijk met een vaste verzameling vragen en bronpassages: Een RAG-systeem testen: beoordeel bronnen, antwoorden en weigeringen afzonderlijk.

Microsoft Learn: Chunk large documents for vector search ↗

Gebruik filters die de taak werkelijk begrenzen

Een medewerker kan een instructie voor een bepaalde productfamilie nodig hebben. Als die context betrouwbaar beschikbaar is, kan de zoekopdracht de relevante verzameling daarop begrenzen. Leg vast welke kenmerken verplicht zijn en wat gebeurt wanneer ze ontbreken. Een onduidelijke productcode mag niet automatisch als toestemming worden behandeld om over iedere variant een stellig antwoord te geven.

Controleer tegelijk of een filter niet te veel uitsluit. Een algemene veiligheidsinstructie kan voor meerdere productfamilies gelden. Een verkeerd vastgelegde categorie kan dan een relevante bron verbergen. Bewaar bij de test zowel gevonden als uitgesloten verwachte informatie, zodat de beoordeling laat zien of het probleem in metadata, documentinhoud of de vraaginterpretatie zit.

Maak een kleine set met lastige variaties

Neem één inhoudelijke vraag en verander de formulering op een paar realistische manieren. Gebruik een afkorting, een typfout, een oude productnaam en een omschrijving zonder technische term. Voeg daarnaast een vraag toe die bijna hetzelfde klinkt maar over een andere versie gaat. Zo wordt duidelijk of de zoekstap relevante verschillen bewaart in plaats van vooral vergelijkbare woorden te verzamelen.

Een fictief onderhoudsteam vraagt naar de controletermijn voor pomp P-410. De set bevat ook P-410B, een oudere benaming en een vraag zonder versie. De verwachte uitkomst kan voor die laatste vraag zijn dat eerst de productvariant moet worden vastgesteld. Niet iedere variatie heeft dus dezelfde passage of hetzelfde type antwoord als gewenste uitkomst.

Vergelijk één wijziging tegelijk

Pas bijvoorbeeld de documentverdeling aan en voer dezelfde vragen opnieuw uit. Verander niet tegelijkertijd het model, de bronnen, filters en beoordelingsregels. Wanneer meerdere onderdelen wijzigen, is een betere demonstratie moeilijk te verklaren en weet je niet welke aanpassing verantwoordelijk was voor nieuwe fouten. Een beperkte vergelijking levert vaak beter bruikbare informatie op dan een grote ongecontroleerde vernieuwing.

Bewaar de configuratie en de uitkomsten van beide versies. Noteer ook vragen die achteruitgaan. Bespreek of het verschil voor de taak aanvaardbaar is of aanvullend onderzoek vraagt. Een gemiddeld betere beoordeling kan ongeschikt zijn wanneer juist een klein aantal belangrijke uitzonderingsvragen niet meer de noodzakelijke bron oplevert.

Beoordeel rangorde en bruikbaarheid samen

Een relevante passage die ergens tussen veel andere resultaten staat, is niet automatisch goed bruikbaar. Onderzoek welke resultaten werkelijk in de antwoordcontext terechtkomen en of de noodzakelijke voorwaarde daarin aanwezig blijft. Kijk ook naar dubbele fragmenten uit dezelfde bron die andere nuttige informatie kunnen verdringen. Een ranglijst is pas waardevol in relatie tot de taak die volgt.

Gebruik een eenvoudige beoordelingsrubriek. Een beoordelaar kan bijvoorbeeld aangeven of de vereiste passage aanwezig is, of de versie klopt en of voldoende context overblijft. Maak onzekerheid een aparte uitkomst. Het hoeft geen ingewikkelde benchmark te zijn, zolang verschillende beoordelaars dezelfde betekenis geven aan een geslaagde, onvolledige of verkeerde zoekuitkomst.

Scheid retrieval van antwoordgedrag

Wanneer de juiste passage wel wordt gevonden maar een uitzondering uit het uiteindelijke antwoord verdwijnt, onderzoek je een ander probleem. Bewaar de aangeleverde passage en de geformuleerde claim naast elkaar. De oplossing kan liggen in antwoordinstructies, presentatie, bronverwijzing of een menselijke controle. Nog meer zoekresultaten toevoegen kan daarbij onnodig zijn en de controle juist moeilijker maken.

Andersom kan een toevallig juist antwoord op basis van een verkeerde passage een zoekprobleem verbergen. Het model kan algemene kennis gebruiken die niet op jouw productversie slaat. Beoordeel daarom niet alleen of de zin klopt, maar ook of de afgesproken bron de relevante claim ondersteunt. De zoekproef en de antwoordproef hebben ieder hun eigen bewijs nodig.

Maak van de diagnose een onderhoudbare afspraak

Leg vast welke brongebieden, filters en vraagsoorten de gekozen opzet ondersteunt. Bewaar representatieve foutgevallen als herhaalbare controles voor bronwijzigingen of technische aanpassingen. Zo hoeft een beheerder niet telkens opnieuw te ontdekken waarom een bepaalde productvariant of een oud synoniem belangrijk is. De oorspronkelijke diagnose blijft onderdeel van de bruikbare projectkennis.

Spreek daarnaast af wanneer een vraag buiten de ondersteunde verzameling wordt doorverwezen. Een zoekvoorziening moet een onduidelijke situatie niet verbergen achter een technisch succesbericht. De praktische uitkomst van onderzoek is een beter begrepen grens: welke informatie wordt betrouwbaar teruggevonden, waar ontbreken bronnen en welke vragen vragen nog om verduidelijking of een inhoudelijke beoordeling.

Van uitleg naar een concrete projectkeuze

Leg je aannames, open vragen en oplevercriteria vast in de bijbehorende tool. Gebruik de dienstengidsen om uitvoering en afbakening te bespreken.

• RAG Systeem Laten Bouwen ↗
• AI Knowledge Base ↗

Vragen over dit onderwerp

Verder met een aansluitende vraag