Bronverwijzingen in RAG: controleer of de passage de claim werkelijk ondersteunt

Splits een antwoord in controleerbare claims

Neem een antwoord dat verschillende mededelingen combineert en beoordeel die apart. Een zin kan een onderhoudstermijn, uitzondering en instructie voor contact bevatten. Eén bron kan de termijn ondersteunen zonder iets te zeggen over de uitzondering of de contactroute. Wie alleen beoordeelt of er ergens een verwijzing staat, mist zulke verschillen.

Maak de controle praktisch door eerst de claims te markeren die het handelen van de gebruiker bepalen. Niet iedere verbindende zin vraagt dezelfde bewijslast, maar voorwaarden, aantallen, termijnen en beslissende instructies verdienen gerichte aandacht. Vraag vervolgens welke passage iedere claim ondersteunt en of die passage voldoende context bevat om de betekenis zonder giswerk te beoordelen.

Microsoft Learn: Retrieval-augmented generation in Azure AI Search ↗

Maak onderscheid tussen een bron en een vindplaats

Een documenttitel helpt de lezer herkennen waar informatie vandaan komt. Voor controle is vaak een preciezere passage nodig. Bij een lange handleiding kan een link naar de voorpagina de gebruiker veel zoekwerk geven. Leg vast of een hoofdstuk, paragraaf of ander stabiel herkenningspunt beschikbaar is en hoe dat bij een bronwijziging blijft werken.

Gebruik geen verzonnen paginanummers of verwijzingen die alleen in de zoekindex bestaan. Als betrouwbare passageverwijzing technisch niet mogelijk is, leg die beperking uit en kies een passende presentatie. Een herkenbare titel, bronversie en korte relevante passage kunnen nuttiger zijn dan een schijnbaar precieze link die bij openen naar de verkeerde plek springt.

Behoud de voorwaarde bij de regel

Een fictieve onderhoudsinstructie zegt: voor apparaten uit serie K met een actief servicecontract wordt de eerste controle binnen vijf werkdagen ingepland. Het antwoord “de controle wordt binnen vijf werkdagen ingepland” laat twee belangrijke voorwaarden weg. De verwijzing naar de instructie herstelt die fout niet automatisch; de gebruiker kan al handelen op basis van de verkorte formulering.

Laat beoordelaars daarom onderzoeken wat uit een passage is weggelaten. Een goed antwoord hoeft niet iedere zin over te nemen, maar moet de voorwaarden behouden die de uitkomst begrenzen. Test ook vragen zonder voldoende context. Wanneer serie of contractstatus onbekend is, kan de juiste volgende stap zijn die informatie eerst op te vragen in plaats van de regel algemeen toe te passen.

Een verwijzing helpt alleen wanneer de juiste passage is gevonden. Onderzoek daarom ook de zoekstap: RAG zoekt de verkeerde passage: onderzoek retrieval vóór je het antwoord herschrijft.

Toon de geldige versie die werkelijk is gebruikt

De gebruiker moet kunnen begrijpen op welke inhoud een antwoord berust. Een bronlink die altijd de nieuwste versie opent, kan later verschillen van de passage waarmee het antwoord werd opgesteld. Dat maakt onderzoek naar een gemeld probleem moeilijk. Het ontwerp moet aangeven hoe bronreferentie en versie bij de antwoordvorming herkenbaar blijven.

Een historisch bewijsstuk bewaren is iets anders dan verouderde informatie actief blijven aanbieden. Spreek apart af welk materiaal voor onderzoek nodig is, wie het mag zien en hoe actuele vragen de geldige bron gebruiken. De juiste keuze hangt af van de toepassing. Een eenvoudig producthulpmiddel vraagt mogelijk een andere registratie dan een proces waarin een medewerker een belangrijk besluit moet kunnen reconstrueren.

Beoordeel gedeeltelijke en ontbrekende ondersteuning

Soms ondersteunt een bron alleen een deel van het gevraagde antwoord. Een handleiding beschrijft een standaardlevering maar niet de speciale installatie waarnaar de gebruiker vraagt. Het systeem kan de algemene uitleg geven en tegelijk duidelijk maken welke vraag openblijft. Een complete formulering produceren is geen doel wanneer het bewijs voor een beslissend onderdeel ontbreekt.

Maak in de toetsset onderscheid tussen ondersteund, gedeeltelijk ondersteund en niet ondersteund. Laat een beoordelaar de reden vastleggen. Daarmee kan het team beslissen of een bron moet worden aangevuld, de vraag verduidelijkt of een antwoordbegrenzing aangepast. Alleen het aantal zichtbare links meten zegt niets over deze inhoudelijke verschillen en kan een misleidend kwaliteitsbeeld geven.

Laat tegenstrijdige bronnen niet samen een schijnzeker antwoord maken

Wanneer twee geldige bronnen elkaar lijken tegen te spreken, moet eerst duidelijk worden of hun toepassingsgebieden verschillen. Misschien gaat een algemene instructie over een oudere productlijn en een bijlage over een nieuwe variant. Misschien is het conflict echt onopgelost. Het antwoord mag die onzekerheid niet verwijderen door beide passages samen te vatten alsof zij één consistente regel vormen.

Leg voor een bekende conflictsoort vast welke reactie passend is. Dat kan een gerichte verduidelijkingsvraag zijn of een verwijzing naar de inhoudelijke eigenaar. Een bronrangorde kan helpen wanneer die inhoudelijk is vastgesteld, maar mag geen willekeurige technische voorkeur zijn. Bewaar het conflict als toetsgeval zodat een latere wijziging niet opnieuw dezelfde schijnzekerheid introduceert.

Ontwerp bronopening voor de gebruiker

Plaats de verwijzing waar de gebruiker de onderbouwde claim kan herkennen. Een lijst met tien bronnen onder een lang antwoord maakt het lastig te bepalen welke passage bij welke mededeling hoort. Kies een presentatie die aansluit op het werk: bijvoorbeeld een korte verwijzing naast de relevante uitleg en de mogelijkheid de passage met versiecontext te openen.

Controleer ook op mobiel of de bron werkelijk bruikbaar blijft. Is de titel leesbaar, kan de passage worden gevonden en blijft duidelijk wanneer een nieuw venster of een ander systeem opent? Toegangsbeperkingen blijven gelden. Een gebruiker zonder bronrechten hoort niet via een voorvertoning alsnog de inhoud te zien die de eigenlijke documentomgeving afschermt.

OWASP: Authorization Cheat Sheet ↗

Test bronondersteuning los van overtuigende taal

Een vloeiend geformuleerd antwoord kan beoordelaars beïnvloeden. Laat bij een gerichte proef eerst de claim en bronpassage naast elkaar beoordelen. Pas daarna komt de vraag of de uitleg duidelijk en prettig leesbaar is. Zo wordt een inhoudelijk onjuist antwoord niet door een goede schrijfstijl als succesvol aangemerkt.

Gebruik ook een bewust onjuiste verwijzing, een correcte verwijzing bij een onvolledige claim en een antwoord waarvoor geen bron bestaat. Bespreek met beoordelaars waarom iedere uitkomst anders is. De verzameling moet goede parafrases toelaten, maar niet accepteren dat een bron slechts hetzelfde onderwerp noemt. Inhoudelijke ondersteuning vraagt meer dan oppervlakkige overeenkomst tussen woorden.

Maak corrigeren onderdeel van de gebruiksroute

Bied een herkenbare manier om een onjuiste claim of verkeerde verwijzing te melden. Vraag om voldoende context om het antwoord te vinden, zonder gebruikers automatisch volledige vertrouwelijke gesprekken te laten doorsturen. Leg vast wie de melding beoordeelt en welke tijdelijke maatregel mogelijk is wanneer de bron of presentatie een terugkerende fout veroorzaakt.

Controleer na een correctie dezelfde vraag opnieuw en bewaar het oorspronkelijke fouttype als regressiegeval. Een gewijzigde bron, nieuwe passageverdeling of andere antwoordinstructie kan immers een nieuwe koppeling tussen claim en bewijs geven. Een bruikbare bronfunctie is daarom geen decoratie die na de eerste bouw klaar is, maar een onderdeel van de inhoudelijke kwaliteit dat beheerd moet worden.

Van uitleg naar een concrete projectkeuze

Leg je aannames, open vragen en oplevercriteria vast in de bijbehorende tool. Gebruik de dienstengidsen om uitvoering en afbakening te bespreken.

• RAG Systeem Laten Bouwen ↗
• AI Knowledge Base ↗

Vragen over dit onderwerp

Verder met een aansluitende vraag