Zie met een fictieve procedurevraag hoe je fouten in een RAG-systeem herleidt naar ontbrekende bronnen, gemiste passages, antwoordgebruik of toegangscontrole.
De gesproken uitleg, per hoofdstuk.
Bij RAG onderzoek je het vinden van informatie en het gebruiken ervan afzonderlijk.
Een fictieve procedure beschrijft retouren en een uitzondering voor maatwerk. Een medewerker vraagt naar die uitzondering, maar krijgt alleen de algemene uitleg. Zit de fout in de bron, de zoekstap of het antwoord?
Een RAG-systeem verwerkt bronnen, maakt informatie doorzoekbaar, haalt passages op en geeft die aan een taalmodel. Dat model formuleert het antwoord. Bewaar voldoende context om elke stap gericht te kunnen beoordelen.
Staat de uitzondering niet in de toegestane, geldige documenten? Dan ontbreekt bedrijfskennis. Een andere zoekinstelling of overtuigender formulering kan die regel niet alsnog onderbouwen. Laat de bronhouder het ontbrekende gegeven beoordelen.
Bestaat de passage wel, controleer dan of die daadwerkelijk bij de vraag is opgehaald. Kijk naar tekstverwerking, metadata en zoekselectie. Zonder die context kan het model de uitzondering niet correct meenemen.
Heeft het model de juiste passage gekregen, maar verdwijnt de uitzondering toch? Dan onderzoek je het antwoordgebruik. Controleer daarnaast vóór generatie dat de gebruiker die passage mag zien.
Leg per vraag de verwachte passage en beoordeling vast. Neem ontbrekende kennis, conflicterende bronnen en gebruikers zonder rechten mee. Test ook wijzigen en verwijderen; één correct antwoord bewijst geen algemene betrouwbaarheid.
Verbind een fout aan de verantwoordelijke stap en eigenaar. Toets dezelfde vraag na de correctie, plus andere voorbeelden. Zo zie je of de aanpassing elders nieuwe problemen veroorzaakt.
Lees bij OXIAE hoe je bronselectie en antwoordkwaliteit van een RAG-systeem afzonderlijk beoordeelt.
1:39Onderzoek een fictief antwoord over bedrijfsdocumenten en leer passages, voorwaarden, ontbrekende kennis en tegenstrijdige versies afzonderlijk controleren.
BronartikelChat met Bedrijfsdocumenten
1:46Volg de levensloop van een fictieve werkinstructie en ontdek hoe bronhouders, versies, toegangsrechten en verwijdering een AI-kennisbank beheersbaar maken.
BronartikelAI Knowledge Base
1:48Vergelijk taalmodellen op dezelfde onderhoudsmeldingen. Bekijk formaat, brongetrouwheid, wachttijd en correctiewerk voordat je een modelkeuze onderbouwt.
BronartikelLLM-integratie: modelkeuze, validatie en beheer