WEBVTT 00:00:01.000 --> 00:00:06.090 Bij RAG onderzoek je het vinden van informatie en het gebruiken ervan afzonderlijk. 00:00:06.520 --> 00:00:10.250 Een fictieve procedure beschrijft retouren en een uitzondering voor 00:00:10.280 --> 00:00:11.090 maatwerk. 00:00:11.240 --> 00:00:14.410 Een medewerker vraagt naar die uitzondering, maar krijgt alleen de 00:00:14.480 --> 00:00:15.530 algemene uitleg. 00:00:15.880 --> 00:00:19.450 Zit de fout in de bron, de zoekstap of het antwoord? 00:00:19.720 --> 00:00:24.170 Een RAG-systeem verwerkt bronnen, maakt informatie doorzoekbaar, haalt 00:00:24.240 --> 00:00:26.890 passages op en geeft die aan een taalmodel. 00:00:27.080 --> 00:00:28.970 Dat model formuleert het antwoord. 00:00:29.400 --> 00:00:33.210 Bewaar voldoende context om elke stap gericht te kunnen beoordelen. 00:00:33.640 --> 00:00:37.250 Staat de uitzondering niet in de toegestane, geldige documenten? 00:00:37.400 --> 00:00:39.090 Dan ontbreekt bedrijfskennis. 00:00:39.240 --> 00:00:43.130 Een andere zoekinstelling of overtuigender formulering kan die regel 00:00:43.240 --> 00:00:44.490 niet alsnog onderbouwen. 00:00:44.840 --> 00:00:47.770 Laat de bronhouder het ontbrekende gegeven beoordelen. 00:00:48.200 --> 00:00:51.695 Bestaat de passage wel, controleer dan of die daadwerkelijk bij de 00:00:51.720 --> 00:00:52.810 vraag is opgehaald. 00:00:53.160 --> 00:00:56.570 Kijk naar tekstverwerking, metadata en zoekselectie. 00:00:56.760 --> 00:01:00.730 Zonder die context kan het model de uitzondering niet correct meenemen. 00:01:00.920 --> 00:01:03.930 Heeft het model de juiste passage gekregen, maar verdwijnt de 00:01:03.960 --> 00:01:05.090 uitzondering toch? 00:01:05.240 --> 00:01:07.250 Dan onderzoek je het antwoordgebruik. 00:01:07.400 --> 00:01:11.610 Controleer daarnaast vóór generatie dat de gebruiker die passage mag zien. 00:01:11.800 --> 00:01:15.170 Leg per vraag de verwachte passage en beoordeling vast. 00:01:15.320 --> 00:01:19.370 Neem ontbrekende kennis, conflicterende bronnen en gebruikers zonder 00:01:19.400 --> 00:01:20.250 rechten mee. 00:01:20.440 --> 00:01:24.570 Test ook wijzigen en verwijderen; één correct antwoord bewijst geen 00:01:24.600 --> 00:01:26.170 algemene betrouwbaarheid. 00:01:26.360 --> 00:01:29.450 Verbind een fout aan de verantwoordelijke stap en eigenaar. 00:01:29.800 --> 00:01:33.410 Toets dezelfde vraag na de correctie, plus andere voorbeelden. 00:01:33.560 --> 00:01:37.250 Zo zie je of de aanpassing elders nieuwe problemen veroorzaakt. 00:01:37.480 --> 00:01:40.970 Lees bij OXIAE hoe je bronselectie en antwoordkwaliteit van een 00:01:41.080 --> 00:01:43.530 RAG-systeem afzonderlijk beoordeelt.