1
00:00:01,000 --> 00:00:06,090
Bij RAG onderzoek je het vinden van informatie en het gebruiken ervan afzonderlijk.

2
00:00:06,520 --> 00:00:10,250
Een fictieve procedure beschrijft retouren en een uitzondering voor

3
00:00:10,280 --> 00:00:11,090
maatwerk.

4
00:00:11,240 --> 00:00:14,410
Een medewerker vraagt naar die uitzondering, maar krijgt alleen de

5
00:00:14,480 --> 00:00:15,530
algemene uitleg.

6
00:00:15,880 --> 00:00:19,450
Zit de fout in de bron, de zoekstap of het antwoord?

7
00:00:19,720 --> 00:00:24,170
Een RAG-systeem verwerkt bronnen, maakt informatie doorzoekbaar, haalt

8
00:00:24,240 --> 00:00:26,890
passages op en geeft die aan een taalmodel.

9
00:00:27,080 --> 00:00:28,970
Dat model formuleert het antwoord.

10
00:00:29,400 --> 00:00:33,210
Bewaar voldoende context om elke stap gericht te kunnen beoordelen.

11
00:00:33,640 --> 00:00:37,250
Staat de uitzondering niet in de toegestane, geldige documenten?

12
00:00:37,400 --> 00:00:39,090
Dan ontbreekt bedrijfskennis.

13
00:00:39,240 --> 00:00:43,130
Een andere zoekinstelling of overtuigender formulering kan die regel

14
00:00:43,240 --> 00:00:44,490
niet alsnog onderbouwen.

15
00:00:44,840 --> 00:00:47,770
Laat de bronhouder het ontbrekende gegeven beoordelen.

16
00:00:48,200 --> 00:00:51,695
Bestaat de passage wel, controleer dan of die daadwerkelijk bij de

17
00:00:51,720 --> 00:00:52,810
vraag is opgehaald.

18
00:00:53,160 --> 00:00:56,570
Kijk naar tekstverwerking, metadata en zoekselectie.

19
00:00:56,760 --> 00:01:00,730
Zonder die context kan het model de uitzondering niet correct meenemen.

20
00:01:00,920 --> 00:01:03,930
Heeft het model de juiste passage gekregen, maar verdwijnt de

21
00:01:03,960 --> 00:01:05,090
uitzondering toch?

22
00:01:05,240 --> 00:01:07,250
Dan onderzoek je het antwoordgebruik.

23
00:01:07,400 --> 00:01:11,610
Controleer daarnaast vóór generatie dat de gebruiker die passage mag zien.

24
00:01:11,800 --> 00:01:15,170
Leg per vraag de verwachte passage en beoordeling vast.

25
00:01:15,320 --> 00:01:19,370
Neem ontbrekende kennis, conflicterende bronnen en gebruikers zonder

26
00:01:19,400 --> 00:01:20,250
rechten mee.

27
00:01:20,440 --> 00:01:24,570
Test ook wijzigen en verwijderen; één correct antwoord bewijst geen

28
00:01:24,600 --> 00:01:26,170
algemene betrouwbaarheid.

29
00:01:26,360 --> 00:01:29,450
Verbind een fout aan de verantwoordelijke stap en eigenaar.

30
00:01:29,800 --> 00:01:33,410
Toets dezelfde vraag na de correctie, plus andere voorbeelden.

31
00:01:33,560 --> 00:01:37,250
Zo zie je of de aanpassing elders nieuwe problemen veroorzaakt.

32
00:01:37,480 --> 00:01:40,970
Lees bij OXIAE hoe je bronselectie en antwoordkwaliteit van een

33
00:01:41,080 --> 00:01:43,530
RAG-systeem afzonderlijk beoordeelt.