1
00:00:01,000 --> 00:00:04,730
Deze uitleg hoort bij ons artikel over taalmodellen integreren.

2
00:00:05,000 --> 00:00:08,170
Een overtuigend antwoord is nog geen goede modelkeuze.

3
00:00:08,600 --> 00:00:11,410
Vergelijk wat er nodig is om de taak af te handelen.

4
00:00:11,640 --> 00:00:15,490
In een fictieve onderhoudsmelding staat water onder een pomphuis.

5
00:00:15,640 --> 00:00:19,250
Een model mag objectreferentie en probleemtekst voorstellen.

6
00:00:19,400 --> 00:00:22,690
Het mag geen urgentie bepalen of een monteur inplannen.

7
00:00:22,920 --> 00:00:27,130
Vergelijk geschikte opties met dezelfde normale, ontbrekende en

8
00:00:27,240 --> 00:00:28,690
tegenstrijdige invoer.

9
00:00:28,840 --> 00:00:31,450
Voeg ook brontekst toe die opdracht lijkt te geven.

10
00:00:31,880 --> 00:00:34,250
Leg verwachtingen vast voordat de proef begint.

11
00:00:34,600 --> 00:00:38,650
Bepaal toegestane verwerking, uitvoervelden en lege waarden.

12
00:00:38,840 --> 00:00:42,570
Noteer modelidentificatie, instructies en instellingen.

13
00:00:42,760 --> 00:00:46,010
Niet vergelijkbare instellingen worden toegelicht, zodat verschillen

14
00:00:46,120 --> 00:00:48,570
later niet ongemerkt verdwijnen uit de beoordeling.

15
00:00:49,000 --> 00:00:52,290
Geldige velden kunnen nog steeds verkeerde informatie bevatten.

16
00:00:52,440 --> 00:00:55,290
Een ontbrekende objectreferentie blijft onbekend.

17
00:00:55,640 --> 00:00:59,970
Bij twee strijdige referenties kiest het model niet zelf het juiste object.

18
00:01:00,120 --> 00:01:04,170
Een weigering, ongeldige uitvoer of time-out krijgt een begrensde

19
00:01:04,200 --> 00:01:04,970
herstelroute.

20
00:01:05,320 --> 00:01:09,290
Iedere taak houdt een vaste referentie, zodat herhalen niet ongemerkt

21
00:01:09,320 --> 00:01:11,370
meerdere beoordelingsitems laat ontstaan.

22
00:01:11,800 --> 00:01:15,890
Meet de hele wachttijd, inclusief validatie en herhaalpogingen.

23
00:01:16,040 --> 00:01:19,250
Houd ook menselijke correctietijd en gebruikskosten bij.

24
00:01:19,400 --> 00:01:23,690
Een goedkope modelaanroep hoeft geen goedkope afgehandelde taak te zijn.

25
00:01:23,880 --> 00:01:27,130
Kies pas na de uitgevoerde proef op basis van de afgesproken

26
00:01:27,160 --> 00:01:27,610
eisen.

27
00:01:27,960 --> 00:01:30,090
Benoem beperkingen en een beheerder.

28
00:01:30,280 --> 00:01:35,010
Relevante wijzigingen in model, instructie of schema vragen nieuwe toetsing.

29
00:01:35,160 --> 00:01:39,130
De beste optie volgt uit jouw taak en waargenomen resultaten.

30
00:01:39,320 --> 00:01:44,010
Het bronartikel over LLM-integratie werkt deze evaluatieaanpak en de

31
00:01:44,040 --> 00:01:46,330
grenzen van modeluitvoer verder uit.