WEBVTT

00:00:01.000 --> 00:00:04.730
Deze uitleg hoort bij ons artikel over taalmodellen integreren.

00:00:05.000 --> 00:00:08.170
Een overtuigend antwoord is nog geen goede modelkeuze.

00:00:08.600 --> 00:00:11.410
Vergelijk wat er nodig is om de taak af te handelen.

00:00:11.640 --> 00:00:15.490
In een fictieve onderhoudsmelding staat water onder een pomphuis.

00:00:15.640 --> 00:00:19.250
Een model mag objectreferentie en probleemtekst voorstellen.

00:00:19.400 --> 00:00:22.690
Het mag geen urgentie bepalen of een monteur inplannen.

00:00:22.920 --> 00:00:27.130
Vergelijk geschikte opties met dezelfde normale, ontbrekende en

00:00:27.240 --> 00:00:28.690
tegenstrijdige invoer.

00:00:28.840 --> 00:00:31.450
Voeg ook brontekst toe die opdracht lijkt te geven.

00:00:31.880 --> 00:00:34.250
Leg verwachtingen vast voordat de proef begint.

00:00:34.600 --> 00:00:38.650
Bepaal toegestane verwerking, uitvoervelden en lege waarden.

00:00:38.840 --> 00:00:42.570
Noteer modelidentificatie, instructies en instellingen.

00:00:42.760 --> 00:00:46.010
Niet vergelijkbare instellingen worden toegelicht, zodat verschillen

00:00:46.120 --> 00:00:48.570
later niet ongemerkt verdwijnen uit de beoordeling.

00:00:49.000 --> 00:00:52.290
Geldige velden kunnen nog steeds verkeerde informatie bevatten.

00:00:52.440 --> 00:00:55.290
Een ontbrekende objectreferentie blijft onbekend.

00:00:55.640 --> 00:00:59.970
Bij twee strijdige referenties kiest het model niet zelf het juiste object.

00:01:00.120 --> 00:01:04.170
Een weigering, ongeldige uitvoer of time-out krijgt een begrensde

00:01:04.200 --> 00:01:04.970
herstelroute.

00:01:05.320 --> 00:01:09.290
Iedere taak houdt een vaste referentie, zodat herhalen niet ongemerkt

00:01:09.320 --> 00:01:11.370
meerdere beoordelingsitems laat ontstaan.

00:01:11.800 --> 00:01:15.890
Meet de hele wachttijd, inclusief validatie en herhaalpogingen.

00:01:16.040 --> 00:01:19.250
Houd ook menselijke correctietijd en gebruikskosten bij.

00:01:19.400 --> 00:01:23.690
Een goedkope modelaanroep hoeft geen goedkope afgehandelde taak te zijn.

00:01:23.880 --> 00:01:27.130
Kies pas na de uitgevoerde proef op basis van de afgesproken

00:01:27.160 --> 00:01:27.610
eisen.

00:01:27.960 --> 00:01:30.090
Benoem beperkingen en een beheerder.

00:01:30.280 --> 00:01:35.010
Relevante wijzigingen in model, instructie of schema vragen nieuwe toetsing.

00:01:35.160 --> 00:01:39.130
De beste optie volgt uit jouw taak en waargenomen resultaten.

00:01:39.320 --> 00:01:44.010
Het bronartikel over LLM-integratie werkt deze evaluatieaanpak en de

00:01:44.040 --> 00:01:46.330
grenzen van modeluitvoer verder uit.