ChatGPTentamen
Kunstmatige intelligentie rukt op, ook op de TU/e. Hoewel AI-hulpmiddelen als ChatGPT soms handig kunnen zijn, is het niet verstandig om er volledig op te vertrouwen. Desgevraagd geeft ChatGPT zelf aan dat het geen goed idee is om ChatGPT te gebruiken om tentamenvragen te beantwoorden.
De afgelopen weken was ik technisch verantwoordelijk voor een tentamen van het basisvak Data Analytics for Engineers. Dat vak wordt dit jaar niet meer gegeven en de docent is sinds vorig jaar niet meer op de TU/e werkzaam. Helaas bleek dat na de eindcontrole, maar voor het afdrukken, alle referenties naar figuren veranderd waren. Niet heel rampzalig, want de studenten begrepen prima welk figuur bij welke vraag hoorde, maar het leidde tot stress tijdens het tentamen en dat is niet fijn. Dat begrijp ik.
Wat ik niet begrijp en waar ik ook niet op gerekend had, is de enorme hoeveelheid discussie die ik achteraf met studenten kreeg over de inhoud van de vragen. Werkelijk elke zin uit het tentamen werd door studenten gefileerd en bekritiseerd. Soms kon ik me wel vinden in de uitleg van studenten en zou ik de vragen zelf ook anders geformuleerd hebben (en daar is het correctiemodel dan ook op aangepast), maar soms raakten de opmerkingen van studenten kant noch wal. Wat ik echter vervelend vond, was dat ik soms leek te discussiëren met het hele Internet, in plaats van met een student.
Denk daarbij aan deze opmerking van een student: “Het tentamen is fout, want op dit forum op internet staat dat je best het gemiddelde uit kunt rekenen van een dichotome variabele en met dat forum heb ik gestudeerd”. Op de opmerking dat dat forum geen onderdeel is van het studiemateriaal antwoordde de student dat de betreffende site in Delft wel gebruikt wordt als studiemateriaal. (Voor de zekerheid: de betreffende site legde uit dat je de “mean” functie wel aan kunt roepen in R, maar dat wat je terugkrijgt eigenlijk een andere interpretatie heeft).
Nog erger wordt het als studenten ChatGPT in de strijd gaan gooien: “Het tentamen is fout, want ChatGPT zegt dat het antwoord B is en niet A”. Blijkbaar hebben we een generatie studenten die ervan overtuigd is dat ChatGPT het antwoord op alle vragen kent. Desgevraagd geeft ChatGPT zelf aan dat het geen goed idee is om ChatGPT te gebruiken om tentamenvragen te beantwoorden.
Uit deze opmerkingen blijkt dat studenten niet meer studeren op basis van het geleverde studiemateriaal, maar dat zij vooral gebruik maken van oude tentamens, oefenopgaven en het Internet in de breedste zin en dus ook van ChatGPT en dat houdt de gemoederen van de examencommissies aan de TU/e best bezig. Hoe ver mogen studenten gaan in het gebruik van ChatGPT en waar ligt de grens van fraude?
Om eens te kijken hoe intelligent ChatGPT nu daadwerkelijk is, vroeg ik het: “What is the longest five-letter word in English?”. Het antwoord van ChatGPT: “twelfth”. Dat leidde tot een enigszins hilarische discussie, met als conclusie dat “longer” een langer woord is dan "shorter”. Ik denk dat studenten nog maar eens goed moeten nadenken over het gebruik van ChatGPT en twee keer voordat ze de docent e-mailen met de opmerking dat ChatGPT het beter weet.
Boudewijn van Dongen is professor Process Analytics aan de TU/e. Hij schrijft deze column op persoonlijke titel
Discussie