- Medewerker , Student
- 17/01/2023
Wat betekent Chatbot GPT voor het onderwijs?
Docenten en universiteiten moeten er een standpunt over bepalen
De chatbot die viral ging: Chatbot GPT. En niet voor niks; hij maakt flinke stappen in het genereren van communicatie die zo snel en goed is dat ie soms lastig te onderscheiden is van de antwoorden van een mens. Zou dat ook interessant kunnen worden voor studenten die hun papers liever door de bot willen laten schrijven?
Handig, zou je denken, zo’n bot die mooi even een boekverslag, essay of paper voor je kan fixen. Maar is hij daar betrouwbaar genoeg voor? Buiten dat het natuurlijk fraude is, is het ook niet zeker dat de bot het juist heeft. Er zit machine learning technologie in de chatbot, en als die gevoed wordt met verkeerde informatie, gaat hij daar vervolgens op voortborduren. Daarnaast heeft hij geen live-toegang tot het internet, maar gebruikt hij een vaste dataset aan informatie. En als het te moeilijk wordt, kan hij zelfs gaan hallucineren, waarover verderop meer.
Cursor sprak met TU/e-alumnus Alain Starke, die onlangs als universitair docent aan de slag ging bij de Universiteit van Amsterdam met als vakgebied persuasive communication, met focus op marketing communicatie in de digitale maatschappij. Starke is daarnaast ook betrokken bij de Human Technology Interaction onderzoeksgroep van de TU/e. Ook hij heeft natuurlijk even met de bot gespeeld. “Ik volg ook aardig wat mensen die hiermee bezig zijn en die laten zien dat de bot in veel richtingen een hulp kan zijn. Zolang je maar weet wat je moet vragen, kan je heel goede output krijgen. Maar goede vragen stellen is nog best een kunst.”
Wat is dan een goede vraag? “Het moet specifiek zijn en er moet wat context zijn. Als het echt te moeilijk wordt, kan de bot gaan hallucineren en onzin spuwen.” Dat laatste gebeurde ook toen Starke de bot uittestte omtrent een wetenschappelijk topic. “Plots kwam er een verhaal uit waarin de bot een paper citeerde waar ik nog nooit van gehoord had, maar wel in een wetenschappelijk tijdschrift dat echt bestaat. Ik schrok; heb ik dit gemist in mijn vakgebied? Ik ging het uitzoeken en het bleek niet te bestaan. Dat illustreert dat je zeker niet zomaar een verhaal van de bot moet overnemen. Hij kan een hoop coherente zinnen produceren die toch eigenlijk nergens over gaan.”
Surveillance belangrijker
GPT staat voor Generated Pre-trained Transformer, gericht op de manier hoe de bot is getraind met een vooraf gegeven dataset. Starke ziet zowel voor- als nadelen aan de bot. “Het lijkt me handig als extra input als je vastloopt in je creatieve proces. Of als hulp bij het programmeren. Maar je moet de antwoorden altijd zelf blijven checken. Bij de gevaren moet je denken aan intellectual property - wie is nu eigenlijk de auteur als je iets van de chatbot gebruikt?, plagiaat en het voor waar aannemen van valse informatie.”
Is Starke bang dat studenten hiermee gaan frauderen tijdens examens of bij het schrijven van papers? “Ik denk dat er vast mensen zijn die het zullen gaan proberen. Maar ik weet nog niet hoe groot de impact gaat zijn, omdat we gedrag van studenten hierin nog niet zo goed kunnen voorspellen. Ja, je kunt makkelijk aan deze antwoorden komen, maar in hoeverre durven ze het aan het ook te wagen? Het scheelt ook per vak hoe makkelijk het toepasbaar is. Feit is wel dat hierdoor surveillance belangrijker zal worden en dat we opnieuw moeten kijken of we betere tentamenvragen moeten maken. Meer inzichtvragen.”
Bij essays zal het misschien iets makkelijker toepasbaar zijn, denkt Starke, "maar er komen vast ook weer goede apps die het kunnen detecteren of er taalgebruik van een bot is gebruikt. Chatbots en taalmodellen zijn voorspelbaarder in hun taalgebruik dan mensen, wat bijvoorbeeld leidt tot meer repetitie. We moeten vooral gaan kijken naar een standpunt voor ons als docenten, als universiteit. Mag een student de output van de bot gebruiken als start van een verslag en dan zelf dingen aanpassen? Googlen voor informatie vinden we ook oké. En programmeurs mogen ook antwoorden van Stackoverflow halen. Dus waar ligt de grens?” Een duidelijk verschil met Google is natuurlijk wel dat je op Google de bron van de informatie ziet en bij Chatbot GPT is niet duidelijk waar de informatie vandaan komt.
Turing-Test
Chatbot GPT, gemaakt door OpenAI uit San Francisco, genereert antwoorden, schrijft teksten en voert dialogen in een vingerknip. Maar komt de bot ook door de Turing-Test? Dat is een experiment, beschreven door de Britse wiskundige en computerpionier Alan Turing om licht te werpen op de vraag of een machine menselijke intelligentie kan vertonen. Starke: “Dat hangt er een beetje vanaf of je de originele Turing-test of de bredere definitie van vandaag de dag bedoelt. Ik denk dat ie wel aardig door de originele komt, maar hij heeft wel beperkingen. Hij gaat niet uit zichzelf schelden en zal op sommige vragen antwoorden dat hij een taalmodel is, of een bot. Dus in een normaal gesprek is het een beetje wisselend of hij door kan voor een mens. Complete vrijheid zoals in de Turing-test, zit er niet in. Dus heel strikt gezien is het antwoord ‘nee’.”
Interview met de bot
Als je de bot wil testen kan je natuurlijk het beste beginnen met wat vragen waar jij het antwoord al zeker op weet. “Zo ben ik ook begonnen”, zegt Starke. Soms wist de bot op een vraag waar bijvoorbeeld drie zaken benoemd moesten worden, er twee te benoemen. Toen ik de context specifieker maakte, wist hij ook de derde zaak te benoemen. Dat is logisch te verklaren”, aldus Starke. “Het is een soort kansenmodel. Een random voorbeeld: hij heeft een database aan informatie en na het woord ‘mooi’ volgt er bijvoorbeeld tien procent van de tijd het woord ‘vrouw’. Maar als je context specifieker wordt, kun je al meer dingen wegstrepen en wordt het een soort conditionele kans."
"Dus als je suggestiever wordt in je vraag, geeft dat de bot betere selectiekansen en jou meer kans op een (juist) antwoord. Dat is een concept dat je ook bij mensen ziet: herinnering is moeilijker dan herkenning. Ik doe veel pubquizzen en als ik een logo zie van een merk, maar zonder de merknaam, is de kans groter dat ik hem herken dan als je me vraagt ‘hoe ziet het logo van Reebok eruit?’.”
Cursor heeft ook een paar (simpele) vragen gesteld aan de bot. Waaronder het genereren van een boekverslag van 1984 van George Orwell. Toen Cursor niet tevreden was met onderstaande korte boekverslag en de command ‘longer’ gaf, kregen we plots een veel langer en meer gedetailleerd verslag. Klik op de afbeeldingen om ze te vergroten.
Zelf proberen? Op https://openai.com/blog/chatgpt/ vind je de chatbot en kun je hem zelf bevragen. Je dient hiervoor wel een gratis account aan te maken.
Blijft de bot hot?
Starke is benieuwd hoe de rol van Chatbot GPT zich gaat ontwikkelen in de maatschappij. “Is het over drie maanden nog helemaal hot, of is iedereen dan AI-moe? Ja, het lijkt alsof iedereen het nu gebruikt, maar als ik één ding heb geleerd van innovatiewetenschap is het dat de toekomst voorspellen heel lastig is.” Cursor zal dit topic blijven volgen en komt ook graag in contact met onderzoekers die zich hiermee bezighouden of hun mening willen geven over de implicaties hiervan voor onderzoek en onderwijs.
Discussie