Forsøget peger dermed ikke på et valg mellem teknologi og undervisning. Det viser snarere, at de to kan påvirke forskellige sider af arbejdet, og at et poleret slutsvar kun fortæller en del af historien.
Originalitet gav ikke automatisk flere point
De studerende, der blev trænet i årsagstænkning, lærte at forklare, hvorfor en idé skulle virke, hvilke led der forbandt indsats og resultat, og hvilke betingelser der kunne gøre forklaringen forkert. Deres forslag varierede mere, både inden for den enkelte besvarelse og sammenlignet med de øvrige deltageres.Den større idébredde løftede imidlertid ikke karakteren efter forsøgets fempunktsskala. Bedømmelsen var rettet mod to velkendte markedsføringsmål, og løsninger tæt på det forventede svar havde en fordel. Mere utraditionelle forslag kunne derfor vise selvstændig tænkning uden at blive belønnet tilsvarende.
Da de studerende både fik træningen og adgang til ChatGPT, forsvandt den større variation ikke. AI-værktøjet gjorde altså ikke i sig selv den indlærte tænkemåde overflødig.
ChatGPT klarede den faste opgave bedre
På den anvendte skala steg bedømmelsen med omkring 0,86 point for studerende med ChatGPT sammenlignet med kontrolgruppens beregnede niveau på 2,09. Deres tekster rummede flere idéer, hang bedre sammen og lignede i højere grad anbefalingerne fra tre personer med relevant ekspertise.Forskerne undersøgte også, om gevinsten blot var sproglig. Antallet af idéer og den logiske sammenhæng forklarede en del af forskellen, men ikke det hele. På denne konkrete opgave hjalp GPT-4o derfor nybegyndere med mere end at gøre formuleringerne glatte.
Resultatet kan dog ikke uden videre overføres til alle skolefag. Modellen blev brugt til en kort forretningsopgave med klare kriterier og et emne, som der findes meget materiale om. En åben analyse, en matematisk udledning eller en opgave, hvor processen vægter højere end svaret, kan give et andet mønster.
Sådan blev forsøget gennemført
Forskerne fordelte 13 hold på fire grupper. Den ene fik ChatGPT Edu med GPT-4o, den anden fik træningsøvelsen, den tredje fik begge dele, og kontrolgruppen fik ingen af delene.Deltagerne havde cirka 45 minutter til at skrive en kort anbefaling om, hvordan et universitets merchandise kunne blive mere synligt og brugt mere. Uddannede bedømmere vurderede teksterne, og forskerne sammenlignede dem desuden med tre ekspertbesvarelser.
Studiet var registreret på forhånd og randomiseret på holdniveau. Det styrker muligheden for at knytte forskellene til forsøgets to indsatser. Begrænsningen er, at det måler én aflevering i en kontrolleret situation. Det viser ikke, hvad de studerende huskede senere, eller om deres faglige forståelse udviklede sig over længere tid.
Flere mål kan vise mere af elevens arbejde
Hvis en prøve hovedsageligt belønner klarhed og overensstemmelse med en fast rubrik, kan en AI-assisteret tekst se stærk ud, uden at bedømmeren ved, hvordan eleven kom frem til den. Omvendt kan et forsøg på at udfordre standardløsningen blive undervurderet.Skoler og universiteter kan derfor have brug for at se på flere spor: det endelige svar, begrundelsen, alternative muligheder og en forklaring af, hvad der kunne få løsningen til at fejle. Forsøget fastlægger ikke en ny eksamensmodel, men det giver et konkret eksempel på, hvorfor bedømmelsen må følge med, når gode formuleringer bliver lettere at producere.
Der er benyttet AI til at skrive denne artikel.