Innovatie in het onderwijs is noodzakelijk gezien de snel veranderende competenties van de 21ste eeuw. ‘Serious games’ – spellen met een ander doel dan puur vermaak – lopen voorop in die ontwikkelingen en kunnen een belangrijke rol spelen in het onderwijs. De vraag is echter wat een goede beoordelingsmethode is voor deze leergames. Promovendus Konstantinos Georgiadis heeft hier een softwaretool voor ontwikkeld, genaamd Smart CAT. Dit meldt Open Universiteit.
In zijn onderzoek bespreekt Georgiadis de ontwikkeling van Smart CAT, een softwaretool die zorgt voor een automatische beoordeling van vaardigheden door slim gebruik te maken van de digitale sporen die een leerling achterlaat in een game of andere digitale omgevingen. Die methode staat bekend onder de naam Stealth Assessment (verborgen beoordeling): je wordt niet beoordeeld via een losse test, maar op het gedrag en de acties die naar voren komen uit de digitale sporen.
Stealth Assessment
De gebruikte methode van beoordeling is enerzijds gebaseerd op Evidence Centered Design, een systematische manier om competenties te beschrijven en meten. Anderzijds maakt Stealth Assessment gebruik van Machine Learning Technology, het vermogen van computers om patronen te herkennen en daarmee - in dit geval - conclusies te trekken over de beheersing van gevraagde competenties. Tot nu toe was de toepassing van Stealth Assessment echter een complex, tijdrovend en arbeidsintensief proces. Georgiadis laat in zijn proefschrift zien dat de Smart CAT software deze barrières kan slechten en tot een bredere toepassing kan leiden.
Smart CAT software
De Smart CAT software helpt gebruikers bij het ontwerpen van een Stealth Assessment toepassing en voert automatisch de analyses uit die nodig zijn om tot een beoordeling te komen. Uit testen met twee afzonderlijke serious games is gebleken, dat de beoordelingen die Smart CAT geeft valide en zeer nauwkeurig zijn. Uit computersimulaties is bovendien naar voren gekomen dat de resultaten zeer stabiel zijn onder zeer uiteenlopende testomstandigheden. Smart CAT wordt door eindgebruikers (docenten en beoordelaars) gezien als een zeer nuttig en gebruiksvriendelijk instrument. Het proefschrift van Georgiadis biedt een nieuw perspectief op data-gebaseerde beoordelingen in serious games. Daarmee draagt het onderzoek bij aan de educatieve waarde van serious games en het gebruik daarvan in het reguliere onderwijs.
Georgiadis zal zijn proefschrift ‘Smart CAT: Machine Learning for Configurable Assessments in Serious Games’ op vrijdag 2 oktober verdedigen.
Door: Nationale Onderwijsgids
