Leerresultaten van serious gaming meten tijdens het spel

“Na de verkiezing tot OU Onderwijsproduct van het Jaar 2023 weten eigen docenten van deze tool. Nu willen we ook meer bekendheid bij andere onderwijsinstellingen realiseren.” Aan het woord is Hans Hummel, projectleider van het Gamebrics project en themaleider op het gebied van serious gaming en simulaties binnen de Open Universiteit. Hij weet: bij games gaat het altijd om het vinden van een goede balans tussen het hebben van fun en het behalen van leerdoelen. Voor die optimale balans zijn twee dingen nodig: een goede ontwerpaanpak bij zo’n game en geschikt gereedschap om een effectieve game te kunnen ontwikkelen. 

Hummel: “Wij hadden als Open Universiteit, in het kader van een SURF-project in de periode 2006-2008, eerder een ontwerpaanpak en ontwikkeltool ontwikkeld. Daarmee zijn meer dan 80 serious games gemaakt, de meeste scenariogebaseerd en gericht op beroepsvoorbereiding.”  

Sommige daarvan zijn op een beginnend beroepsniveau en trainen een enkele, eenvoudiger vaardigheid. “Maar we gebruiken in ons onderwijs ook hele advanced games waarmee je complexere vaardigheden binnen meerdere scenario’s tegelijkertijd kunt trainen”, zegt Hummel. “De vraag is dan altijd welke vaardigheden een student tijdens bepaalde onderdelen het meest ontwikkelt. We hadden nog geen goede beoordelingsmethode om dat goed tijdens het spel te kunnen bepalen. Zo is het idee van Gamebrics ontstaan.” 

Scenariogebaseerde game voor trainen van vaardigheden 

Om dit te verduidelijken gebruikt hij als voorbeeld Tycoonstructor, een serious game met als leerdoel om ondernemerschapsvaardigheden te trainen. De speler heeft als speldoel om manager van een groot internationaal bouwbedrijf te worden. Hij krijgt op steeds andere plekken in Europa met dochterbedrijven te maken die kampen met uitdagingen waarvoor wisselende ondernemerschapsvaardigheden nodig zijn. De manager-in-spé doorloopt daarmee een carrièrepad dat haar of hem uiteindelijk tot een bouwtycoon maakt. Hummel: “De opdrachten in de game worden ingewikkelder en je hebt meer ondernemersvaardigheden tegelijkertijd nodig. In het begin kom je bijvoorbeeld al een heel eind met een goed initiatief nemen voor een nieuw bouwproject, maar later moet je ook leiderschapskwaliteiten tonen, samenwerking met meerdere partijen beheersen, en weten hoe te motiveren. Je vraagt je bij het ontwerpen van een serious game steeds af: bij welke game-activiteiten leert iemand welke vaardigheden en in welke mate?”

Monitoren leerresultaten tijdens het spel  

De Open Universiteit gebruikte rubrics al eerder om aan te geven welke vaardigheden per onderdeel worden verworven. “Maar je kon als speler nog niet inzoomen op die specifieke onderdelen”, vertelt Hummel. “Wij wilden studenten graag tijdens het spelen van de game terugkoppeling geven over hun leren, en niet pas achteraf. Ook wilden we die leerresultaten graag in een dashboard monitoren, zodat zowel de student als de docent tijdens de game ziet hoe de voortgang is.”  

De OU gebruikte analytische rubrics ook al om leerprestaties na het spelen te kunnen meten, bijvoorbeeld bij een mondelinge presentatie over wat door spel was geleerd. Het Gamebrics project was daarom een logische vervolgstap op eerdere initiatieven.  

Het team onder leiding van Hummel gebruikte de laatst ontwikkelde serious games als Proofs of Concept voor de nieuwe tooling. “We hebben het project concreet en pragmatisch aangepakt, heel agile. We wilden een goed en herbruikbaar idee krijgen van wat er nodig is om rubrics op het niveau van spelonderdelen te integreren in een serious game”, vertelt hij. In dit artikel kun je lezen welke stappen de Open Universiteit volgde. 

Hoger leerrendement 

Uiteraard heeft de Open Universiteit onderzocht of het leerrendement hoger is als studenten tijdens het spelen van een serious game terugkoppeling krijgen over hun progressie op de leerdoelen. Dat is gemeten bij twee games. Het ene spel wordt in het eerste leerjaar gebruikt en is relatief eenvoudig wat betreft de opdrachten. Het andere spel is wat complexer wat betreft de inhoud. Hummel: “Het blijkt dat voor beide games de leerwinst inderdaad hoger wordt als je studenten regelmatig via een dashboard laat zien hoe ze presteren. Ze voelen zich ook competenter als ze zien dat ze daadwerkelijk iets van de game opsteken. Ook zien we dat studenten die het dashboard kunnen zien op een efficiëntere manier door de game-activiteiten heen gaan, zij vertonen een hogere ‘performance’ en maken bijvoorbeeld minder fouten. Wellicht is voor games van hogere complexiteit nog wat meer specifieke feedback nodig, omdat deze nu soms als te weinig specifiek wordt ervaren.” De tool maakt mogelijk dat docenten daar in de toekomst in mee aan de slag kunnen gaan. 

Zelf serious game ontwerpen 

Hummel en zijn team richten de energie alweer op andere projecten, zoals het makkelijker toegankelijk maken van digitale didactiek die je nodig hebt bij het ontwerpen van een goede serious game. Enthousiast vertelt hij: “We zijn bezig met het ontwikkelen van een design wizard die docenten kunnen gebruiken als ze zelf een serious game gaan ontwerpen. Nu is het zo dat multidisciplinaire teams nodig zijn voor het ontwikkelen van een spel. Dat is ontzettend arbeidsintensief en een belangrijke reden waarom serious gaming relatief weinig wordt toegepast. Hogescholen en universiteiten grijpen vaak eerder naar gamification, waarbij je spelelementen gebruikt in je bestaande lessen om deze attractiever te maken. Gamification draagt dan wel bij aan de fun, maar het leerrendement is vaak afwezig. Onze design wizard moet docenten straks helpen bij het ontwikkelen van een kwalitatieve serious game, die én leuk is om te spelen én bijdraagt aan de leerdoelen. Bij de ontwikkeling van die wizard gebruiken we uiteraard ook de Gamebrics-aanpak."

Hoe te gebruiken? 

Een voorwaarde om in aanmerking te komen voor de Stimuleringsregeling Open en online onderwijs is dat andere hogescholen en universiteiten ook gebruik kunnen maken van de innovatie. Daarom is Gamebrics via uitgebreide documentatie en tooling te ontsluiten. Op de projectwebsite www.gamebrics.nl staat beschreven hoe dat moet. Daar vind je ook meer informatie en een demo.