Gepersonaliseerde feedback in grootschalig onderwijs

Van Vliet is naast universitair docent bij de Universiteit van Amsterdam (UvA) sinds vorig jaar ook opleidingsdirecteur van de bachelor Psychobiologie. Als universitair docent doe je ook wetenschappelijk onderzoek en die onderzoeksinteresse neemt hij mee in het onderwijs. “Ik ben ontzettend geïnteresseerd in hoe we evidence-based het onderwijs kunnen verbeteren. Het geven van feedback is één van de thema’s waar ik me over buig”, vertelt hij. 

Meester-gezelprincipe opschalen  

Als docent zou hij het liefst lesgeven via het meester-gezelprincipe. “Maar dat gaat niet als je 300 studenten begeleidt”, weet hij. Hoe kun je ondanks het grootschalige onderwijs toch gepersonaliseerde feedback geven? Die vraag leidde tot een subsidieaanvraag bij NRO en de ontwikkeling van het dashboard IguideME, wat staat voor I Guide My Education. Dit dashboard wordt momenteel doorontwikkeld met een bijdrage uit de Stimuleringsregeling voor Open en Online onderwijs in het project FeedbackGO, waarbij GO staat voor grootschalig onderwijs. 

De uitgangspunten van het IguideME-dashboard zijn: 

• De tool geeft gepersonaliseerde feedback aan studenten, zonder dat het meer werk betekent voor de docent. Het dashboard gebruikt namelijk data die toch al verzameld worden in de online leeromgeving (in geval van de UvA is dat Canvas).
• De tool geeft niet alleen achteraf feedback over de behaalde leerresultaten, maar ook gedurende het leerproces over de voortgang en het gebruik van de aangeboden leermiddelen.
• De tool stimuleert studenten om beter hun best te doen door hun inspanningen en leerresultaten te vergelijken met een peer group (en dus niet uit te gaan van groepsgemiddelden). De peer group wordt bepaald aan de hand van het doelcijfer dat studenten willen halen voor een cursus: ga je voor een zo hoog mogelijk cijfer of ben je tevreden met een zes?
• De tool helpt docenten om eerder te signaleren welke studenten achterlopen en geeft daarnaast ook feedback over hun course design (draagt jouw didactische aanpak bij aan een goed leerresultaat of kun je bepaalde onderdelen nog verbeteren?). 

Grootschalig feedback geven 

Van Vliet zette de tool in, in zijn eigen onderwijs. Maar hij had ook wel in de gaten dat het gebruik van IguideME nooit verder zou komen dan hemzelf als hij geen vervolgstappen zou zetten. Voor het SURF-project FeedbackGO zocht hij universiteiten die interesse hadden in een bredere studie. De Rijksuniversiteit Groningen (RUG) en de Vrije Universiteit Amsterdam (VU) haakten aan. Samen deden ze de aanvraag bij de Stimuleringsregeling open en online onderwijs. “Ik zie namelijk in mijn eigen praktijk dat het werkt, maar ik zoek breder bewijs voor die werking bij andere universiteiten en vakken”, zegt hij.

Hij opent zijn scherm om te laten zien hoe het IguideME dashboard eruitziet. Te beginnen bij dat voor studenten. Van Vliet: “Op het moment dat studenten de tool gaan gebruiken, moeten ze eerst hun doelcijfer aangeven: welk eindcijfer willen ze behalen voor de cursus? Op basis van het doelcijfer worden de peer groups samengesteld.”

De tool haalt vervolgens data uit Canvas, de digitale leeromgeving van de UvA, en vult daarmee volautomatisch het dashboard. In een chart zien de studenten hoe zij presteren ten opzichte van hun peers op aspecten als leestijd, aanwezigheid gedurende colleges, aantal gemaakte opdrachten et cetera. Met behulp van artificial intelligence (AI) wordt zelfs het eindcijfer van de cursus voorspeld. Van Vliet: “Dit cijfer bepalen we aan de hand van historische en actuele data.” Docenten zien op hun beurt in hun dashboard hoe intensief studenten gebruikmaken van de aangeboden tools en leermiddelen, en wat bijvoorbeeld de impact is als je een bepaalde opdracht wel of niet laat meetellen voor het eindcijfer. Ook kunnen zij doorklikken naar de studievoortgang van hun studenten om te zien wie er extra begeleiding nodig heeft. 

Wetenschappelijk bewijs 

Als wetenschapper was Van Vliet uiteraard erg nieuwsgierig naar de impact van IguideME. Daarom zette hij een onderzoek op waarbij hij studenten verdeelde in twee groepen: de ene helft kreeg wel toegang tot de tool, de ander helft niet. Voorafgaand en na afloop van de cursus vulden studenten een gevalideerde vragenlijst in die iets vertelt over het studiegedrag van studenten.

Van Vliet: “Je ziet dat er in de vragenlijsten vooraf geen enkel verschil zit tussen beide groepen. Terwijl we na afloop significante verschillen zien tussen de twee groepen in hun zelfregulatie, in peer learning (de mate waarin ze met elkaar en van elkaar leren) en het net iets beter willen doen dan anderen. De studenten die IguideME gebruikten vertoonden meer zelfgestuurd leergedrag en gaven aan meer gemotiveerd te zijn om te studeren. We zagen dat de extrinsieke motivatie (gedreven door externe prikkels, bijvoorbeeld een cijfer) in beide groepen gelijk bleef. Dat is positief, omdat we juist willen dat studenten gemotiveerd zijn om de inhoud, niet alleen om het cijfer.”  

Van Vliet dook ook dieper in de leerresultaten. Daaruit bleek dat de makkelijke tentamenvragen door beide groepen studenten even goed werden beantwoord. De verschillen tussen beide groepen zag je pas bij de complexere vragen. “We hebben ook met AI stukken tekst geanalyseerd die studenten maken als onderdeel van een leesopdracht.  Daaruit bleek duidelijk dat de studenten die het dashboard gebruiken de stof beter begrijpen en daarom inhoudelijk betere teksten formuleren.” 

Voor ieder type onlineonderwijs 

Op dit moment vindt een bredere uitrol van IguideME plaats op Van Vliet’s eigen universiteit (UvA), alsmede op de VU en de RUG, waar ze respectievelijk Canvas en Bright Space als online leeromgeving gebruiken. “De tool is open source en we willen deze koppelen met alle digitale leeromgevingen, daar doen we nu ervaring mee op”, zegt Van Vliet. Onderdeel van de uitrol zijn workshops en een demo-omgeving voor docenten, zodat zij goed beslagen ten ijs komen als ze de tool gaan inzetten. “Want het werkt niet als je dit simpelweg ‘over de schutting gooit’ bij docenten. Je moet ze wel begeleiden in het gebruik hiervan.” 

Van Vliet hoopt dat IguideME ooit de gouden standaard wordt voor ieder type (online) onderwijs. “Want we focussen ons nu op het hoger onderwijs, maar dit kun je net zo goed toepassen in het mbo, hbo of voortgezet onderwijs. Je ziet nu dat we als onderwijsssector learning analytics teveel overlaten aan de markt, met het risico dat leveranciers er straks vandoor gaan met de data van onze studenten. Met IguideME hou je als onderwijsinstelling zelf in de hand welke data je op welke manieren gebruikt. Je kunt daar ook transparant over zijn naar studenten.” Een reden temeer om IguideME te testen.