Het e-portfoliosysteem Scorion binnen HBO-ICT aan de HvA

Dit interview heeft begin juni 2023 plaatsgevonden

“Sinds 2022 werken wij met Scorion binnen de propedeusefase van de opleiding”, vertelt Jan Berends Lecturer Business, IT & Management. Instellingsbreed werken wij  met het e-portfoliosysteem Portflow. “Mocht dit voldoen aan onze functionele eisen, is er een kans dat we uiteindelijk overstappen naar dit e-portfoliosysteem”, vertelt Jedeloo. 

Functies van het e-portfoliosysteem 

Arthur Jedeloo, Lecturer Business, IT & Management vertelt: “Wij hebben een duidelijke gedachte over de functie van e-portfolio. Voor ons is het e-portfolio een leermiddel voor studenten om feedback, feedup en feedforward te geven. De student is in staat om zijn of haar eigen voortgang in te zien en dit te koppelen aan normen/criteria waaraan hij/zij getoetst wordt. Ook is het van belang dat de docent en/of coach in staat is om de student te volgen”. 

Berends voegt hieraan toe: “We hebben ook datapunten waarmee we de ontwikkeling van de student kunnen volgen”. Deze datapunten worden ook beoordeeld: er wordt steeds gekeken of de student onder, op of boven niveau scoort. Hierbij is het belangrijk dat de besliscommissie in staat wordt gesteld om uiteindelijk een summatieve beoordeling te doen. De besliscommissie is verantwoordelijk voor het nemen van beslissingen met betrekking tot de beoordeling en evaluatie van studenten. Zij beslist of een student voldoet aan de gestelde beoordelingscriteria en of ze geschikt zijn om door te gaan naar een volgende fase van hun opleiding of om een diploma te behalen. Zij hebben een dashboard waarbij alle informatie (de leeruitkomsten) heel toegankelijk wordt gepresenteerd. “Met ons e-portfoliosysteem ben je in staat om alle datapunten goed te verzamelen en een relatie te leggen met de leeruitkomsten.” 

Het algemene leer- en toetsproces 

Binnen de propedeusefase is er een blok van 10 weken met in totaal 3 sprints. Aan het begin van elke sprint formuleert de student een leerdoel voor die sprint en op het laatst levert hij dan zijn producten in. Deze vormen de ‘datapunten’. “Belangrijk om te vermelden is dat de student zelf ook een datapunt kan aanmaken om bewijs aan te dragen”, geeft Berends aan.  

Er zijn diverse meetmomenten (zie voor een voorbeeld Figuur 1). Bij het beoordelen aan het einde van een sprint is er een sprintreview waar gekeken wordt naar het beroepsproduct. Er zijn gedurende een sprint ook retrospectives waarin gekeken wordt naar de samenwerking en andere professional skills. Tussendoor vindt er bij ieder blok standaard een coachingsgesprek plaats en wordt ‘onder de motorkap’ gekeken bij een expert review. “Deze coaching is verder verschillend per semester/module”, vertelt Jedeloo. Dit wordt op verschillende plekken op verschillende manieren gedaan. Coaching kan zijn van de coach, studieadviseur, (vak)docenten, peers en studenten. “Wij vinden het dan ook heel erg belangrijk dat het systeem toegankelijk is voor externen”, vertelt Berends. 

Aan het einde van de 3 sprints kijkt de besliscommissie zorgvuldig naar het portfolio van de student. Het beoordelingsproces is recent meer geformaliseerd. Zo bestaat de besliscommissie uit drie mensen, waarbij de coach advies mag geven. Hier is een beslisprocedure voor gemaakt, om de ongewenste beoordelaarseffecten eruit te halen. “In zo’n commissie moet natuurlijk ook iemand zitten die goed zicht heeft op het onderwijs wat daarna komt in die periode. Ook moet er boven alle besliscommissies heen worden gekalibreerd”. 

Er wordt volgens Jedeloo steeds een onderscheid gemaakt tussen waarderen en beoordelen. “Dit zit hem in het didactische proces”, vertelt hij. Wat onder het waarderen wordt verstaan kun je bediscussiëren. Daar zul je ook verschillende meningen over naast elkaar krijgen. Een belangrijk element is het kunnen volgen van een student tijdens het proces. Voor een besliscommissie is het belangrijk dat zij achteraf kunnen zien welke ontwikkeling er was. “Je hebt allemaal doorsneden waar je het overzicht van wilt hebben”. Belangrijk hierbij is dat zo’n besliscommissie een overzicht krijgt, waar zij gemakkelijk de juiste informatie uit kunnen trekken.  De studenten hebben tijdens elke sprint de mogelijkheid om te reflecteren op hun eigen functioneren van de afgelopen periode. Het online dashboard maakt dit overzichtelijk voor de student.  

Eigenaarschap van de student 

 “Eigenaarschap van de student staat bij ons hoog in het vaandel”, stelt Jedeloo. Zo heeft de student de mogelijkheid om het e-portfolio zelf in te richten zonder daarbij gebruik te maken van een sjabloon. Ook kan de student eigen datapunten en feedback toevoegen aan zijn portfolio. Berends: “Bij programmatisch toetsen heb je namelijk altijd vaste en vrije datapunten”. 

Daarnaast is de student in staat om eigen leerdoelen te formuleren en deze te koppelen aan metadata. “Natuurlijk moet aan het einde van een sprint je product aan bepaalde kwaliteitscriteria voldoen. Deze skills zijn uitgewerkt in gedragscriteria die je gebruikt om die skills te beoordelen”, vertelt Berends. Jedeloo geeft aan dat er soms wel de ruimte is om hier zelf invulling aan te geven. Tot slot heeft de student de mogelijkheid om producten/bewijslast te koppelen aan leeruitkomsten/leerdoelen/competenties. 

Een online dashboard 

Jedeloo: “De studenten krijgen inzicht in hun eigen ontwikkeling aan de hand van een online dashboard. Zowel de coach als de student kunnen elk moment bij dit dashboard.” Momenteel wordt dit online dashboard nog verder doorontwikkeld. In Figuur 2 is een voorbeeld weergegeven hoe het dashboard er (vermoedelijk) uit komt te zien in het volgende studiejaar. Daarnaast kan zowel de student als de coach binnen het online dashboard altijd zien welke feedback eerder is gegeven door de coach of een ander. “Dit is te vergelijken met een dokter die in het dossier kijkt en daarin alle patiëntgegevens aantreft”, geeft Jedeloo aan. 

Feedback op leeropbrengsten en reflecties  

De studenten ontvangen zowel peerfeedback, feedback van de docent als feedback uit het werkveld. Studenten vertonen veel ‘feedback seeking behavior’, benoemt Jedeloo. “We zien bijvoorbeeld vaak dat eerstejaars studenten uit zichzelf bij ouderejaars (die als student-assistent functioneren), op zoek gaan naar feedback”.  

Belangrijke succesfactoren 

Een belangrijke succesfactor voor het proces is dat bedrijven toegang hebben tot het systeem. “Dit vinden wij een belangrijke functionaliteit die ons huidige e-portfoliosysteem ondersteunt”, benoemt Jedeloo.  

Een andere belangrijke succesfactor is dat de remediatie goed moet worden ondersteund. Door tussentijds al feedback te kunnen geven aan de student, krijg je inzicht in het hele proces en kun je op tijd een signaal afgeven naar de student. Student en coach moeten beiden de historie kunnen inzien, op een heldere en overzichtelijke manier. Ook andere docenten die tussentijds niet betrokken waren bij het ontwikkelproces van de student, krijgen op deze manier inzichtelijk waar de student staat en waar hij of zij specifiek aan moet gaan werken. Beide partijen, dus zowel de student als de coach/docenten, moeten de historie dus op een snelle en overzichtelijke manier kunnen inzien. “Ons huidige e-portfoliosysteem ondersteunt dit redelijk goed, maar we willen ernaartoe dat je de feedback en het dashboard in één hebt”, stelt Jedeloo. 

Functionele knelpunten 

“Wat ik een groot nadeel vind is dat je steeds moet doorklikken”, vertelt Jedeloo. Informatie is alleen beschikbaar wanneer je meerdere malen hebt geklikt. “Op dit soort momenten begint het systeem leidend te worden en begint het ook in de beleving van de coaching en de feedback het proces te sturen. Hierdoor kun je niet op een overzichtelijke manier bij de feedback die beschikbaar is. Je kan niet in één opslag zien of er enig patroon zit in de diverse feedback die er is gegeven. Het overzicht ben je dan gelijk kwijt. “We zijn dan ook bezig met een andere inrichting van ons e-portfoliosysteem, zodat het proces efficiënter wordt en het geven van feedback dus gemakkelijker wordt”, vertelt Jedeloo. Hierdoor kun je bovendien ook meer datapunten krijgen. Jedeloo: “Gelukkig heeft ons e-portfoliosysteem de mogelijkheid om het proces helemaal in te richten zoals je zelf wilt. We voegen ons eigen sausje eraan toe”.