Fork me on GitHub

D-PAC

Eerlijk en doeltreffend beoordelen

Waarom anders beoordelen?

Competenties vormen een sleutelbegrip voor veel organisaties waarin leren en opleiden centraal staan. Deze competenties efficiënt en tegelijkertijd kwaliteitsvol beoordelen vormt echter een uitdaging. Competenties kunnen namelijk niet goed in kaart worden gebracht via klassieke toetsen, omdat ze meer dan alleen maar kennis omvatten. Om competenties in zijn geheel te kunnen beoordelen, wordt vaak gebruik gemaakt van ‘performance assessments’.

Bij dit type beoordeling wordt aan mensen gevraagd om de competentie te gebruiken bij het uitvoeren van een toepassingstaak al dan niet in een authentieke context. Dit levert een ‘representatie’ van de competentie op. Deze representaties worden doorgaans beoordeeld door scores toe te kennen aan deelaspecten van de competentie (al dan niet met behulp van een criterialijst). Onderzoek toont aan dat het oordeel (toegekende punten) over deze representaties sterk kan verschillen naargelang het moment van beoordelen en kan afhankelijk zijn van de beoordelaar. Als je over drie maanden wordt gevraagd om opnieuw eenzelfde taak te beoordelen, dan is de kans klein dat je aan de taak dezelfde score zal toekennen als wanneer je dat de eerste maal deed. En als je aan meerdere beoordelaars vraagt een punt toe te kennen aan een taak, is de kans klein dat iedereen hetzelfde punt toekent. Dit toont aan dat deze methode sterk beïnvloed wordt door factoren die niet relevant zijn voor de beoordeling.

Een veelbelovend alternatief voor het beoordelen van competenties dat voorgaande problemen tegengaat, is ‘Comparative Judgement’. In deze methode worden er telkens verschillende representaties met elkaar vergeleken. Elke beoordelaar moet steeds beslissen welke representatie het beste scoort op een bepaalde competentie. Al deze vergelijkingen worden door verschillende beoordelaars uitgevoerd, samen komen ze tot een ordening naar gelang kwaliteit. Het project ‘Digitaal platform voor het assessment van competenties’ (D-PAC) zal deze methode verder wetenschappelijk onderzoeken en deze inzichten integreren in een digitaal platform. Verder onderzoeken we de verschillende feedbackmogelijkheden die uit D-PAC kunnen rollen. Hiermee willen we een antwoord bieden op de uitdaging om competenties efficiënt en tegelijkertijd kwaliteitsvol te beoordelen. Het D-PAC project wordt gefinancierd door het IWT (Agentschap voor Innovatie door Wetenschap en Technologie) binnen het programma van Strategisch Basisonderszoek.

Hoe werkt het?

De tool

D-Pac dataverzameling 2 screencast from imec.support on Vimeo.

De beoordeling van competenties in D-PAC verloopt op een vernieuwende manier. Beoordelaars geven geen punten, vullen geen criterialijst in, maar beantwoorden enkel de vraag welke van de twee representaties beter is in termen van de te beoordelen competentie, dit heet paarsgewijze vergelijking (CJ, comparative judgement). Daarbij kunnen beoordelaars wel terugvallen op een algemene omschrijving van de te beoordelen competentie en bijhorende belangrijke subdimensies. De paren van de representaties kunnen op verschillende wijzen worden samengesteld. Een mogelijkheid is om dit ad random te doen. De verschillende paren worden dan als het ware toevallig samengesteld. Hierin kan wel een veiligheid gebouwd worden opdat niet telkens hetzelfde paar zou terugkomen. Om tot een betrouwbare rangorde te komen, moet elke representatie meerdere malen worden vergeleken met een andere. Om deze methode efficiënter te maken onderzochten wetenschappers een andere manier om paren samen te stellen, namelijk adaptieve paarsgewijze vergelijking (ACJ, adaptive comparative judgement). Bij ACJ wordt bij elke beoordelingsronde  een nieuwe ‘score’ geschat. In de volgende beoordelingsronde wordt de representatie vergeleken met een representatie met een gelijke schatting waardoor er meer statistische informatie per beoordeling wordt gegenereerd in vergelijking met de klassieke paarsgewijze vergelijking. Omdat er op die manier minder beoordelingen per representatie nodig zijn, werkt deze methode efficiënter. D-PAC kan gebruikmaken van beide methodes.