De laatste twee jaar zie ik bij leraren-in-opleiding een trend om als afstudeeronderzoek een interventie te doen op het gebied van gamification, in de vorm van een spelconcept. Als de interventie goed wordt uitgevoerd en de doelgroep (leerlingen of studenten) enthousiast reageert, dan is dat zeker positief te noemen.

Om het bestaansrecht van gamification helder te krijgen, hebben we echter meer nodig dan alleen enthousiasme.

Geen mosterd na de maaltijd
“Oeps… er is geen voormeting uitgevoerd in het betreffende onderzoek. Oh, de interventie is wel erg kort. Wat doen er weinig respondenten mee. Jammer, er is geen controlegroep.” Een greep uit mogelijke tekortkomingen. Los van eventueel positieve, significante resultaten maakt zo`n optelsom het niet mogelijk om in de conclusie van je onderzoek stijging van motivatie toe te wijzen aan de interventie (het spelconcept).

In de hoop dat er meer bruikbaar onderzoek komt naar gamification, geef ik in deze blog een aantal essentiële tips om mee te nemen.

1. Ontwerp een interventie die niet te kort is
Voorkom het Hawthorne-effect: de uitwerking van een interventie op een onderzocht persoon, dat uitsluitend te wijten is aan het feit dat deze aan een onderzoek meedoet. Als het nieuwe van het spelconcept eraf is, dan moet het spelconcept zich bovendien ‘echt bewijzen’ in de klas. Een langlopend spelconcept in de vorm van een lessenreeks is aan te raden.

2. Ontwerp een interventie sterk onderbouwd vanuit de motivatietheorie in je theoretisch kader
Gebruik je bijvoorbeeld de Self Determination Theory, dan moeten in je spelconcept de onderliggende elementen (in dit geval: autonomie, competentie en relatie) zeer expliciet uitgewerkt zijn. Hoe probeer je door middel van deze elementen te zorgen voor meer motivatie? Welke concrete prikkels zijn ingebouwd, waarom en hoe werken ze? Denk je dit niet goed uit, dan is de kans groot dat je niet of niet precies genoeg meet wat je wilt meten (namelijk het effect van het spelconcept op de motivatie).

3. Zorg altijd voor een controlegroep!
De afwezigheid van een controlegroep in onderzoek is een harde game-over. Het verschil in motivatie kun je dan voor en na niet goed toeschrijven aan interventie. Of beter gezegd: dat kan niet. Je hebt immers alleen gekeken naar leerlingen die de interventie hebben ondergaan en je kunt deze groep onmogelijk vergelijken met leerlingen die de interventie niet hebben meegemaakt.

4. Let op effectgrootte
Significante verschillen in je onderzoeksresultaten zijn uiteraard nodig. Er mag nauwelijks (minder dan 5%) kans zijn dat er sprake is van toeval in de meetresultaten. Daarnaast moet je de relevantie van je onderzoek kunnen aantonen, met behulp van de effectgrootte: de kans dat bepaalde aanwezige effecten in het onderzoek juist niet zijn gemeten. Hoe groter de effectgrootte, hoe hoger de relevantie. De effectgrootte is onder andere afhankelijk van je steekproefgrootte.

5. Let op steekproefgrootte
Over het algemeen kun je stellen: hoe meer respondenten, hoe groter de kans wordt dat je data standaard normaal blijkt te zijn. Dat is prettig, want dan kun je krachtigere statistische toetsen gebruiken, mits je onderzoeksdata voldoet aan alle andere voorwaarden die deze toetsen vooraf stellen. Betrek in principe meerdere klassen (groepen leerlingen, studenten) in je onderzoek.

Laten we kritisch(er) kijken naar de te ontwerpen interventie en onderzoeksopzet. Daar valt een groot deel van de winst te behalen!