Inleiding
In dit document worden kort de resultaten van de interventies Blackboard formatieve test en aanwezigheid in de nieuwe lessen gekoppeld aan de resultaten van de toets. Engels en Nederlands zijn gescheiden in de analyses. Aan alle docenten (tezamen 8 docenten/ 8 klassen) is gevraagd om de deelname in elke les op naam bij te houden. Dit hebben 6 docenten ook gedaan. Daarnaast is een uitdraai gemaakt van de deelname aan de toetsen op Blackboard op de dag vóór de toets, aan het einde van die dag. De aanname is hier dat studenten de dag voor de toets nog actief zijn op Blackboard, maar niet meer op de dag van de toets. De deelname op Blackboard na afloop van de toets zou de effecten kunnen beïnvloeden.
Beschrijvende analyses
In het Nederlandstalige programma namen studenten gemiddeld aan 45% van de toetsen op Blackboard deel [1]. Dit percentage ligt gelijk aan het Engelstalige programma. Er waren aanloopproblemen in de eerste drie weken, omdat er gebruik was gemaakt van de optie ‘adaptive release’. Dit betekent dat studenten pas het volgende kunnen zien in Blackboard, als ze een eerdere opdracht of handeling hebben uitgevoerd. Dit bleek niet goed te werken en daarom moest dat worden aangepast. De relatief lage deelname kan hierdoor mede worden verklaard. Studenten TM namen significant vaker deel dan studenten HM. In het Nederlandstalige programma zat hierin geen onderscheid.
De opkomst in de lessen, zeven in totaal, was gemiddeld vijf keer, en dit is nagenoeg gelijk voor het Engelstalige en Nederlandstalige programma. De opkomst lag voor HTRO/TM significant hoger dan bij de andere studierichtingen. De toets is beter gemaakt in het Nederlandstalige programma dan in het Engelstalige programma, met respectievelijk 63% geslaagden en 45% geslaagden [2].
Toetsende analyses
Er is vervolgens gekeken in welke mate het bijwonen van de lessen (waarvan data beschikbaar was) en het meedoen aan testen op Blackboard (alle klassen) een (positieve) invloed heeft op het presteren in de toets. Het beeld is niet eenduidig, en wellicht was dat op basis van de verschillen in de beschrijvende analyses ook wel te verwachten. Ten eerste is het beeld onvolledig; van niet alle klassen is de deelname aan de les per week bekend. Ten tweede waren er opstartproblemen op Blackboard, waardoor ook daar ruis ontstaat.
Zowel in het Nederlandstalige als Engelstalige programma heeft het bijwonen van de lessen een positieve invloed op het toetsresultaat; hoe meer een student heeft deelgenomen, hoe hoger het resultaat. Dit geldt ook voor de deelname aan de toetsen op Blackboard; hoe meer testen de student heeft gemaakt (ongeacht het resultaat) hoe beter het toetsresultaat was. In het Engelstalige programma is ook een sterke positieve samenhang zichtbaar tussen het bijwonen van de lessen en het maken van de toetsen op Blackboard (het versterkt elkaar).
Conclusie
De doelstelling van het aanpassen van de lessen en digitale lesomgeving (flipped classroom principe) van Kwantitatief Onderzoek/ Quantitative Research was vierledig:
1. Hogere studenttevredenheid
2. Hoger/ meer stabiel rendement op de toets
3. Langere termijn leren (langer dan het semester dan deze module loopt)
4. Hogere docenttevredenheid
Over doelstelling 1 en 3 kunnen nog geen uitspraken worden gedaan. Er is geen eenduidige kwantitatieve meting gedaan van de studententevredenheid over deze module. Daarnaast kan over de huidige groep studenten nog geen uitspraak worden gedaan over de mate van langere termijn leren.
Doelstelling 2 lijkt deels bereikt. In het Nederlandstalige programma is over de hele lijn het rendement stabiel (alle licenties scoren goed). In het Engelstalige programma waren met name bij HHO problemen met de klas; de klas wilde niet deelnemen, zette zich niet in. Het betrof hier slechts een groep. Bij TM was het rendement niet beter of slechter dan anders. Een eenduidige conclusie betreffende rendement is daarmee lastig te trekken.
De docenten hebben in 1.7 het programma geëvalueerd. Het accent lag op evaluatie vanuit het studentperspectief, maar het docentperspectief is ook ter sprake gekomen. Hoewel er opstartproblemen waren en niet alle studenten echt aan de slag gingen met het huiswerk, was er wel veel vertrouwen in de nieuwe aanpak. De docenten vonden het leuker om te doen.
Aanbevelingen
In het tweede semester, 14-15-2, zullen verbeteringen worden doorgevoerd. Zo zullen 1) de testen op Blackboard meer worden aangesloten op lesstof en toets, 2) er in elke week video’s (flipped classroom) beschikbaar zijn als onderdeel van de theorie en 3) kunnen de onder 1 genoemde testen vaker worden gemaakt (en dat wordt duidelijk gecommuniceerd.
Daarnaast is het van belang dat docenten het gedeelte van de les dat ‘geflipped’ is, niet alsnog gaan uitleggen in de les, omdat anders het principe niet werkt voor die klas. Er moet consequent stof worden overgeslagen/ niet worden besproken indien studenten hun huiswerk niet hebben gemaakt. Na afloop van het tweede semester zal het onderzoek zoals hierboven beschreven worden herhaald en vergeleken met de resultaten van het eerste semester.
[1] Er waren in totaal 6 toetsen te maken
[2] Overall, dus met herkansingen, blijft dit beeld overeind. Studenten in het Nederlandse programma hebben beter gepresteerd.
In dit document worden kort de resultaten van de interventies Blackboard formatieve test en aanwezigheid in de nieuwe lessen gekoppeld aan de resultaten van de toets. Engels en Nederlands zijn gescheiden in de analyses. Aan alle docenten (tezamen 8 docenten/ 8 klassen) is gevraagd om de deelname in elke les op naam bij te houden. Dit hebben 6 docenten ook gedaan. Daarnaast is een uitdraai gemaakt van de deelname aan de toetsen op Blackboard op de dag vóór de toets, aan het einde van die dag. De aanname is hier dat studenten de dag voor de toets nog actief zijn op Blackboard, maar niet meer op de dag van de toets. De deelname op Blackboard na afloop van de toets zou de effecten kunnen beïnvloeden.
Beschrijvende analyses
In het Nederlandstalige programma namen studenten gemiddeld aan 45% van de toetsen op Blackboard deel [1]. Dit percentage ligt gelijk aan het Engelstalige programma. Er waren aanloopproblemen in de eerste drie weken, omdat er gebruik was gemaakt van de optie ‘adaptive release’. Dit betekent dat studenten pas het volgende kunnen zien in Blackboard, als ze een eerdere opdracht of handeling hebben uitgevoerd. Dit bleek niet goed te werken en daarom moest dat worden aangepast. De relatief lage deelname kan hierdoor mede worden verklaard. Studenten TM namen significant vaker deel dan studenten HM. In het Nederlandstalige programma zat hierin geen onderscheid.
De opkomst in de lessen, zeven in totaal, was gemiddeld vijf keer, en dit is nagenoeg gelijk voor het Engelstalige en Nederlandstalige programma. De opkomst lag voor HTRO/TM significant hoger dan bij de andere studierichtingen. De toets is beter gemaakt in het Nederlandstalige programma dan in het Engelstalige programma, met respectievelijk 63% geslaagden en 45% geslaagden [2].
Toetsende analyses
Er is vervolgens gekeken in welke mate het bijwonen van de lessen (waarvan data beschikbaar was) en het meedoen aan testen op Blackboard (alle klassen) een (positieve) invloed heeft op het presteren in de toets. Het beeld is niet eenduidig, en wellicht was dat op basis van de verschillen in de beschrijvende analyses ook wel te verwachten. Ten eerste is het beeld onvolledig; van niet alle klassen is de deelname aan de les per week bekend. Ten tweede waren er opstartproblemen op Blackboard, waardoor ook daar ruis ontstaat.
Zowel in het Nederlandstalige als Engelstalige programma heeft het bijwonen van de lessen een positieve invloed op het toetsresultaat; hoe meer een student heeft deelgenomen, hoe hoger het resultaat. Dit geldt ook voor de deelname aan de toetsen op Blackboard; hoe meer testen de student heeft gemaakt (ongeacht het resultaat) hoe beter het toetsresultaat was. In het Engelstalige programma is ook een sterke positieve samenhang zichtbaar tussen het bijwonen van de lessen en het maken van de toetsen op Blackboard (het versterkt elkaar).
Conclusie
De doelstelling van het aanpassen van de lessen en digitale lesomgeving (flipped classroom principe) van Kwantitatief Onderzoek/ Quantitative Research was vierledig:
1. Hogere studenttevredenheid
2. Hoger/ meer stabiel rendement op de toets
3. Langere termijn leren (langer dan het semester dan deze module loopt)
4. Hogere docenttevredenheid
Over doelstelling 1 en 3 kunnen nog geen uitspraken worden gedaan. Er is geen eenduidige kwantitatieve meting gedaan van de studententevredenheid over deze module. Daarnaast kan over de huidige groep studenten nog geen uitspraak worden gedaan over de mate van langere termijn leren.
Doelstelling 2 lijkt deels bereikt. In het Nederlandstalige programma is over de hele lijn het rendement stabiel (alle licenties scoren goed). In het Engelstalige programma waren met name bij HHO problemen met de klas; de klas wilde niet deelnemen, zette zich niet in. Het betrof hier slechts een groep. Bij TM was het rendement niet beter of slechter dan anders. Een eenduidige conclusie betreffende rendement is daarmee lastig te trekken.
De docenten hebben in 1.7 het programma geëvalueerd. Het accent lag op evaluatie vanuit het studentperspectief, maar het docentperspectief is ook ter sprake gekomen. Hoewel er opstartproblemen waren en niet alle studenten echt aan de slag gingen met het huiswerk, was er wel veel vertrouwen in de nieuwe aanpak. De docenten vonden het leuker om te doen.
Aanbevelingen
In het tweede semester, 14-15-2, zullen verbeteringen worden doorgevoerd. Zo zullen 1) de testen op Blackboard meer worden aangesloten op lesstof en toets, 2) er in elke week video’s (flipped classroom) beschikbaar zijn als onderdeel van de theorie en 3) kunnen de onder 1 genoemde testen vaker worden gemaakt (en dat wordt duidelijk gecommuniceerd.
Daarnaast is het van belang dat docenten het gedeelte van de les dat ‘geflipped’ is, niet alsnog gaan uitleggen in de les, omdat anders het principe niet werkt voor die klas. Er moet consequent stof worden overgeslagen/ niet worden besproken indien studenten hun huiswerk niet hebben gemaakt. Na afloop van het tweede semester zal het onderzoek zoals hierboven beschreven worden herhaald en vergeleken met de resultaten van het eerste semester.
[1] Er waren in totaal 6 toetsen te maken
[2] Overall, dus met herkansingen, blijft dit beeld overeind. Studenten in het Nederlandse programma hebben beter gepresteerd.