Toetsen op tablets: een fluitje van een cent?

_MG_7596-2

Saskia Wools, coördinator prototyping

De zomervakantie staat voor de deur. Heeft u uw tablet of e-reader al gevuld met boeken voor aan het strand of op de camping? Of bent u zo iemand die toch liever een echt boek in de hand heeft? Want digitaal lezen of van papier, dat voelt toch vaak nog anders. En misschien is het ook wel anders, lezen van papier of op een scherm. Sterker nog, het maakt al uit of het scherm van een laptop is of van een tablet. En dat geldt niet alleen voor lezen: pakt u ook liever uw laptop om een mail te versturen terwijl u een krantenartikel liever op uw tablet leest?

Verschillende voorkeuren: ook voor het maken van een toets?
Het is heel normaal dat we voor elke activiteit het best passende apparaat kiezen en dat we daar verschillende voorkeuren voor hebben. Als we dit in ons dagelijks leven al ervaren, dan geldt dit waarschijnlijk ook voor toetsen. Is het voor leerlingen anders om een toets op een tablet te maken dan op een computer of op papier? En als dat zo is, waar moeten we dan bij het ontwikkelen van die toetsen rekening mee houden?

shutterstock_248226280

Vijf punten om rekening mee te houden
Het antwoord op deze vraag wisten we bij Cito nog niet.  Zou het antwoord ‘ja’ zijn, dan heeft dat consequenties voor ons werk, het maken van toetsen. Daarom hebben we afgelopen jaar een verkennend onderzoek gedaan naar toetsen op tablets. Uit dit onderzoek kwamen vijf aandachtspunten. Sommige punten gelden voor digitaal toetsen in het algemeen, anderen zijn specifiek voor toetsen op tablets. Ik zet ze hieronder voor u op een rij.

1. Andere opgaventypen
Er bestaan veel verschillende soorten opgaven die we kunnen gebruiken in toetsen. De meest bekende opgaven zijn natuurlijk meerkeuzevragen en open vragen. Maar er bestaan ook opgaven waarbij de leerling een bepaald gebied in een plaatje moet aanklikken, of plaatjes moet slepen. Als we gaan toetsen op tablets kunnen we opgaven ontwikkelen die nadrukkelijk gebruikmaken van de mogelijkheid om het scherm aan te raken. Een voordeel is dat de leerling die de toets maakt minder bezig is met ‘bedienen’, maar meer bezig is met het juiste antwoord op de vraag te bedenken.

2. Lay-out
Kent u dat? Dat u een formulier wilt invullen op uw tablet en dat dan het toetsenbord een groot deel van het scherm bedekt? Bij een formulier op internet is dat meestal nog niet zo erg, maar als het toetsenbord op het scherm een toetsvraag bedekt, is dat toch vervelend. Het is dus belangrijk dat we de opgaven, teksten en plaatjes van een toets zo ontwikkelen dat alles zichtbaar is, maar tegelijk ook groot genoeg om alles goed te kunnen zien.

3. Meten we hetzelfde?
Ik begon deze blog al met de vraag of lezen op het scherm anders is dan lezen van papier. Het antwoord op deze vraag is voor ons belangrijk, omdat we met onze toetsen proberen om zo nauwkeurig mogelijk uitspraken te doen over wat leerlingen kennen en kunnen. En het is een voorwaarde dat we dan goed weten hoe de vaardigheid die we willen meten in elkaar zit. En als we bijvoorbeeld ontdekken dat lezen op een computerscherm anders is dan lezen op een tablet, dan betekent dit dat we de scores van toetsen op verschillende devices niet zomaar met elkaar kunnen vergelijken.

4. Voorkeuren van leerlingen
Uit ons onderzoek kwam naar voren dat leerlingen die thuis een tablet hebben het prettiger vinden om op een tablet te werken dan leerlingen die thuis geen tablet hebben. Dit is een belangrijke uitkomst. Het zou namelijk zo kunnen zijn dat het niet alleen bij voorkeur blijft maar dat deze leerlingen ook minder hoog scoren: niet omdat ze minder goed zijn, maar doordat de toets op een tablet is afgenomen. Dit zou natuurlijk ongewenst en oneerlijk zijn.

5. Afnametijd
Het laatste aandachtspunt betreft de afnametijd. Er zijn aanwijzingen dat het beantwoorden van open vragen op een tablet meer tijd kost dan op een computer. Dit kan bijvoorbeeld komen doordat de bediening op een tablet toch meer tijd kost. Dit kan betekenen dat we in dezelfde toetstijd minder opgaven kunnen afnemen. En dit laatste zou jammer zijn, want bij toetsen geldt over het algemeen: hoe meer opgaven, hoe beter we kunnen meten. Omdat dit een belangrijk punt is gaan we hier zeker vervolgonderzoek naar doen.

Interessante mogelijkheden!
Toetsen op tablets: een fluitje van een cent? Nee, dat is het zeker niet. Maar de mogelijkheden zijn erg interessant! Wij nemen deze aandachtspunten dan ook mee bij het ontwikkelen van toetsen op tablets. We willen immers goede en eerlijke toetsen maken en daar hoort bij dat iedere leerling de kans krijgt een zo goed mogelijke prestatie te leveren. En, dat de resultaten van leerlingen vergelijkbaar zijn, ook al maakt de ene leerling de toets op papier en een andere leerling de toets op een tablet.

Wat zijn uw ideeën over toetsen op tablets? Wat zijn uw wensen? En welke voordelen of uitdagingen ziet u? Ik lees het graag!

11 comments

  1. Ruth Gruber · juli 15, 2015

    Vanuit mijn ervaring als studiebegeleider zou ik nog een aanvulling willen meegeven:
    Toetsen op tablet/PC zouden wat mij betreft de mogelijkheid moeten kunnen bieden om terug te kijken naar antwoorden en zo nodig nog te wijzigen. Bij tijd over helpt het sommige leerlingen als ze nog even een laatste check kunnen doen.
    Ook eigen keuze in de volgorde van beantwoorden zou een aanvulling zijn. het helpt soms om een moeilijke vraag over te slaan om geen tijd te verliezen. Veelal lukt het later nog om toch ook die vraag te beantwoorden.
    Dit kan stress en daarmee een passende prestatie beinvloeden.Veel digitale toetsen bieden deze \mogelijkheid nu( nog) niet.

    Like

    • citoblog · juli 15, 2015

      Goede aanvulling! Het is inderdaad belangrijk om zorgvuldig over de navigatie in een toets na te denken. Het liefst geven we leerlingen natuurlijk de kans om naar hartenlust vooruit en achteruit te bladeren. Dit sluit ook aan bij allerlei strategieën rondom faalangst reductie. Soms zijn er alleen wel inhoudelijke bezwaren om rekening mee te houden: bijvoorbeeld als er een rekenmachine of formulekaart bij een opgave aangeboden wordt en deze vervolgens door terugbladeren gebruikt kan worden bij een andere opgave (waar het hulpmiddel niet is toegestaan).

      Like

  2. Ben Wilbrink · juli 15, 2015

    Twee opmerkingen 😉

    Het is mooi opgeschreven, maar het blijft ook hier zo dat het apparaat en zijn onmogelijkheden mede bepalen hoe de toets wordt ontworpen. Dat leerlingen wederom niet hoeven te schrijven (hoewel dat ook nog wel eens technisch zal worden opgelost) is een majeure tekortkoming. Niet voor die ene toets, natuurlijk, maar wel voor alle toetsen over al gauw twee decennia heen.

    “… omdat we met onze toetsen proberen om zo nauwkeurig mogelijk uitspraken te doen over wat leerlingen kennen en kunnen.”
    Dit is een fictie, en iedereen weet dat. Waarom houdt het Cito toch hieraan vast? De fictie leidt bij het Cito zelf tot gebruik van statistische methoden die niet passen bij de werkelijkheid in het onderwijsveld. Bij de gebruikers van deze toetsen leidt het tot misverstanden en verkeerde verwachtingen.

    Like

  3. Liesbeth Leijnse · september 24, 2015

    Er bestaan ook adaptieve toetsen van de CITO. Haal je bepaalde vragen niet op een zeker niveau dan kan je niet op hetzelfde niveau door en stroom je af naar een ander (lager) niveau. Zo komen leerlingen/studenten nooit uit bij andere vaardigheden die later wel getoetst gaan worden. Het adaptieve karakter van de toets houdt hier geen rekening mee. Zodoende komt er door deze manier van toetsen een resultaat tot stand wat niet strookt met de vaardigheden van leerlingen/studenten. Het gevolg is het verlaten van een ( HBO ) opleiding die deze adaptieve toets gebruikt om studenten wel/niet toe te laten.
    Leerlingen/studenten kunnen door deze vorm van toetsen niet laten zien wat ze WEL in huis hebben.
    Vragen kunnen inderdaad niet even geparkeerd worden om door te gaan met wat je wel weet en kan. In tegenstelling tot de schriftelijke toets. M.i. kan dit niet de bedoeling zijn van een toets!

    Like

    • Saskia Wools · december 16, 2015

      Ai, het lijkt erop dat we deze reactie over het hoofd hebben gezien, onze excuses, Liesbeth. Toch bedankt en hierbij alsnog onze – hopelijk verhelderende – reactie die ik met advies van Theo Eggen (specialist adaptieve toetsen) heb gemaakt: onze adaptieve toetsen worden alleen ingezet in situaties waarin is bewezen dat álle potentiele opgaven die we kandidaten zouden kunnen voorleggen dezelfde vaardigheid meten. Op basis van de resultaten tijdens het toetsen wordt steeds de moeilijkheid van de af te nemen opgaven aangepast aan het vaardigheidsniveau van de kandidaat. Daarmee bereik je dat je veel sneller (met ongeveer de helft van de opgaven) én nauwkeuriger de vaardigheid van een kandidaat kunt vaststellen. Omdat iedereen op zijn eigen niveau wordt uitgedaagd, kunnen kandidaten met deze methode juíst goed laten zien wat ze in huis hebben. Dit in tegenstelling tot een gewone toets waarin vaak elke kandidaat veel te moeilijke of te gemakkelijke opgaven voorgelegd krijgt. Voor dit grote efficiëntie-voordeel lever je bij de huidige adaptieve toetsen de vrijheid van parkeren van opgaven inderdaad in. Er zijn echter ontwikkelingen die de combinatie van deze vrijheid met adaptieve toetsen mogelijk gaan maken. Wordt vervolgd!

      Like

      • Liesbeth Leijnse · december 16, 2015

        College voor de Rechten van de Mens heeft in november 2015 bij de casus van mijn dochter een aanbeveling gedaan. Om studenten met dyscalculie op een HBO instelling (PABO Amsterdam) de mogelijkheid te bieden om de rekentoets schriftelijk te maken als hierom verzocht wordt. Je kunt niet alle leerlingen/studenten over een adaptieve digitale kam scheren.

        Like

      • Saskia Wools · januari 4, 2016

        Vervelend dat dit voor uw dochter grote gevolgen had. Als ik het goed begrijp, gaat de discussie nu vooral over waar je als pabostudent aan moet voldoen en welke eisen er aan je (reken)vaardigheden mogen worden gesteld. Belangrijk is om dan te weten dat de HBO-raad dit bepaalt – wij maken de adaptieve WISCAT in opdracht.

        Like

  4. Petra · januari 5, 2016

    Het wordt nu echt tijd om de kleutertoetsen voor de tablet aan te bieden. Kleuters zijn in dit tablettijdperk niet muisvaardig!

    Like

    • Saskia Wools · januari 11, 2016

      Bedankt voor je reactie, Petra. Je hebt zeker een punt. Momenteel werken we hard aan een nieuw concept voor kleuters. Hiermee willen we nog beter aansluiten bij de belevingswereld van kinderen, ook door nieuwe toetsvormen. Afname op de tablet is zeker een logisch onderdeel daarvan. Wordt vervolgd!

      Like

  5. Joost · februari 11, 2016

    Inmiddels zitten we in 2016 en is het toetsen op tablets bij CITO nog steeds niet mogelijk. Vooral wat betreft de laatste opmerking van Petra, begint dat nu toch echt schrijnend te worden. De groep kinderen (en dat zijn allang niet meer alleen kleuters) die niet muisvaardig is en vooral thuis aan tablets gewend is is inmiddels enorm toegenomen. Tegelijkertijd is het aantal scholen dat volledig digitaal is gaan toetsen ook toegenomen. Dus het argument dat kinderen die aan tablets gewend zijn, een oneerlijk voordeel zouden hebben, gaat ook niet meer op. Het wordt nu eerder een oneerlijk nadeel.
    Daarnaast, alle bovengenoemde argumenten tegen tablets worden teniet gedaan als de eis wordt gesteld om een toetsenbord aan de tablet te koppelen. Het enige verschil is dan nog de grootte van het scherm. Wat zijn op dit moment eigenlijk de eisen die aan een computer voor digitaal toetsen worden gesteld? Hoe zit het met scholen die met een trackpad werken i.p.v. een muis. Mag dat wel?
    Ook zijn er al jaren duidelijk verschillen tussen toetsen op papier en toetsen op de computer. Al is het alleen al het punt dat hierboven door Ruth Gruber wordt genoemd. Ik durf zelfs te beweren dat het verschil tussen toetsen op papier en op een tablet kleiner zijn dan het verschil tussen papier en computer. De navigatie d.m.v vingers is immers een stuk intuitiever.
    Ik heb zo’n vermoeden dat de terughoudendheid van CITO om op tablets te toetsen eerder een financiële dan een ergonomische of didactische oorzaak heeft.

    Like

    • citoblog · maart 3, 2016

      Bedankt voor jouw bericht, Joost. Net als Petra heb je zeker een punt. Natuurlijk volgen wij de (snelle) ontwikkelingen op de voet en willen we daar adequaat op inspelen. Maar zoals Saskia Wools al beschrijft in bovenstaand artikel, is dit complexer dan je eerste instantie wellicht zou denken. Achter de schermen zijn we hard bezig met het digitaliseren van onze gehele toetsketen voor het primair onderwijs. Zodra we daar meer over kunnen vertellen, lees je dat direct!

      Like

Plaats een reactie