Waar moet een goede toets voor je online cursus aan voldoen?

Quizen en toetsen voor je online cursus!

Een goede toets begint met een duidelijke vraag. In zijn cabaret programma ‘Driemaal Andermaal’ heeft Fons Jansen een prachtig voorbeeld gegeven van hoe je vragen niet moet stellen.

Wie werd waar geboren en door wie werd hij hoe genoemd?

Dit is natuurlijk een overduidelijk voorbeeld van een ‘foute vraag’, maar ik denk dat vrijwel iedereen op school te maken had met onduidelijke vraagstellingen tijdens proefwerken op de middelbare school. Een prachtig voorbeeld was één van mijn geschiedenisdocenten die de neiging had om vragen te stellen als ‘Wat weet je over [onderwerp]?’

Dat is natuurlijk een vraag die nooit fout beantwoord kan worden. Eén van de dingen die ik vooral geleerd heb op de middelbare school is dat een redelijke argumentatie over ‘foute vraagstellingen’ door een docent zelden tot mijn gelijk leidde.

Wanneer je een online cursus aanbiedt is het van belang, dat je controlemomenten in bouwt, waarop de cursist zijn kennis kan oefenen. Wanneer je gebruik maakt van ‘Adaptive Learning‘, dan is het zelfs bepalend voor het pad wat de cursist gaat volgen. Tijdens mijn Cursus WordPress Developer begint de cursist dan ook met een toets, waarin gekeken wordt, wat zijn of haar huidige kennisniveau is. Aan de hand van dat resultaat krijgt de cursist een aantal extra cursussen aangeboden, waarna hij opnieuw getoetst wordt.

Maar ook wanneer er geen sprake is van ‘Adaptive Learning’, is het goed om de cursist af en toe een ‘reflectiemoment’ te geven, waarop hij kan toetsen of zijn kennis voldoende is om door te gaan.

1. Een duidelijke doel!

Een toets maken zonder een duidelijk doel is alsof je op reis gaat zonder bestemming: je komt misschien ergens, maar waarschijnlijk niet waar je wilt zijn. Het definiëren van het doel van een toets is cruciaal omdat het bepaalt welke vragen je stelt, hoe je de toets structureert, en wat je er uiteindelijk mee wilt bereiken.

Een toets is een meetinstrument, maar wat wil je weten? Er is een drietal ‘soorten’ toetsen te onderkennen.

• Diagnostisch: Bij een diagnostische toets meet je de voorkennis of specifieke zwakke punten van de cursist aan het begin van de cursus. Dit kan goed zijn om te bepalen, waar de cursist mogelijk nog tekort schiet en welke kennis hij of zij tijdens de cursus extra op zal moeten doen. Een voorbeeld is bijvoorbeeld mijn eerder genoemde toets aan het begin van de cursus ‘WordPress Developer’. Hier wordt getoetst of de PHP kennis van de cursist voldoet aan het nodige niveau om de cursus te kunnen volgen en worden die onderdelen die ontbreken en wel noodzakelijk zijn als extra lesstof aangeboden.
• Formatief: Een formatieve toets helpt de cursus met leren door inzicht te geven in de voortgang. Een aardig voorbeeld is bijvoorbeeld het gebruik van ‘Flash cards‘ bij een talencursus, waarbij de cursist de woordkennis kan oefenen.
• Summatief: Een summatieve toets is een eindtoets die een indicatie geeft of de cursist het einddoel heeft bereikt. Dit kan een officieel examen zijn, maar wanneer je zelf de examens niet afneemt, kunnen het ook proefexamens zijn.

Certificering

Wanneer er aan een cursus een certificeringsprogramma verbonden is, dan wordt een goede toets nog veel belangrijker. Of jij nu die gecertificeerde cursus afneemt, of dat deze door een derde partij wordt afgenomen doet er even niet toe, maar behalve ‘de stof tot zich te nemen’, moet de cursist zich ook voorbereid weten voor het examen. En hoe kan dit beter dan door ‘proefexamens’ te oefenen.

Wat je echter met een proefexamen wilt is de cursist de kans geven zijn kennis daadwerkelijk te toetsen. Wanneer hij niet slaagt en hetzelfde proefexamen nog een keer doet, dan wil dat niet zeggen, dat hij nu meer weet, maar dat hij weet wat de foute antwoorden bij specifieke vragen zijn. Een nuttig proefexamen is er één waarbij hij iedere keer nieuwe vragen krijgt voorgeschoteld vanuit een grote ‘vragenpool’.

Waarom is het belangrijk onderscheid te maken in toets-typen?

Het doel van de toets bepaalt niet alleen de inhoud, maar ook hoe je deze presenteert. Een summatieve toets moet bijvoorbeeld striktere beoordelingscriteria hebben dan een formatieve toets, waarbij feedback belangrijker is dan de score. Door het doel helder te stellen, voorkom je dat cursisten verward raken of de toets als nutteloos ervaren.

2. Relevante, eenduidige vragen

En hier komt het voorbeeld van Fons Jansen nogmaals om de hoek kijken. Het is niet zonder reden, dat ik aan het begin van dit artikel een link naar zijn show heb geplaatst.

Een goede toets staat of valt met de kwaliteit van de vragen. Het is cruciaal dat vragen aansluiten bij de leerdoelen van de cursus en dat ze helder en begrijpelijk zijn voor de doelgroep. Hieronder enkele richtlijnen voor het ontwerpen van relevante en eenduidige vragen.

Relatie met het leerdoel moet duidelijk zijn

Eén goed ding wanneer je een online cursus ontwikkelt is te kijken naar hoe anderen het gedaan hebben, niet om het na te doen, maar om te leren van de fouten die die ander al gemaakt heeft. En soms zelfs van de goede dingen die hij heeft gedaan.

Ik heb jaren geleden zo ooit eens een cursus over het het werken met WordPress gedaan. Het doel van de cursus was de cursist te leren hoe je een WordPress website kunt beheren. Tijdens de cursus zelf werd echter een groot aantal quizvragen gesteld, die wel met WordPress te maken hadden, en wat ook zaken waren die de instructeur genoemd had, maar totaal irrelevant was voor het uiteindelijke leerdoel. Denk hierbij aan vragen als:

• Welk blogsysteem was de voorloper van WordPress (irrelevant voor het beheer van WordPress)
• Wat is de huidige versie van WordPress (onduidelijke vraag. Wat is ‘huidig’, wanneer je de online cursus een jaar later doet?)
• Noem drie andere CMS-en (Wanneer je met WordPress werkt hoef je de namen van andere CMS-en niet te kennen.

Wat je wel moet doen

• Zorg ervoor dat elke vraag direct verband houdt met een specifiek leerdoel. Dit voorkomt dat cursisten het gevoel krijgen dat de toets willekeurige of irrelevante onderdelen test.
• Formuleer leerdoelen specifiek: gebruik actiegerichte termen zoals “analyseren”, “toepassen” of “vergelijken” en laat dit terugkomen in de vraagstelling.
• Vermijd vragen die alleen oppervlakkige kennis toetsen, tenzij dat expliciet een onderdeel van het leerdoel is. Richt je liever op begrip en toepassing.

Eenduidigheid in de formulering

In een goede toets moet natuurlijk in de eerste plaats de vraag zelf duidelijk zijn. De AWS-certificeringsprogramma’s hebben er een handje van om in de examens (die multiple-choice zijn) vragen te stellen die voor meerdere uitleg vatbaar zijn. Ik ben op dit moment bezig met het leren voor het AWS AI Practitioner AIF-C01 examen, en sommige van de vragen in de proefexamens zijn compleet onduidelijk.

Als de vraag niet duidelijk is, kan er ook geen goed antwoord worden gegeven.

Waar moet je rekening mee houden om duidelijke vragen te stellen?

• Gebruik duidelijke, eenvoudige taal en vermijd jargon of dubbele betekenissen. Dit geldt vooral als de doelgroep internationaal is of beginnersniveau heeft.
• Houd de vraagstelling kort en to the point. Lange vragen kunnen verwarrend werken en kosten onnodig veel tijd.
• Vermijd negatieve vraagstellingen (bijv. “Welke van de volgende antwoorden is NIET correct?”). Dit kan onnodige verwarring veroorzaken en het doel van de vraag vertroebelen.

Voorbeelden van een goede en slechte vraag:

• Slecht: Wat weet je over het gebruik van sluitertijd in fotografie?
  (Te breed, onduidelijk wat er verwacht wordt, geen specifieke leerdoelrelatie)
• Goed: Welke sluitertijd gebruik je om een bewegend object scherp vast te leggen?
  (Specifiek, relevant voor een leerdoel en eenduidig)

Feedback en leerproces

Het mooie van een computer gestuurde toets is dat er meestal direct een resultaat beschikbaar kan zijn. Maak daar ook gebruik van. Wanneer een toets deels uit vragen bestaat die automatisch verwerkt kunnen worden en deels uit opdrachten die beoordeelt moeten worden, geef dan in ieder geval direct terugkoppeling op die onderdelen die ook direct teruggekoppeld kunnen worden.

• Geef bij foutieve antwoorden directe feedback die uitlegt waarom een antwoord fout is en wat het juiste antwoord is. Dit maakt toetsen niet alleen een beoordelingsinstrument, maar ook een leermoment.
• Overweeg om hints toe te voegen bij moeilijke vragen, vooral in formatieve toetsen. Dit helpt cursisten om op het juiste spoor te blijven zonder het antwoord te verklappen.

Enkele praktische tips

• Gebruik consistente terminologie: Zorg dat de woorden die je gebruikt in de vraagstellingen consistent zijn met het materiaal dat eerder in de cursus is behandeld.
• Review en test je vragen: Laat collega’s of een testgroep de vragen bekijken om er zeker van te zijn dat ze begrijpelijk en effectief zijn.
• Stel één vraag per keer: Vermijd samengestelde vragen die meer dan één concept tegelijk toetsen. Dit maakt het lastiger om de vraag correct te beantwoorden en kan verwarrend werken.

3. Variatie in vraagtypes

Een mix van vraagtypes in een toets maakt het niet alleen dynamischer, maar zorgt er ook voor dat je verschillende vaardigheden van cursisten kunt meten. Door variatie aan te brengen, houd je de aandacht vast en creëer je een evenwichtige toets. Laten we eens kijken naar vraagtypen en mogelijke toepassingen:

1. Meerkeuze vragen (Multiple Choice)

Multiple choice vragen zijn ideaal voor het testen van feitenkennis en begripsvorming. Bovendien zijn ze gemakkelijke te beoordelen gezien de beperkte antwoordmogelijkheden.

Om het giswerk te minimaliseren is het goed om plausibele foute antwoorden op te nemen in de antwoordmogelijkheden. En hoewel de term ‘Multiple Choice’ suggereert dat meerdere antwoorden goed kunnen zijn, zijn Multiple Choice vragen het meest effectief, wanneer er maar één goed antwoord is.

2. Matching / Sleepvragen

Sleepvragen / matching vragen zijn effectief om relaties te toeten, zoals bijvoorbeeld het koppelen van begrippen, of bij het leren van talen. Het is interactief en aantrekkelijk voor cursisten. Belangrijk is hier het aantal opties te beperken om verwarring te voorkomen. Visuele ondersteuning, zoals foto’s en tekeningen maakt het geheel nog aantrekkelijker.

3. Waar/Niet waar vragen

Waar/niet waar (True/False) vragen zijn handig voor een snelle controle van basisbegrippen of eenvoudige feiten. Een dergelijke test is makkelijk te maken en te scoren, en kan effectief zijn met uitleg na het antwoord.

Vermijd dubbelzinnige stellingen en voeg bij de foute antwoorden een duidelijke uitleg toe, waarom deze keuze fout is.

4. Invuloefeningen / Fill in the blanks

Bij een invuloefening zijn woorden weggelaten die de cursist in moet vullen. In een alternatieve vorm is het ook mogelijk, dat de in te vullen woorden onder of naast de tekst staan, en deze op de juiste plaats gesleept moeten worden. Dit is vooral handig bij talenstudies.

5. Open vragen

Open vragen zijn geschikt om inzicht, analytisch vermogen en creatief denken te meten. Open vragen geven de cursist de ruimte de kennis volledig uit te leggen, en het helpt bij het beoordelen van een dieper begrip.

Belangrijk is dat de vraagstelling specifiek is en er een richtlijn wordt gegeven over de lengte of scope van het antwoord. Dus niet ‘Vertel eens over Frankrijk in de Tweede Wereldoorlog’, maar ‘Beschrijf in maximaal 200 woorden wat er gebeurde in de slag bij Duinkerke’.

Het nadeel van Open vragen is dat deze niet geautomatiseerd kunnen worden nagekeken.

6. Case studies / Assignments

Case studies of ‘opdrachten’ (Assignments) waarbij de cursist zelf iets uit moet voeren (een video monteren, specifieke programmacode schrijven, een kort verhaal schrijven)

Waarom is het goed de vraagtypes af te wisselen?

1. Er worden verschillende niveaus van kennis gemeten.

Bij een goede toets worden verschillende niveaus van kennis gemeten. Volgens Blooms Taxonomy kan je het cognitieve proces indelen in een zestal niveaus: Herinneren, Begrijpen, Toepassen, Analyseren, Evalueren en Creëren. Met een goede toets meet je begrip, toepassing en evaluatie.

2. Het houdt cursisten betreokken.

Afwisseling voorkomt verveling en maakt een toets minder voospelbaar

3. Rechtvaardige beoordeling.

Verschillende vraagtypes bieden kansen voor cursisten met uiteenlopende sterktes.

4. Toegankelijkheid en gebruikersvriendelijkheid

Een goede toets moet voor iedereen toegankelijk en gemakkelijk te gebruiken zijn, zodat alle cursisten een eerlijke kans hebben om hun kennis te laten zien. Dit geldt ook voor cursisten met beperkingen of technische uitdagingen. Hier zijn belangrijke aandachtspunten:

Toegankelijkheid voor mensen met een beperking

• Schermlezers: Zorg dat de toets compatibel is met schermlezers, zodat visueel beperkte cursisten alle inhoud kunnen begrijpen.
• Alternatieve teksten: Voeg beschrijvende alt-teksten toe aan afbeeldingen, diagrammen of andere visuele elementen.
• Contrast en leesbaarheid: Gebruik een duidelijk kleurcontrast en leesbare lettertypen om ervoor te zorgen dat tekst makkelijk te lezen is.
• Navigatie: Maak de toets eenvoudig te navigeren met toetsenbord en muis, zonder ingewikkelde interacties die afhangen van specifieke apparaten.

Lees in deze context ook mijn blogartikel Een LMS voor Neurodiverse mensen.

Technische gebruikersvriendelijkheid

• Verschillende apparaten: Zorg dat de toets goed werkt op desktops, tablets en mobiele telefoons. Test de toets op meerdere schermformaten om een consistente ervaring te garanderen.
• Laadtijd: Minimaliseer de laadtijd van de toets, zodat cursisten niet worden vertraagd door technische problemen.
• Intuïtieve interface: Maak het gemakkelijk om te begrijpen hoe de toets werkt, met duidelijke knoppen en instructies.

Extra ondersteuning en flexibiliteit

• Taalinstellingen: Bied de toets aan in meerdere talen als je met een diverse doelgroep werkt.
• Aanpasbare tijdslimieten: Sta extra tijd toe voor cursisten die dit nodig hebben, bijvoorbeeld bij leerstoornissen zoals dyslexie.
• Feedbackopties: Geef cursisten een mogelijkheid om technische problemen te melden, zodat je de toegankelijkheid en gebruikerservaring continu kunt verbeteren.

5. Tijdslimieten en moeilijkheidsgraad

• Taalinstellingen: Bied de toets aan in meerdere talen als je met een diverse doelgroep werkt.
• Aanpasbare tijdslimieten: Sta extra tijd toe voor cursisten die dit nodig hebben, bijvoorbeeld bij leerstoornissen zoals dyslexie.
• Feedbackopties: Geef cursisten een mogelijkheid om technische problemen te melden, zodat je de toegankelijkheid en gebruikerservaring continu kunt verbeteren.

Door aandacht te besteden aan toegankelijkheid en gebruikersvriendelijkheid, creëer je een inclusieve leeromgeving waarin alle cursisten optimaal kunnen presteren.

• Leg uit dat een toets voor iedereen toegankelijk moet zijn, inclusief mensen met een beperking.
• Denk aan:
  • Duidelijke navigatie en lay-out.
  • Alternatieve tekst voor afbeeldingen.
  • Compatibiliteit met schermlezers.
• Benoem waarom het belangrijk is dat een toets ook op verschillende apparaten (desktop, tablet, mobiel) goed werkt.

5. Tijdslimieten en Moeilijkheidsgraad

Een goede toets houdt rekening met zowel de beschikbare tijd als de opbouw van de moeilijkheidsgraad. Dit zorgt ervoor dat cursisten niet ontmoedigd raken of zich overhaast voelen. Hieronder enkele belangrijke aandachtspunten:

Tijdslimieten: Hoeveel tijd is genoeg?

• Vermijd onnodige tijdsdruk: Zorg ervoor dat cursisten voldoende tijd hebben om na te denken, maar voorkom dat ze te lang kunnen blijven hangen bij een vraag. Een tijdslimiet kan helpen om focus te behouden.
• Houd rekening met de vraagtypes: Meerkeuzevragen nemen vaak minder tijd in beslag dan open vragen of casestudy’s. Stem de tijdslimiet hierop af.
• Geef een tijdsindicatie: Informeer cursisten van tevoren hoe lang ze ongeveer nodig zullen hebben om de toets af te ronden.
• Test je tijdslimieten: Doe een proefrun met collega’s of een kleine groep cursisten om te controleren of de tijdsinstellingen realistisch zijn.

Moeilijkheidsgraad: Een logische opbouw

• Begin eenvoudig: Start met vragen die het vertrouwen van de cursist opbouwen, zoals vragen over basiskennis. Dit zorgt voor een positieve en motiverende start.
• Bouw de moeilijkheid op: Laat de vragen geleidelijk complexer worden. Hierdoor worden cursisten uitgedaagd om hun kennis en vaardigheden toe te passen op een hoger niveau.
• Vermijd een abrupte piek in moeilijkheid: Een plotselinge moeilijk vraag kan ontmoedigend werken. Bouw de uitdaging stapsgewijs op.
• Varieer in type uitdagingen: Combineer kennisvragen met inzicht- en toepassingsvragen, zodat cursisten hun vaardigheden in verschillende contexten kunnen laten zien.

Praktische tips:

• Gebruik timers verstandig: Sommige leerplatforms bieden timers aan bij toetsen. Gebruik deze functie om cursisten te begeleiden zonder ze teveel onder druk te zetten.
• Zorg voor balans: Een toets mag uitdagend zijn, maar moet niet ontmoedigend worden. Streef naar een mix van vragen die haalbaar en uitdagend zijn voor de doelgroep.
• Monitor resultaten: Analyseer hoe cursisten scoren op vragen met verschillende moeilijkheidsgraden. Dit helpt je om toekomstige toetsen beter te balanceren.
• Bespreek hoe je een balans vindt tussen voldoende tijd om na te denken en het vermijden van te veel druk.
• Leg uit waarom de moeilijkheidsgraad moet opbouwen: begin met eenvoudige vragen en eindig met uitdagendere.

Tools voor het opzetten van een goede toets

Het is natuurlijk leuk te weten waar een goede toets aan moet voldoen, maar welke tools kun je hiervoor gebruiken?

De meeste LMS-en bieden een groot aantal vraagtypen die je in je toetsen kan gebruiken. Zoals eerder in dit artikel vermeld, is het goed wanneer met name de eindtoetsen wisselende vragen kunnen bieden. Wanneer toetsen een belangrijk onderdeel van je cursus zijn, kan ik je op dit moment eigenlijk alleen maar WP Courseware aanbevelen, geen ander LMS heeft de uitgebreide toetsmogelijkheden die WP Courseware biedt. De andere LMS-en bieden wel een deel van deze functionaliteiten, maar niet alles.

Even in het kort wat WP Courseware op dit gebied zoveel beter maakt:

• Bij multiple choice vragen is het mogelijk een willekeurig aantal foute antwoorden bij de vraag toe te voegen en aan te geven hoeveel antwoordopties geboden moeten worden. Ik kan zo bijvoorbeeld één goed antwoord -dat moet je natuurlijk altijd wel hebben- en 10 foute antwoorden aan een vraag toevoegen, en aangeven dat er vier anwoord-opties getoond moeten worden. De cursist zal dan -in willekeurige volgorde- één juiste en drie willekeurig gekozen foute opties te zien krijgen.
• Vragen kunnen gelabeld worden (tag). Ik kan een complete toets genereren uit bijvoorbeeld 10 vragen met ‘Label A’, 6 met ‘Label B’ en 4 met ‘Label C’. Op deze manier kan een cursist die een toets nogmaals moet doen een compleet andere toets krijgen, dan de keer daarvoor.
• Per vraag is het mogelijk -niet verplicht- een hint toe te voegen en per antwoord een toelichting te geven.
• Afhankelijk van de score kan je automatische feedback geven. Deze feedback kan gerelateerd worden aan vragen met een bepaald label. Dus bijvoorbeeld, indien een cursist een score lager dan 50% heeft voor een specifiek label (gerelateerd aan een vaardigheid) kan je het advies geven les 3-8 nogmaals te doen en daarna opnieuw een test te voltooien.

Ook MasterStudy LMS heeft een krachtige quiz-engine, maar niet zo uitgebreid als WP-Courseware.

Beginnen met een LMS

Denk je er over om een eigen online cursus te ontwikkelen? Neem dan eens contact op met WordXPression, sinds meer dan 10 jaar de specialist op het gebied van WordPress Online Leeromgevingen.

Wist je overigens, dat het mogelijk is om voor de bouw van een online leeromgeving in termijnen te betalen?

Deze blogpost beantwoord de volgende vragen:

• Hoe stel je duidelijke doelen voor een toets in een online cursus?
• Welke soorten toetsen kunnen worden gebruikt in online cursussen?
• Hoe formuleer je heldere en effectieve toetsvragen?
• Welke rol speelt feedback in het toetsproces van een online cursus?
• Hoe integreer je toetsen effectief binnen de structuur van een online cursus?