EXAMINATOREN GEEXAMINEERD
EXAMINATOREN GEEXAMINEERD

door Drs. R. Bannink') en F. Timmers12)
Samenvatting. De uitslagen van 504 mondelinge examens in het vak Sociale
Economie, in 1969 door het NIvRA afgenomen, zijn onderzocht op systema­
tische invloeden, die bij het examen zouden kunnen zijn voorgekomen. Daar­
bij blijken duidelijk verschillen tussen examinatoren aanwezig te zijn, zowel
in de range der gegeven beoordelingen als in het gemiddelde.
Op het gemiddeld cijfer kan geen invloed worden aangetoond van het uur
van de dag, noch van het resultaat van het examen dat het voorgaande uur
door dezelfde examinator werd afgenomen.
Wel blijkt het voor de eerste kandidaten van een examendag moeilijker te
zijn een voldoende (zes of hoger) te behalen. Deze conclusie leidt in combi­
natie met de voorgaande ertoe dat zij in het algemeen ook minder kans
maken op een extreem lage beoordeling.
1

Inleiding

De methode van examineren is vaak onderwerp van discussie bij alle betrok­
kenen, de organisatoren, de examinatoren en niet in de laatste plaats de
kandidaten zelf.
De gebruikelijke bedenkingen tegen de objectiviteit van een mondeling
examen komen veelal neer op de volgende:
a. Er is een verschil in beoordeling tussen de examinatoren.
b. De uitslag wordt beïnvloed door het uur van het examen, b.v. grotere
kans op een laag cijfer op een vroeg uur of op een hoog cijfer direct na de
lunchpauze van de examinatoren.
c. De uitslag wordt beihvloed door het resultaat van de voorgaande examen­
kandidaat, in de zin dat het duidelijk zwaarder zou zijn een hoog cijfer te
halen na een goede dan na een slechte voorganger aan de examentafel.
 Ten einde deze vermoedens statistisch te controleren zijn de resultaten van
de 504 in 1969 door het NIvRA afgenomen examens Sociale Economie
geanalyseerd. Alvorens tot de resultaten van deze analyse over te gaan moe­
ten enige opmerkingen worden gemaakt:
a. De interpretatie van een statistisch (vermeend) aangetoonde samenhang
impliceert nog geen causaliteit, doch kan wel een hypothetische causaliteit
bevestigen c.q. ondersteunen.
b. De statistische methodiek is her en der enig geweld aangedaan, doch naar
de overtuiging van de schrijvers en gezien het grondmateriaal niet in die mate
dat de conclusies overtrokken zijn.
Waar dat het geval is, zal in de tekst duidelijk een opmerking dienaangaande
worden gemaakt.
c. De verwerking van de gegevens gaat in eerste instantie uit van een qua
1) Docent aan de NIvRA-cursus Sociale Economie te Heerlen
2) Statisticus DSM te Heerlen
m ab blz. 112

kwaliteit niet-systematische toewijzing van kandidaten aan uren en/of
examinatoren. Daar in de toewijzing van kandidaten aan uren alleen de af­
stand woonplaats-Amsterdam een rol speelt en in de toewijzing aan examina­
toren alleen het criterium wordt gehanteerd dat een docent niet zijn eigen
kandidaat examineert is deze veronderstelling acceptabel.
2

Het grondmateriaal

3

Invloed van het examentijdstip en -uur

Het Secretariaat van het Bureau der Examens van het NIvRA heeft de
examenresultaten verstrekt, gekenmerkt naar:
a. een identificatienummer van de examinator
b. de maand waarin het examen werd afgenomen
c. de dag en het uur van het examen.
Tengevolge van de eis tot anonimiteit der examinatoren kon dit grond­
materiaal niet worden gepubliceerd. De consequenties van de verstrekte
cijfers zijn: 6 en hoger is geslaagd, 5 betekent gezakt met een mogelijk
herexamen na drie maanden, 4 idem na een half jaar en 3 of lager gezakt en
herexamen na negen maanden of een jaar.
 In tabel 1 zijn deze cijfers samengevat, gericht op de invloed van het examen­
tijdstip. Uit deze tabel blijkt dat het gemiddelde resultaat van de in juni
afgenomen examens niet afwijkt van dat der decemberexamens, doch dat de
herexamens (september) tot een hoger gemiddelde leiden.
Tabel 1. Gemiddelde resultaten naar tijdstip en examenuur.
examenuur

sept.
juni

dec.
totaal

aant.
ex.
gern.
cijf.
aant.
ex.
gern.
cijf.3 )

aant.
ex.
gem.
cijf.
aant.
ex.
gem.
cijf.
9.00- 9.45
9.50-10.35
10.40-11.25
11.30-12.15
14.00-14.45
14.50-15.35
15.40-16.254 )

24
26
24
24
22
22
8

5,88
6,12
5,79
6,08
5,55
6,00
6,00

4
5
4
5
5
4
6

6,25
6,40
6,00
7,00
5,40
6,50
7,17

39
49
48
49
53
53
30

5,90
5,73
5,75
6,20
6,17
5,85
5,90

67
80
76
78
80
79
44

5,91
5,90
5,78
6,22
5,95
5,92
6,09

Totaal

150

5,91

33

6,42

321

5,93

504

5,96

Aannemend dat de resultaten over de verzameling kandidaten normaal ver­
deeld zijn, kan met een t-toets worden aangetoond dat het resultaat in
3) Terwille van de leesbaarheid in twee decimalen geschreven, die beide - gezien de aantallen en het
afronden in de beoordeling op hele punten - geen o f nauwelijks betekenis hebben.
4) Incl. 1 examen van 16.30-17.15 uur in september m et een 7.
m ah blz. 113

september significant hoger is (overschrijdingskans 0,5%) dan dat van de
beide andere maanden. Weliswaar is de resultatenverdeling iets meer gecen­
treerd dan de normale (een grotere kurtosis), wat blijkt uit de laatste regel
van tabel 3, waardoor de t-toets iets wordt afgezwakt, doch daardoor wordt
naar de overtuiging der schrijvers de gevonden overschrijdingskans zeker niet
boven de 2,5% gebracht.
 Niettemin kan men uit dit significante verschil nog niet concluderen dat
het herexamen tot betere resultaten leidt. Daarop komen wij in par. 4 nog
terug.
Tussen de gemiddelde resultaten per uur is geen significant verschil te
constateren. Daartoe zijn in tabel 2 de juni- en decembergegevens tezamen
genomen, teneinde het significante ,,september-effect” , door welke oorzaak
dit dan ook ontstaat, uit te schakelen.
Bovendien zijn de examencijfers per examinator gecorrigeerd met het
verschil tussen het gemiddeld cijfer per examinator en het totaal-gemiddelde
om een eventueel verschil tussen examinatoren als mogelijk storende invloed
te elimineren.
Tabel 2. Toetsing van uur-resultaten, juni + december
2

examenuur (i)

aant.
(ni)

gem. re­
sult.
(*i)

afwijk.
t.o.v.
gem.
(Xj-X.)

stand.
dev.v.h.
gem.
= dxj

zi =
Xj-X.
(Jxj

zi

9.00- 9.45
9.50-10.35
10.40-11.25
11.30-12.15
14.00-14.45
14.50-15.35
15.40-16.25

63
75
72
73
75
75
38

5,90
5,85
5,74
6,07
6,02
5,92
5,89

-0,02
-0,07
-0,18
-0,15
0,10
0,00
-0,03

0,169
0,155
0,158
0,157
0,155
0,155
0,218

-0,14
-0,44
-1,11
0,94
0,65
0,00
-0,15

0,02
0,19
1,23
0,88
0,42
0,00
0,02

totaal

471

5,93

0,00

2,76

In tabel 2 is de uitvoering van de toets weergegeven. Per examenuur i wordt
het gemiddelde bepaald van de in dat uur behaalde resultaten, die zijn gecor­
rigeerd voor de examinator-invloed. Dit gemiddeld resultaat wordt aan­
gegeven met xj. Middelt men de individuele gecorrigeerde resultaten over alle
uren, dan verkrijgt men het totaal gemiddelde x.. De nulhypothese is nu dat
de steekproefgemiddelden xj uit eenzelfde populatie afkomstig zijn (geen
verschil tussen uren). Het gemiddelde en de spreiding in deze populatie wor­
den geschat door x. en a, berekend uit
nj - 7) = 1,34 voor i = 1 . . . 7 en j = 1 . . nj.
 (3.1)
ö is de binnen de steekproeven bestaande spreiding, gepoold over de steek­
proeven.
rn a b blz. 114

De standaarddeviatie van elk steekproefgemiddelde is te schatten door
(3.2.) o - . = &/ \ArTHet kwadraat van de nu te construeren grootheid

(3.3.) zj = (xj - x.) / ff-,

is x 2 verdeeld met één vrijheidsgraad, de som van de zeven z f -waarden is dus
X2 verdeeld met zeven vrijheidsgraden.
De uit tabel 2 verkregen waarde van deze som (2,76) heeft volgens de
genoemde verdeling een overschrijdingskans van 90%, dus er is géén reden
om een verschil in beoordeling tussen de examenuren te veronderstellen.
4

Verschil tussen examinatoren?

Tabel 3 geeft per examinator de frequentieverdeling van de gegeven beoor­
delingen in juni en december, alsmede de daaruit volgende gemiddelde beoor­
deling per examinator.
 Tabel 3. Frequentieverdeling van cijfers, gemiddelde beoordeling en
Zj2-waarde, per examinator, juni + december:
exami­
nator

frequentie van beoordeling
behaalde cijfers
<3
4
5

i
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

-

totaal

1
1
1
-

4
1
1
3
1

-

1
1

-

-

15

4
2
2
7

-

1
17

5,93

471

55,9

2
8

1
6

1
1

-

6
4
8
8
11
8
2
2
2
9
5

-

-

-

-

117

1
1
5

1,47,2
3,6
.0,0
0,7
0,8
9,9
0,0
3,8
3,9
0,2
6,2
0,0
11,43,0
0,9
0,0
0,1
1,9
0,1
0,1

10
5
3
4
9
6
7
8
9
5
1
4
8
3

119

-

28
24
6
32
19
34
29
42
32
20
5
22
35
18
7
14
11
13
23
6
26
25

>9

56

1
2
2
2

5,61
6,71
4,83
5,94
6,21
6,15
6,76
5,95
5,44
5,30
5,60
5,18
5,89
7,06
5,00
6,29
6,00
5,77
5,52
6,17
5,81
5,92

8

5
3

-

z.i2

7

6
4
1
7
2
5
10

5
1
2
6
5

Aant.
examG

6

10
2
7
4
7
4
17
4
6
1
10
12
1
3
1
2
7
6
2
8
5

-

Gemid.
 5
4
2
5
1
4
5

101

5
2
4
7
4
1

2

-

3
2

-

1

-

2
3
3

-

2

-

4
1
1

-

-

1
3
2

46

1

-

0 ,0

m ab blz. 115

Uit een eerste beschouwing blijken reeds duidelijk verschillen te bestaan
tussen de verdelingen van cijfers per examinator, zowel in range (het bestre­
ken beoordelingsgebied) als in gemiddelde en de spreiding daaromheen.
Uit de laatste kolom - de zj -waarden, berekend als in tabel 2, maar hier
op basis van een over examinatoren gepoolde spreiding - blijken significante
verschillen tussen examinatoren. Significant hoge gemiddelde beoordelingen
worden gegeven door de examinatoren 2, 7 en 14, significant lage door de
examinatoren 3, 9, 10 en 12.
Bij nadere beschouwing blijkt dat de september-examens zijn afgenomen
door 3 „neutrale” en 2 „hoge” beoordelaars. Het geconstateerde gemiddeld
hogere septembercijfer zou dus èn door een betere kwaliteit der geëxamineerden èn door een systematische vertekening t.g.v. beoordelaars kunnen zijn
ontstaan. Corrigeren we weer als in tabel 2 voor de examinator-invloed, dan
wordt het gemiddeld septembercijfer 6,08, wat voor de groep september­
examens leidt tot een Zj2 -waarde van 0,36 welke niet significant is. Her­
examens geven dus geen statistisch duidelijke verbetering in resultaat.
5

Invloed van de voorgaande kandidaat?

Voor de examinatoren die in hun gemiddeld cijfer niet significant uitspringen
is nagegaan in hoeverre een goede of slechte beoordeling het resultaat van het
daaropvolgend examen beïnvloedt.
 Daartoe is de volgende tabel samengesteld:
Tabel 4. Relatieve frequenties van resultaten per categorie van voorgaand
resultaat:
voorgaand
resultaat
<5
6
>7

relatieve freq. % volgend resultaat

aantal

<4

5

6

>7

totaal

12,1
18,0
11,3

29,7
21,3
30,0

22,0
26,2
26,2

36,2
34,5
32,5

100,0
100,0
100,0

91
61
80

De hypothese die onderzocht wordt is: beoordelingen worden in een rela­
tieve schaal gegeven, dus na een goede beoordeling is de kans op een slechte
groter (en omgekeerd) dan na een „neutrale” beoordeling.
Gezien de consequenties (par. 2) is de neutrale beoordeling een 6. De kans
op een zeven of meer is vrijwel onafhankelijk van het voorgaand cijfer, al is
er misschien sprake van een lichte verschuiving van 6 naar 7 waar te nemen
als de voorganger 5 of minder had. Hieruit kan worden geconcludeerd dat de
goede kandidaat niet van een voorgaand examen te „lijden” heeft. De kans
op „voldoende” is in alle drie de regels nagenoeg gelijk, dus ook de kans op
„onvoldoende” . In de mate van onvoldaanheid der examinatoren zit echter
een rem, zowel na een slecht als na een goed examen. Men zou dit kunnen
interpreteren als een hantering van de relatieve norm indien deze ten gunste
van de kandidaat zou werken (dus na een zwakke beoordeling), doch een

m a b blz. 116

bewuste terughoudendheid indien dit mogelijk ten ongunste van de kandi­
daat zou werken.
6

Onzekerheid t.a.v. het nulpunt?

De voorgaande paragraaf roept een zekere twijfel op ten aanzien van de
nulpuntsbepaling van de beoordelingsschaal. Deze twijfel zou misschien niet
geheel worden weggenomen, maar toch zeker worden afgezwakt indien geen
verschil kan worden aangetoond tussen „eerste” beoordelingen op een
examendag en „volgende” beoordelingen, eventueel tussen „eersten” en „op
een 6 volgenden”.
 De betreffende relatieve frequenties zijn gegeven in tabel 5 voor de in de
vorige paragraaf geselecteerde groep examinatoren.
Tabel 5. Relatieve frequenties van eerste en volgende examens per examendag:
categorie
examen

relatieve frequenties in % m et beoordeling
3

4

5

6

eersten
volgenden:
-totaal
- na 6

1,3

13,9

35,4

30,4

2,2
3,3

11,2
14,8

27,6
21,3

24,5
26,2

aant;
8

9

totaal

8,9

7,6

2,5

100,0

79

22,4
24,6

9,1
8,2

3,0
1,6

100,0
100,0

232
61

7

Een eerste beschouwing geeft het vermoeden dat er ondanks de in par. 3
bereikte conclusie (gelijke uurgemiddelden) toch sprake is van een zekere
concentratie op 5- en 6-beoordelingen in het eerste examen, m.a.w. dat
examen wordt als „nulpunt” genomen.
Uit de volgende tabel kan deze veronderstelling worden getoetst, tegen de
bovengenoemde nulhypothesen.
De daarin vermelde hypothetische frequenties zijn verkregen door de
bovengenoemde percentages voor „volgenden” toe te passen op het totaal
aantal eerste-uurs examens. (Een eerste-uur examen is niet noodzakelijk van
9.00-9.45 uur, enkele examinatoren beginnen later; de eerste-uurs examens
zijn per examinator gedefinieerd)

Tabel 6. Waargenomen en hypothetische frequenties van resultaten der
eerste-uurs examens:
waargenomen
hypoth. o.g.v.
- tot. volgenden
- op 6 volgenden

<4

5

6

7

>8

totaal

12

28

24

7

8

79

10,6
14,3

21,8
16,8

19,4
20,7

17,7
19,4

9,5
7,8

79
79

De hieruit te berekenen x2 (met 4 vrijheidsgraden), toetsingsgrootheid voor

m a b blz. 117

de overeenstemming tussen waargenomen en hypothetische verdeling, be­
draagt 9,74 (t.o.v. totaal volgenden) en 16,29 (t.o.v. op 6 volgenden). Beide
waarden zijn significant, m.a.w. de verdeling van de eerste-uurs resultaten
wijkt duidelijk van de hypothetische verdelingen af.
 Uit de eerste regel van tabel 5 blijkt dat het gemiddeld cijfer van de
eerste-uurs kandidaten ook lager ligt: de verdeling over de cijfers 5, 6 en 7 is
bij eerste-uurs examens meer naar de vijf gecentreerd.
m ab bh. 118.
