ENESEVAATLUS LUGEMISTESTI VALIIDSUSE UURIMISEL


Kokkuvõte. Artikkel põhineb eesti keele B2-taseme eksami lugemisülesannete valiidsust käsitleval uurimusel. Valiidsuse põhiküsimus on, kas test mõõdab seda, mida on soovitud mõõta. Lugemistesti valideerimisel on testiteoreetilise ja tulemuste statistilise analüüsi kõrval tähtis koht enesevaatluse (introspektsioon, retrospektsioon) käigus kogutud andmetel. Eksamistatistika põhjal on võimalik välja selgitada lugemisülesannete probleemsed küsimused, kuid probleemide põhjuste väljaselgitamiseks on vaja uurida, mis tegelikult ülesannete täitmise käigus toimub: mida testitavad mõtlevad ja missuguste otsustuste tulemusena vastusteni jõuavad. Eesti keele B2-taseme eksami lugemisülesannete valiidsusuuringus osales kümme vene emakeelega TÜ üliõpilast, kes introspektiivselt täitsid eksami kaks lugemisülesannet ning vastasid sooritusjärgsetele küsimustele. Enesevaatluse teel kogutud andmete analüüs kombineerituna testiteoreetilise ja statistilise analüüsiga näitas, et vaatluse all olnud ülesanded mõõtsid eesmärgiks olnud oskusi osaliselt. Uurimuse tulemused osutasid muu hulgas vajadusele täpsustada ülesandetüüpidega mõõdetavaid oskusi ja pöörata enam tähelepanu lähtetekstide kohandamisele. 
Märksõnad: lugemisoskuse mõõtmine, eesti keel teise keelena, valiidsus, enesevaatlus, introspektsioon, retrospektsioon 

Sissejuhatus

Lugemisoskuse mõõtmise teeb keeruliseks asjaolu, et lugemise retseptiivsest iseloomust tulenevalt ei ole seda võimalik otseselt mõõta. Seetõttu peab testitav näitama teksti mõistmist kaudselt -tekstiga kaasnevaid ülesandeid täites. Lugemistesti ülesanded tuleb koostada nõnda, et sooritustulemuste põhjal võiks teha usaldusväärseid järeldusi testitava lugemisoskuse kohta. Seega on lugemisoskuse mõõtmisel määrav tähtsus testiülesannete kvaliteedil. 

Peamisteks testi kvaliteeti iseloomustavateks omadusteks on traditsiooniliselt peetud valiidsust ja reliaablust e usaldusväärsust. Viimasel ajal on valiidsuse üldmõistena kasutatud konstruktivaliidsuse mõistet (ingl construct validity) (vt nt Hughes 2003, Weir 2005, Khalifa ja Weir 2009), sest küsimus, kas test mõõdab seda, mida on kavatsetud mõõta, seostub otseselt mõõdetavate oskuste ja võimetega e konstruktiga. Nimetatud küsimusele vastamiseks kogutakse andmeid, mis tõestavad, et testi tulemuste põhjal tehtavad järeldused on usaldusväärsed. 
Lisaks testiteoreetilisele ja statistilisele analüüsile kasutatakse lugemistesti kvaliteedi uurimisel ka eksami soorituse käigus kogutud andmeid, mis aitavad vastata küsimusele, mida testitavad ülesandeid täites mõtlevad ja missuguste otsustuste tulemusena vastusteni jõuavad. Selleks palutakse testi sooritajal verbaliseerida oma mõtteid kas ülesande täitmise ajal (introspektsioon) või pärast seda (retrospektsioon). Eesti keele kui teise keele tasemeeksamite arenduses enesevaatlust seni kasutatud pole. 
Käesolevas artiklis antakse ülevaade eesti keele B2-taseme ülesannete valiidsusuuringust (Kikerpill 2010), milles teksti mõistmise protsessi ja lugemisülesannete soorituse kohta koguti andmeid nii introspektiivselt kui ka retrospektiivselt. 

Uurimuse eesmärk

Uurimuse eesmärk oli analüüsida eesti keele kui teise keele B2-taseme lugemistesti ülesannete valiidsust a) keeleoskuse mõõtmise põhimõtetest lähtuvalt ja b) lugemis-ning testisooritusstrateegiate kasutamise introspektiivse uurimise kaudu, et välja selgitada, 1) kuidas ülesandeid täites vastusteni jõutakse ning missuguseid lugemis-ja testisooritusstrateegiaid seejuures kasutatakse; 2) mil määral testitavate kasutatud strateegiad viitavad oskustele, mida testi eristuskirja järgi on taotletud mõõta. 

Keelejuhid

Uurimuses osales kümme Tartu Ülikooli esimese aasta vene emakeelega üliõpilast (viis naist, viis meest), kes 2009. aastal sooritasid B2-taseme eesti keele riigieksami tulemusega 70-90 punkti (B2-taseme kohta vt EKR 2007 ja Hausenberg jt 2008). Üle 90 punkti saanud üliõpilased jäid välja põhjusel, et nende eesti keele oskuse tase on tõenäoliselt kõrgem kui B2. Põhikoolist on eesti keeles õppimise kogemus vaid kahel: üks õppis eesti keeles muusikat, teine ajalugu ja ühiskonnaõpetust. Osalisest eestikeelsest aineõppest tulenevalt on peaaegu kõik (välja arvatud üks üliõpilane) õppinud gümnaasiumis 2-3 ainet eesti keeles. Ühel juhul pole ei põhikoolis ega gümnaasiumis ühtegi ainet eesti keeles õpitud. Kõigi kodukeeleks on vene keel, kuigi ühel juhul oli ema rahvuseks märgitud "eestlane/soomlane". 

Uurimismetoodika

Tegu on kvalitatiivse analüüsiga, mille ainestikuks oli B2-taseme eksami eristuskiri (vt www.ekk.edu.ee), 2009. a novembris toimunud tasemeeksami kaks ülesannet ja nende soorituse statistika (284 eksaminandi) ning uurimuses osalenud üliõpilastelt ülesannete soorituse käigus ja selle järel kogutud andmed. 
Andmete kogumiseks kasutati kombineeritud enesevaatlust: ülesande täitmise aegset verbaliseerimist (introspektsioon) ja ülesande täitmise järgset intervjuud (retrospektsioon). Iga uurimuses osalenud üliõpilasega kohtuti individuaalselt üks kord. Sessioon kestis 70-90 minutit ja koosnes neljast osast: taustandmete kogumine, ettevalmistavad tegevused (sh proovitöö), ülesannete introspektiivne täitmine ja ülesande täimisele järgnenud küsitlus. 
Üliõpilastel paluti vaikselt lugeda ja mõelda valjusti siis, kui ilmnevad probleemid teksti mõistmisel ja kui toimub vastusevariantide hulgast sobiva valimine. Samuti paluti rääkida oma plaanitavatest tegevustest ülesande täitmisel. Soovitati rääkida nii palju kui võimalik ning harjumatule olukorrale vaatamata proovida täita ülesandeid, nagu oldaks eksamil. 
Üliõpilane võis valida, kas verbaliseerida oma mõtteid eesti või vene keeles. Neli uurimuses osalenut kasutasid kogu sessiooni vältel vaid eesti keelt, kolm ainult vene keelt ning kolm vahetasid keelt vastavalt vajadusele. Iga üliõpilasega salvestati kahe ülesande täitmise aegsed mõtted ning sooritustele vahetult järgnenud intervjuud, kokku 600 minutit. Salvestised litereeriti täies mahus. 

Ülevaade teoreetilistest seisukohtadest ja varasematest uurimustest


Teksti mõistmisest

Lugemist kirjeldavaid mudeleid on jagatud kaheks suuremaks rühmaks, mille aluseks on pikka aega kestnud diskussiooni põhiküsimus, kas lugemine (teksti mõistmine) on osadeks jaotamatu protsess (ingl process models) või on selles võimalik eristada üksikuid komponente (ingl componential models). (Urquhart ja Weir 1998: 39) Protsessipõhiselt seletati lugemist esialgu kui tekstist lähtuvat (ingl bottom-up, text-driven, data-driven) tegevust, mille kohaselt lugeja töötleb infot alates vähimatest üksustest, registreerib iga üksiku sõna lauses, mille järel töötleb süntaktilist ja semantilist teavet lause tähenduse mõistmiseks. 1967. aastal esitas K. S. Goodman (1967, viidatud Urquhart ja Weir 1998: 42-43 järgi) lugejast lähtuva (ingl top-down, reader-driven) nägemuse lugemisprotsessist. Selle järgi on lugejal tekstile oma ootused ning ta teeb olemasolevate teadmiste või konteksti põhjal oletusi teksti tähenduse kohta. Lugemise käigus tehtud oletusi kontrollitakse pidevalt. Toimub liikumine hüpoteeside ja teksti vahel ning lugeja võib osa tekstist ka lugemata jätta, kui see tundub lugemise eesmärgi suhtes ebaoluline. Seejuures ei töötle lugeja korraga mitte ühte, vaid kolme laadi teavet: ortograafi list, süntaktilist ja semantilist. L2 lugemise teoorias oli Goodmani seisukohtadel märkimisväärne tähtsus. Need näitasid teksti mõistmise seost lugeja taustteadmistega ja osutasid võimalusele, et lugeja suudab puudujääke ühes oskuses või teadmises kompenseerida mõne oma tugevama oskusega. (Urquhart ja Weir 1998: 42-44) Tänapäeval on lugemisoskuse seletamiseks kasutusel erinevaid mudeleid. W. Grabe (2009: 91-106) kirjeldab 11 lugemise uurijate seas tunnustatud mudelit, millele uurimustes tuginetakse. Enamasti põhinevad need mudelid seisukohal, et lugemisprotsess sisaldab nii tekstist kui lugejast lähtuvaid tegevusi, mis on omavahel interaktiivselt seotud. Mõlema tasandi oskustel on keskne roll teksti tajumisel, probleemilahendusel ning teksti mõistmisel (vt Kintsch 2005). 
Joonis 1 aitab seletada lugemisprotsessi kognitiivset ja metakognitiivset olemust. Mudeli keskne osa kujutab endast lugemisoskuse kognitiivseid aspekte (ingl skills, processes), mida käsitletakse ka teksti mõistmise madalama ja kõrgema tasandi oskustena. Need on paljudes uurimustes lugemisoskuse käsitluse aluseks (vt nt Kintsch 1988, Nassaji 2003, Alderson 1990, Rupp jt 2006ja Kong 2006) ning seostuvad eelnevalt käsitletud tekstist ja lugejast lähtuvate mudelitega. Lugemisoskuse eri aspektide kasutamine madalamal ja kõrgemal tasandil on üldjuhul automaatne, välja arvatud juhul, kui tekivad mingid raskused, või tegemist on madalama keeleoskustasemega, mil lugemisprotsess on kontrollitum (Grabe 2009: 39). Paremal on kujutatud teadmisi, mida lugeja teksti mõistmise protsessis aktiivselt kasutab. Vasakul pool on esitatud lugemise metakognitiivsed aspektid, nagu lugemise eesmärgistamine, sellest tulenev lugemistüübi valik ning oma tegevuse pidev kontrollimine. 
Madalama tasandi oskustena (vt joonis 1) nähakse a) sõna vormilist tuvastust; b) selle tähenduse äratundmist, mis hõlmab endas mentaalses leksikonis sarnaste sõnade aktiveerimist ja nendest ortograafi liselt, fonoloogiliselt ja semantiliselt sobivaima valimist; c) teksti mõistmist lausetasandil, milleks süntaksiteadmisi kasutades seostatakse sõnu omavahel ja moodustatakse vähimad teabeüksused (propositsioonid, vt ka Karlep 2003: 237). (Grabe 2009: 22-32) Tervikliku ettekujutuse loomine teksti(de)st 

Situatsioonimudeli loomine


Järeldamine


Tekstibaasi loomine

Süntaktilise info töötlemine seosed fraasi-ja lausetasandil teksti kui terviku põhisisu mõistmine 

Sõnatuvastus


Eesmärgi täitmise kontrollimine


Vajadusel tegevuse korrigeerimine

Teadmised teksti struktuurist tekstitüüp tekstiliik 
Joonis 1. Teksti mõistmine Grabe (2009: 21-82) ning Khalifa ja Weiri (2009: 34-81) põhjal. 
Kõrgema tasandi põhilisteks oskusteks on tekstibaasi ja situatsioonimudeli loomine, mida on kirjeldanud T. A. van Dijk ja W. Kintsch (1983, viidatud Kintsch 1988 järgi) ning mida on praeguseks tunnustanud enamik selle ala uurijaid (Grabe 2009: 46). 
Tekstibaasiks (ingl text base, text model, propositional meaning) nimetatakse tekstiga otseselt väljendatud tähendust. Selle mõistmise eelduseks on tajutud teabeüksuste omavaheline järkjärguline ühendamine sidusaks tervikuks. Seoste loomisel kasutab lugeja järeldamist, eriti siis, kui seosed tekstis pole selgelt väljendatud. Situatsioonimudel (ingl situation model, mental model) on lugeja ettekujutus tekstist, mis tekib, kui tekstibaasi tõlgendatakse oma taustteadmisi (teemakohased teadmised, kultuuriteadmised, kogemused sarnasest situatsioonist jne) kasutades. Kui tekstibaasist aru ei saada, ei ole ka situatsioonimudeli loomine võimalik. See näitab lugemisoskuse eri aspektide omavahelist seotust. Sama teksti lugedes võib lugejatel erinevate taustteadmiste tõttu tekkida erinev kujutluspilt. Situatsioonimudeli loomist mõjutavad lisaks taustteadmistele veel lugemise eesmärk, tekstitüüp ja varasemad sarnase teksti lugemisest saadud kogemused, suhtumine kirjutise sisusse ja autorisse, teksti hinnanguline väärtus lugeja jaoks jm (Grabe 2009: 46). (Kintsch 1988, Karlep 2003: 233, Khalifa ja Weir 2009: 50-52 ja Grabe 2009: 40-43) Teksti mõistmise seletamine tekstibaasi ja situatsioonimudeli abil võimaldab arvesse võtta teksti tüübi ja liigiga seotud tegureid ja näidata, kuidas erinevaid tekste erinevalt loetakse, aga ka selgitada nõrgematel lugejatel esinevaid raskusi (Grabe 2009: 46). 
Teksti mõistmise viimases staadiumis kujuneb lugejal struktureeritud, terviklik ettekujutus loetud tekstist (või tekstidest, kui eesmärgi täitmiseks on vaja lugeda mitmeid tekste). Terviklikku ettekujutust loetust aitavad tekitada teadmised teksti struktuurist (vt lähemalt Kikerpill 2010: 36-39). 
Lugemise metakognitiivsed aspektid on joonisel 1 esitatud protsessi kesksetest komponentidest vasakul pool. Teksti lugemise eesmärgist lähtuvalt valib lugeja sobiva lähenemisviisi, milleks on erinevad lugemistüübid rakendatuna kas tekstiosale (lokaalne lugemine) või tekstile tervikuna (globaalne lugemine). Lugemistüüpideks on joonisel üld-, valik-ja süvalugemine, millest üld-ja valiklugemine on olemuselt kiired tegevused, samal ajal kui süvalugemine kujutab endast põhjalikku süvenemist tekstisse. 
Varasemates uurimustes on üld-, valik-ja süvalugemist käsitletud lugemisstrateegiatena (vt nt Hausenberg jt 2003). Lugemistüübi mõiste on võetud kasutusele seoses lugemisstrateegia mõiste täpsustumisega. 
Lugemisoskuse seletamine lugemisoskuse kognitiivsete aspektide ja strateegiate kaudu ongi olnud üks enam diskussiooni tekitanud teema lugemise uurimises, sest erinevate käsitluste tõttu on segadust põhjustanud eelkõige nende eristamine. Lugemisstrateegiad ja lugemisoskuse aspektid on mõnedes käsitlustes kattunud ning lugemisstrateegiateks on peetud isegi õppetegevusi (vt Alderson 2000: 309-311, Urquhart ja Weir 1998: 88-100 ja Weir 2005: 87-95). Uurijad on tänaseks jõudnud ühisele arusaamale selles, et lugemisstrateegiad on mentaalsed tegevused, mida lugeja teadlikult rakendab teksti mõistmise eesmärgil (vt Cohen 2006, Cohen 2007, Khalifa ja Weir 2009, Cohen ja Upton 2006ja Phakiti 2003). Lugemisstrateegiaid ei ole võimalik lõpliku loeteluna esitada, nende kasutamine sõltub ülesande raskusest ja lugeja keeleoskustasemest (Phakiti 2003: 27-29, Cohen 1998: 92 ja Kong 2006). Eri lugejad kasutavad seega strateegiaid erinevalt ning nende uurimine võimaldab teha järeldusi teksti mõistmise eri aspektide kohta. 
Teksti mõistmise protsessis on eri tasandi oskusi ühendavaks mehhanismiks operatiivmälu (lühimälu), millel on nii teabe säilitamise kui töötlemise funktsioon. Lühimälule on omane piiratud maht -teave säilib aktiivsena vaid 1-2 sekundit, kuid seda saab taas aktiveerida pikema aja jooksul. Lugemisel hoitakse lühimälus teavet, mis on teksti mõistmiseks aktiveeritud, kuni seda mõistmisprotsessis kasutatakse. Mõistmise madalamal astmel toetab lühimälu sõnatuvastusprotsessi, säilitades ja kombineerides aktiveeritud sõnu. Lühimälus töödeldakse ka lauseosa süntaktilist ja semantilist teavet, säilitades olulist osa teksti mõistmiseks ning aidates luua nii tekstibaasi kui situatsioonimudelit. (Grabe 2009: 32-36, 50) Sageli käsitletakse lugemisega seoses teksti sisulise mõistmise tasandeid, mis näitavad mõistmise sügavust. Nii võib rääkida tekstis otseselt ja kaudselt väljendatud teabe mõistmisest, üksikasjade ja peamise mõtte mõistmisest (vt Alderson 2000: 7-9). Karlep (2003) on Irina Zimnjajale (1989: 188-190) tuginedes esitanud neli teksti sisulise mõistmise tasandit, mis suuresti kattuvad eelnimetatutega, kuid on esitatud raskuse järgi: 1) teksti teema mõistmine, mis näitab, et lugeja saab aru, kellest või millest tekstis räägitakse; 2) teksti teema ja põhisisu mõistmine, mille tulemusena lugejal on üldine ettekujutus loetust; 3) teksti teema ja sisu detailne mõistmine, mis tähendab, et lugejal on ettekujutus teksti üksikasjadest, näiteks kuidas miski toimus; 4) teksti peamõtte mõistmine, mis näitab, et lugeja saab aru teksti sõnumist. (Karlep 2003: 234-235) Kirjeldatud tasandid seostuvad lugemise tüüpidega (vt joonis 1), kuid neil võib näha seoseid ka lugemisoskuse kognitiivsete aspektidega. Võib oletada, et teksti teema mõistmiseks piisab arusaamisest lausetasandil, põhisisu mõistmine seostub tekstibaasiga ning üksikasjade mõistmine kujunenud situatsioonimudeliga. Peamõttest arusaamiseks võib piisata tekstibaasist, kui see on tekstist otseselt leitav, kuid juhul, kui see sisaldub tekstis kaudselt, on vaja kõrgema tasandi oskusi. 

Lugemistesti kvaliteedist

Testi kvaliteedi peamisteks omadusteks on valiidsus ja reliaablus. Valiidsus näitab, kui asjakohased, tähenduslikud ja kasulikud on järeldused, mida testi tulemuste põhjal tehakse. Valideerimise käigus kogutakse tõestusmaterjale, mis neid järeldusi kinnitaksid. Kuigi tõestusmaterjali võib koguda mitmel moel, viitab valiidsus alati sellele, mil määral tõestusmaterjalid kinnitavad järeldusi, mida on testi tulemuste põhjal tehtud. Mida rohkem tõestusmaterjali on võimalik valiidsuse eri aspektide kohta koguda, seda parem. (Alderson jt 1995: 171, Bachman ja Palmer 1996: 21) Valiidsus pole mitte testi omadus, vaid selle tulemuste ja kasutamise põhjal tehtavate järelduste omadus (Alderson ja Banerjee 2002: 79). 
Testi usaldusväärsust on defi neeritud kui mõõtmise järjekindlust ja peetud testi tulemuste põhiomaduseks. Test on usaldusväärne, kui selle tulemused testitava jaoks on eri olukordades (nt eri päevadel) sooritatuna samad. Eesmärk on minimeerida testi koostamisel ebakõlasid, mis ei tulene testi konstruktist. (Bachman ja Palmer 1996: 19-20) On näitajaid, mida testikoostajad ei saa ette näha ega arvesse võtta (nt testitavate tuju ja väsimus), kuid mitmeid testisooritaja karakteristikuid, ülesande koostamise ning testi läbiviimisega seotud asjaolusid ning testi kvaliteedi statistilisi näitajaid on testi usaldusväärsuse tagamisel võimalik arvestada (vt lähemalt Kikerpill 2010: 23-27). 
Valiidsus ja reliaablus on omavahel tihedalt seotud omadused: valiidne test peab tagama järjekindlalt täpse mõõtmise, mistõttu peab valiidne test olema ka usaldusväärne (Bachman ja Palmer 1996: 23, Hughes 2003: 50). Samas võib test olla usaldusväärne, aga mitte valiidne, teisisõnu pole usaldusväärsus piisav tingimus testi valiidsuse tagamiseks (Bachman ja Palmer 1996: 23). Kui näiteks test koosneb mitmesugustest sõna-ja vormitundmist kontrollivatest (olgugi autentsetele tekstidele loodud) lünkülesannetest, mis on usaldusväärselt koostatud, läbi viidud ja hinnatud, on tegemist reliaabli testiga. Ent kui tulemuste põhjal soovitakse teha järeldusi testitavate tekstimõistmisoskuse kohta, võib väita, et niisugusel eesmärgil kasutamiseks ei ole test valiidne, kuna teksti mõistmise oskus on midagi enamat kui vaid sõna-ja vormitundmine. 
Üheks valiidsuse ohustajaks, millele uurimuses tähelepanu pöörati, on konstruktiväline variatiivsus, mille kohaselt ülesanne või selle üksikküsimus on raske või kerge valel põhjusel (Messik 1995). Konstruktiväline raskus tähendab, et ülesande või üksikküsimusega mõõdetakse ka konstrukti mittekuuluvaid oskusi või võimeid (nt taustteadmisi või soorituse kiirust), mille tõttu ülesanne muutub testitavale eeldatavast raskemaks. Konstruktivälise kerguse näiteks võib tuua võimaluse vastata küsimusele teksti lugemata -taustteadmistele tuginedes või ebaloogilisi valikuid välistades. 

Enesevaatlus lugemisoskuse uurimisel

Enesevaatlust, mille puhul keelejuhil palutakse verbaliseerida oma mentaalseid protsesse, kasutati esmalt psühholoogiauuringutes, kus see 19. sajandi lõpus ja 20. saj alguses oli kasutusel isegi keskse uurimismeetodina (Brown ja Rodgers 2002: 54-55). Tänapäeval on see laialt kasutatav kvalitatiivne uurimismeetod, mida testiuuringutes kasutatakse ka testi valideerimisel. Lisaks testimisele kasutatakse enesevaatlusi teise keele uurimise muudeski valdkondades, nagu näiteks tõlkimine, veaanalüüs, motivatsiooniuuringud (vt Faerch ja Kasper 1987). 
Enesevaatlusi on erinevalt liigitatud (vt Cohen 1987, Cavalcanti 1987, Brown ja Rodgers 2002, Stemmer 1991, Cohen 1996, Banerjee ja Luoma 1997), kuid eristada võib kahte suuremat liiki: samaaegne enesevaatlus e introspektsioon (ingl concurrant verbal report, introspection) ning edasilükatud enesevaatlus e retrospektsioon (ingl retrospection, ka self-reports, self-perception). 
Introspektsiooni korral verbaliseerib keelejuht oma mõtteid ja probleeme ülesande lahendamisega samal ajal. Coheni (1996) järgi jääb introspektsioonis mõtte ja selle verbaliseerimise vahele 10-20 sekundit ja ülesande lahendamise käigus ka analüüsitakse oma mõtteid (vt ka Banerjee ja Luoma 1997). Samas ei pea introspektsiooniga tingimata kaasnema ettetulevate probleemide analüüs. 
Introspektsioonil on erinevaid variante. Näiteks on lugemise uuringutes kasutatud enesevaatlust, mille käigus keelejuht loeb vaikselt ja "mõtleb valjusti" vaid siis, kui lugemisprotsess takerdub (ingl pause protocol). Edasiarendus on tingitud sellest, et valjusti lugemise käigus pole võimalik samal ajal valjusti mõelda. See lähenemisviis võimaldab lugejal jälgida oma lugemisprotsessi ja annab uurijale infot probleemide olemuse ja paiknemise kohta ülesandes. Probleemi analüüs näitab, kas raskusi põhjustavad ülesande sooritaja või ülesande enda omadused (lugemisülesande puhul ka teksti omadused) ning kuidas see on seotud konstruktiga. (Cavalcanti 1987) Edasilükatud enesevaatluse e retrospektsiooni puhul kirjeldatakse oma kogemusi, mõtteid ja tundeid alles pärast üles-ande täitmist. Retrospektsiooni võib korraldada näiteks üks tund pärast ülesande täitmist, aga ajavahe võib olla ka mitu tundi, päeva või isegi nädalat. (Cavalcanti 1987, Cohen 1987: 84, Stemmer 1991: 33-34, Banerjee ja Luoma 1997: 277) Lugemisoskuse mõõtmise uuringus on siiski tähtis, et kogemusi ja otsustuste tagamaid jagataks vahetult pärast testi või ülesande täitmist, kuna kogetu ununeb kiiresti. 
Introspektsiooni kui kvalitatiivse meetodi olemusest tingituna on olulisim küsimus valiidsus, teisisõnu -kas introspektsiooni käigus kogutud andmed on need, mis vastavad uurija küsimustele (Banerjee 2004). 
Introspektsiooni läbiviimisel on vaja arvestada mitmete asjaoludega (Banerjee 2004, Cohen 1996: 358-361 Introspektsiooni puudusi võiks olla võimalik vähendada, kui kasutada seda kombinatsioonis retrospektsiooniga. Testi soorituse järgne küsitlus võimaldab koguda lisainfot selle kohta, mida samaaegse enesevaatluse käigus ei jagatud. Samuti on oluline introspektsioonis osalejate põhjalik ettevalmistus, sh võimalus prooviülesandega valjusti mõtlemist harjutada. 
Lugemise uuringuid on kahesuguseid: uurida saab nii protsessi kui ka nn produkti. Vajadust uurida lugemisülesannete sooritamise protsessi tunnistas Charles Alderson (1984: 21-22, viidatud Anderson jt 1991: 44 järgi), kes kutsus uurijaid üles kasutama enesevaatlust, et koguda andmeid selle kohta, kuidas lugemisülesandeid täites vastusteni jõutakse. Sellest alates on ilmunud arvukalt lugemisstrateegiatele keskendunud töid (vt Cavalcanti 1987, Alderson 1990, Stemmer 1991, Horiba 1996ja Rupp jt 2006), muu hulgas L1 ja L2 strateegiakasutust võrdlevaid uurimusi (vt nt Kong 2006). Eraldi on uuritud testisooritusstrateegiaid (vt Phakiti 2003 ja Purpura 1998), mis on omased igasuguse testi täitmisele. Testi sisuliste aspektide ja soorituse statistiliste näitajate omavahelisi seoseid hakati uurima 1980. aastate lõpus (Anderson jt 1991, Anderson 1991). Esimese katse kombineerida lugemistesti sisulist ja statistilist analüüsi enesevaatluse abil kogutud andmete analüüsiga tegid Anderson jt (1991), kes kasutasid triangulatsiooni katsena uurida lugemistesti konstruktivaliidsust. 

Ülevaade analüüsist ja uurimistulemustest

Uurimuses analüüsiti 2009. aasta ühe B2-taseme eksami lugemistesti valikvastusülesannet (vt lisa 1) ja järjestusülesannet (vt lisa 2) eesmärgiga koguda andmeid nende konstruktivaliidsuse kohta. Lugemistesti kõigi nelja ülesande kasutamine oleks võinud kahandada uurimistulemuste usaldusväärsust, sest enesevaatluse seanss veninuks pikemaks kui 60 minutit, mis on sarnaste uurimuste soovitatavaks ajapiiriks. 
Ülesannetega mõõdetavad oskused on eksami eristuskirja kohaselt valikvastusülesande puhul teksti peamisest mõttest arusaamine, olulise eristamine ebaolulisest, teksti kohta järelduste tegemine ning kirjutaja seisukohtade mõistmine; järjestusülesandega mõõdetavad oskused on ülelibisev lugemine asja tuuma tabamiseks, tekstist üldine arusaamine ja tekstisiseste seoste mõistmine (vt www.ekk.edu.ee). 
Uurimuses kasutati Khalifa ja Weiri (2009: 5) sotsiokognitiivset mudelit lugemistesti valideerimiseks, mille järgi konst-ruktivaliidsuse põhimiku moodustavad a) testi sisu valiidsuse tõestus e andmete kogumine testi sisuliste aspektide kohta (ingl content validity, context validity), b) testi kognitiivse valiidsuse tõestus e andmete kogumine testiga mõõdetavate oskuste kohta (ingl theory-based validity, cognitive validity) ja c) testi statistilised karakteristikud, mis aitavad analüüsida testi usaldusväärsust ja valiidsust. 
Eelnevast tulenevalt kasutati valideerimisel triangulatsiooni, mille puhul järelduste tegemisel tugineti 1) ülesannete sisu testiteoreetilisele analüüsile, 2) testisoorituse kvalitatiivsete andmete analüüsile ja 3) 2009. aasta eksami vastavate lugemisülesannete statistilisele analüüsile 284 eksaminandi sooritusest. 
Ülesannete sisu analüüsides kirjeldati nii ülesandetüübi kui teksti omadusi, mida võeti arvesse ka üksikküsimuste analüüsis. Üksikküsimuste analüüsis eristati teksti mõistmise ja ülesande soorituse üksikasju ehk lugemis-ja testisooritusstrateegiaid. Lugemisstrateegiate põhjal tehti järeldusi küsimustega mõõdetavate lugemisoskuse kitsamate aspektide kohta. Tulemusi kõrvutati eksami eristuskirja järgi kontrollitavate oskustega ja kasutati ka eksami statistiliste näitajate tõlgendamiseks. 
Ülesannete analüüsi ja litereeritud andmete põhjal koostati ülevaade ülesannete soorituse käigus kasutatud lugemis-ja testisooritusstrateegiatest. Strateegiate nimetamisel oli eeskujuks Andersoni jt (1991) Tulemuste esitamisel lähtutakse eeldusest, et analüüsitud ülesanded mõõdavad eesti keele B2-taseme eksami eristuskirjas nimetatud oskusi. Uurimusest selgus, et analüüsitud ülesanded tervikuna mõõdavad küll lugemisoskuse eri aspekte, kuid mitte kõiki eristuskirjajärgseid oskusi. Järgnevad näited illustreerivad tehtud järeldusi, põhjalikuma ülevaate saamiseks analüüsi eri osadest võib tutvuda uurimusega (Kikerpill 2010). Näidetes allajoonitud tekst viitab algselt vene keeles väljendatud mõtetele, mille uurimuse autor litereerimise käigus eesti keelde tõlkis. Näidetes kasutatud transkriptsioonimärgid on esitatud lisas 3. 

Ülesannete konstruktivaliidsust kinnitavad andmed

Konstruktivaliidsust kinnitavate andmete esitamisel vastati kahele küsimusele: 1) mil määral peegeldub ülesannete soorituses lugemise konstrukt (vt joonis 1) ning 2) mil määral sooritus kattub ülesande konstruktiga e oskustega, mida taotletakse mõõta. 
Analüüs näitas, et mõlema ülesande soorituses domineerisid lugemisstrateegiad, mis lubab järeldada, et ülesanded seostuvad valdavalt teksti mõistmisega. 
Ülesannete sooritustest ilmnes, et keelejuhid kavandasid oma lugemistegevust vastavalt eesmärgile (näide 1) ning muutsid lähenemisviisi vastavalt vajadusele (näide 2), mis osutab teksti mõistmise metakognitiivsetele tegevustele (vt joonis 1). See selgus just neile vähem tuttava järjestusülesande puhul, mille täitmise kogemus oli küll kõigil olemas, kuid täitmise viis polnud veel kinnistunud. Valikvastusülesande kavandamises näidati täit kindlust ka töökäsku lugemata (näide 3). 
(1) on (.) õiges järjekorras panna (.) lõigud (.) aa no praegu siis ma hakkan lugema kõik need (.) lõigud (i1) (2) nüüd ma loen (.) see esimene lõik (...) edasi ma otsin kus (.) võib olla teine osa (...) alguses loen lihtsalt esimesi sõnu et saada aru näiteks e ei sobi (.) h ka tuleb hiljem (..) loen f (..) saan aru et see ka tuleb hiljem (.) nii nagu alustasin on (.) raske seepärast loen lihtsalt kõik variandid järjest läbi (...) lugesin d variandini ja panen selle teiseks tundub et tähenduse poolest see sobib kõige paremini (...) nüüd vaatan kiiresti ülejäänud variante et leida kolmas osa (i3) (3) nagu ma mäletan tavaliselt küsimused oli järjest (...) järjekorras või ja siis ma loen (aa) loen küsimusi ja siis loen teksti ja otsin vastust (..) jah (i5) 
Teksti mõistmiseks kasutasid keelejuhid mõlema tasandi oskusi, kuid tulenevalt keeleoskustasemest on nende sõnatuvastus automaatne, mistõttu sellekohaseid strateegiaid ei registreeritud. Seevastu järeldamine oli mõlema ülesande edukaks täitmiseks vajalik oskus, mida kasutati lokaalsel tasandil tundmatute sõnade tähenduse tuletamiseks (näide 4) ja tekstis otseselt ning kaudselt väljendatud seoste mõistmiseks (näide 5). Globaalsel tasandil kasutati järeldamisoskust tekstis kaudselt väljendatud eesmärgi leidmiseks (valikvastusülesanne, näide 6) ning teksti struktuuri kohta käivaid teadmisi aluseks võttes ka loo sündmustiku mõistmiseks (järjestusülesanne, näide 7). 
(4) loen neljandat küsimust (.) "kuidas hangib autor igapäevaseid toiduaineid" (.) sõna "hangib" ei tea (.) ja (.) võib-olla tekstis on mingi selle sõna sünonüüm /---/ kui hakkasin teksti lugema siis kohe oli sellest et (.) autor läks turule siis ökopoodi jne et "hangib" nagu võib olla nagu otsib või valib või (.) seda tähendab (i7) (5) selles lõigus (ee) viimases lauses ta kirjutab et olge (.) tähelepanelikud (.) ja vaadake millist toodet te ostate ja (..) ja (.) nende sõnade järgi mina võin öelda et just see asja teeb autori (.) autorit murelikuks (i1) (6) ma arvan et b variant (.) sest see tekst (.) pole nagu reklaamtekst (.) seal ei ole nimetatud mitte ühtegi kohta või tootjate nimi või mingit sellist (i7) (7) siis üheksas on viimane ja peab olema mingi loogiline lõpp (.) siis oli f ja h (.) siis loen teksti mis on f tähega märgitatud (...) ja siis lõpetasin kaks viimast lõiku ja arvan et f variant sobib parem sest h variandi kohta natuke kahtlen sest (..) mingis lõigus ta kirjutas sellest et vees oli juuksed ja teised ebameeldivad asjad aga siis torkab pähe et oleks võinud oma veekindla kaamera kaasa võtta (.) milleks talle see (.) basseinis (.) kui seal on ainult juuksed ja nii edasi (.) aga f on sobib natuke rohkem ja arvan et see veel sobib paremini sest "mõtlesin et võib-olla ei jäägi see viimaseks korraks" no see on nagu teksti arenemine (.) kui ta tuli ta väga kahtles aga pärast proovimist see hakkas meeldima siis panen f variandi (i7) 
Et uurimuses osalenute jaoks oli ülesannete sooritamine (vähemalt osaliselt) autentne lugemistegevus ja mitte pelgalt õigete vastuste leidmine, näitab see, et a) loetud tekstid pakkusid neile huvi (näide 8); b) lugemise käigus aktiveerusid teemaga seotud varasemad kogemused (näide 9) ning väljendati isiklikke seisukohti (näide 10), mis kinnitavad taustteadmiste kasutamist tekstide tõlgendamisel; c) järeldused põhinesid tekstis sisalduval teabel. 
(8) on vaja kogu aeg sellest mõelda et ma pean midagi rääkima aga probleemi pole sellest et (.) kas valjusti mõtled või mitte sest sa loed teksti ja mõtled ainult selle järgi mitte teistest asjast (.) no tekstid olid päris huvitavad ja siis ei jooksevad mõtted teistele poole (i7) (9) räägib sukeldumisest (..) mulle kohe tekib pilt sellest loost (.) ilmselt x on kingitus siis mingi atesteerimine siis mingi instrueerimine siis sukeldumine ja viimane osa on lõpp muljed ja nii edasi /---/ esialgu oli plaan kõik järjest läbi lugeda aga tuli välja et lugemise ajal hakkasin juba lõike omavahel seostama (i9) (10) no jälle on selline asi et tuli meelde kohe sellest et on vaja alati vaadata mis on siltide taha kirjutatud (.) ma vaatan tihti ja oli palju üllatusi ka (i2) 
Küsimus, mil määral keelejuhtide sooritus kattub ülesannete konstruktiga, on küsimus sellest, kas enesevaatluse kaudu kogutud andmete põhjal on võimalik järeldada, et ülesanded mõõdavad eristuskirjas seisvaid oskusi. 
Valikvastusülesande soorituse analüüs kinnitas sooritustulemuste kokkulangevust kolme eesmärgiks oleva oskuse puhul: peamisest mõttest arusaamist kontrolliti ühe küsimusega, teksti kohta järelduste tegemist samuti ühe küsimusega ning kirjutaja seisukohtade mõistmist kahe küsimusega. Kolme üksikküsimuse (1., 5., 7.) sooritused kattusid mingi eristuskirjas seisva oskusega (vt tabel 1). 
Järjestusülesande soorituse analüüs näitas samuti vaid osalist kattuvust ülesande konstruktiga. Ilmnes, et tekstisiseste seoste mõistmine on tõepoolest ülesande edukaks soorituseks vajalik oskus: keelejuhid tuginesid eelkõige tugevatele leksikaalsetele seostele (nt sõnakordus, näide 11) ning sündmustikul põhinevatele järeldusseostele (näide 12). Viimased olid ülekaalus ja nende abil oli võimalik ka kompenseerida teksti mõistmise kohatisi raskusi. See kinnitab, et ülesandega mõõdetakse tekstisiseste seoste mõistmist. 
(11) kuna siin räägitatakse ankeedist siis (.) a lõigus on kohe alguses kirjutatud et ankeedi lõpust võisid kõik (12) no mina arvan et praegu lõigud i f h ja e ei sobi (.) sellepärast et (.) nendele lõikudele (.) ee meie kangelane on nagu vees (.) ujub teiste inimestega aga b lõigus nad veel (.) kuskil basseini juures panevad (.) kõik vajalikud asjad selga (.) maskid (.) lestad (.) ja paljud muid vajalikud asju ja kuues punkt on b (.) mina arvan (i1) 
Teksti üldine mõistmine ja ülelibisev lugemine asja tuuma tabamiseks, mis kokku võiks tähendada teksti põhisisu Tabel 1. Valikvastustega ülesandega mõõdetavad oskused testi eristuskirja ja andmete analüüsi põhjal. 

Konstruktiväline variatiivsus

Konstruktivälist variatiivsust võis täheldada mõlemas ülesandes ja esines nii konstruktivälist kergust kui raskust. Valik vastusülesandes esines konstruktivälist variatiivsust kinnitavaid andmeid neljas üksikküsimuses seitsmest. 
Konstruktiväline kergus ilmnes valikvastusülesandes võimalusena vastata küsimustele teksti mõistmata, kas taustteadmisi kasutades (2. küsimus, näide 13) või ebaloogilisi valikuid välistades (3. küsimus, näide 14). Valikuid välistavaid otsuseid tehti ka taustteadmiste põhjal. Teiseks kergendas vastamist võimalus tugineda leksikaalsele kattuvusele teksti, küsimuse ja õige vastuse vahel (3. ja 5. küsimus, näide 15). Järjestusülesandes täheldati konstruktivälist variatiivsust vähem juba ülesandetüübi tõttu, kuid esines juhtumeid, kus valik (tekstilõik) välistati taustteadmistele tuginedes või kus vastus valiti teisi valikuid välistades. 
(13) kui ma lugesin vastuse variante /---/ ma kohe arvasin et vist ma valiksin et "hoida kokku energiat ja piirata tarbimist" (.) (oma teadmiste põhjal?) (.) jah (i6) (14) teise küsimuse variant a tundub absurdne et (...) ökoinimesed kasutavad odavaid asju /---/ keegi ei soovita loobuda kodukeemiast ja ka see on absurdne variant (i9) (15) viies küsimus algab sellega et "milline ebameeldiv üllatus tabas (.) autorit" (.) ja (..) siis tekstis lõik algab (.) ka nende sõnadega et (.) "oli ka ebameeldivaid üllatusi" (.) ja siin räägitatakse päevalilleseemnest (i6) 
Konstruktivälist raskust võis valikvastusülesandes täheldada esimeses küsimuses, millega kaasnev valik oli sõnastuselt keerukam kui tekst ise. Lisaraskus oli tekitatud ka lähteteksti kohandamisega (6. küsimus). Seega võib valikvastusülesande konstruktivälise raskuse taga näha ülesande koostamisest tin-gitud probleeme, mida on võimalik testiarenduse käigus kõrvaldada. Tabelis 1 seisavad esimeses tulbas sulgudes oskused, mida ülesandega võiks mõõta, kui valiidsust ohustavad ilmingud likvideerida. Sel juhul seostuks ühe kontrollitava oskusega ka rohkem üksikküsimusi. 
Järjestusülesande konstruktiväline raskus seostub ülesande omadustega: 1) ülesanne seab mälule liiga suuri nõudmisi ja raskendab seeläbi teksti mõistmist (näide 16); 2) ka lahenduse järel ei kujuta tulemus endast silmaga haaratavat korrastatud teksti, mis tähendab, et korrastatud tekst eksisteerib vaid testitava kujutluses. See aga raskendab ka lahenduskäigu kontrollimist. Katsetada võiks samu oskusi kontrollivaid teisi ülesandetüüpe või uurida järjestatavate lõikude arvu vähendamise mõju ülesande sooritusele. 
(16) ülesanne ei ole nii tuttav (.) ei ole harjunud selle tüübiga (.) üldse ei armasta ülesandeid kus on vaja midagi järjekorda panna /--/ peab palju meeles pidama (.) kogu teksti on vaja meeles pidada (..) tekst ei ole raske aga ülesanne on raske (i9) 

Konstruktivaliidsust ohustavad tegurid ja nende vältimine

Uurimuse tulemusena on võimalik osutada mitmele tegurile, mis võivad ohustada lugemistesti konstruktivaliidsust üldiselt. 
Üheks ilmnenud probleemiks on ühtsete aluste puudumine lugemistesti konstrukti määratlemisel, mistõttu kohati pole võimalik aru saada, mida ühe või teise kontrollitava oskuse all silmas peetakse (nt olulise eristamine ebaolulisest, ülelibisev lugemine asja tuuma tabamiseks). Olukorda aitaks lahendada nüüdisaegsetel teoreetilistel seisukohtadel põhinevate, üheselt mõistetavate ja praktikas kasutatavate põhimõtete väljatöötamine konstrukti kirjeldamiseks. 
Teiseks ohu märgiks on ühe ülesandega kontrollitavate oskuste paljusus. Kui seitsme küsimusega taotletakse kontrollida nelja erinevat oskust, tekib küsimus, kuidas need ülesandes jaotuvad ja kas üks küsimus võib kontrollida ka mitut oskust. Nii nagu pole võimalik ühte tüüpi ülesannete kasutamise põhjal teha usaldusväärseid järeldusi testitavate lugemisoskuse kohta, ei saa ka ühe-kahe üksikküsimusega mõõdetud oskuse kohta testitulemuste põhjal midagi arvestatavat öelda. Lahenduseks oleks vähendada kontrollitavate oskuste arvu ülesande kohta ja tagada, et oskused kataksid konstrukti mõne järjestikuse testi lõikes. Selle eelduseks on, et eksisteerib teadmine, mida konstrukti all silmas peetakse, ning on olemas ühtsed alused selle kirjeldamiseks. 
Kolmas konstruktivaliidsust ohustav tegur on taas seotud mõõdetavate oskustega, mida on oluline eristada kõikvõimalikest ülesande täitmisega kaasnevatest oskustest. Mõõdetavad oskused peaksid olema need, millest sõltub küsimusele vastamine või ülesande edukas täitmine. Näiteks võib tuua analüüsitud järjestusülesande, millega soovitakse kontrollida ka teksti põhisisu mõistmist. Analüüs näitas, et põhisisule tuginedes oli võimalik üksikuid õigeid valikuid teha, kuid ülesande edukaks täitmiseks sellest ei piisa. Järelikult ei saa põhisisu mõistmine olla ka mõõdetav oskus. Lahendus seostub eelmise lahendusega -kontrollitavaid oskusi vähendades jätta alles need, mis on küsimusele vastamise seisukohast olulised. 
Eriti ettevaatlik tuleks olla lugemistüüpide (üld-, valik-, süvalugemine) kaasamisega konstrukti, sest lugemisel ei kujuta need endast omaette eesmärki, vaid nende kasutus sõltub lugeja valikust. Seega ei saa mõõta protsessi, kuidas teksti mõistmiseni jõutakse, vaid produkti e tehtud järeldust, leitud fakti, mõistetud suhtumist jne. Kui siiski soovitakse teha järeldusi mingi lugemistüübi kasutuse kohta, tuleb tagada, et seda ka mõõdetaks. Näiteks soovides mõõta otsivat lugemist, mis oma iseloomult on kiire ja valikuline tegevus, peaks ülesandele kehtestama ajapiirangu, mis nõuab muudatusi ka eksamikorralduses. Vastasel korral on testitaval aega teksti põhjalikult lugeda, mistõttu kontrollitakse küll teatud info leidmist, aga mitte otsivat lugemist. 
Selgus, et lähteteksti kohandamine ülesandele vastavaks võib olla üks konstruktivaliidsust ohustavaid tegureid. Sihtgrupile vastavate, sobiva pikkuse ja raskusega autentsete tekstide leidmine on raske ülesanne ning on ilmselge, et tekste tuleb mitmel põhjusel kohandada. Sellega aga kaasneb oht, et teksti kohandaja, kes on lähteteksti tervikuna läbi lugenud, ei märka lõpptulemuses mõttelünki. Tekstide kohandamisel tuleb silmas pidada, et tulemus oleks sidus, üheselt mõistetav ning võimaldaks testitaval teha oodatavaid järeldusi. Seetõttu on teksti kohandamisel tarvis arvestada nii kontrollitavate oskuste kui koostatava ülesandega. Kui eesmärgiks on näiteks kontrollida sõnade tähenduse tuletamist konteksti toel, on vaja teksti kohandamisega tagada, et kontekst seda ka võimaldaks. Ülesannete koostamiseks kasutatud lähtetekstid tuleb säilitada, et hiljem oleks võimalik analüüsida võimalikke probleeme ning vajadusel ülesannet parandada. 
Uute ülesandetüüpide kasutuselevõtt on seotud ohuga, et need osutuvad sihtgrupile kognitiivselt ülejõukäivaks. Kui ülesanne on kognitiivselt raske, on võimalik, et testitav näeb vaeva ülesande lahendamisega ega suuda ülesandetüübi piirangutest tulenevalt tekstile kui tervikule keskenduda, mis on konstruktivälise raskuse ilminguid. Enne uue ülesande kasutuselevõttu võiks lisaks tavapärasele eeltestimisele kasutada ka enesevaatlust ja/või viia eeltestimise käigus läbi kirjaliku küsitluse ülesande täitmise oluliste aspektide kohta. See võimaldab saada lisateavet ülesande sobivuse üle otsustamiseks. 
Testitavad on harjunud standardsete töökäskudega, mis võib olla põhjus, et neid üldiselt ei loeta. Uue ülesandetüübi kasutuselevõtuga võib kaasneda oht, et ülesanne seetõttu mingis aspektis ebaõnnestub. Järjestusülesande sooritusest kogutud andmete hulgas leidus sellele võimalusele osutavaid näiteid. Ülesande ebaõnnestumist valel põhjusel aitab ära hoida õigeaegne ja kättesaadav teave. 

Kokkuvõte

Artiklis käsitletud uurimus näitab, et lugemistesti soorituse uurimine enesevaatluse kaudu võimaldab testi (ülesannete) valiidsuse kohta koguda erinevaid andmeid: näiteks mil määral langevad kokku testi koostajate oletused ülesannete täitmise kohta ja oskused, mida testitav tegelikult näitab; missugune on lugemis-ja testisooritusstrateegiate osakaal ülesande täitmisel; mil määral lugemisülesanded tervikuna kontrollivad lugemisoskuse eri aspekte; kui sobiv on teatud ülesandetüüp mingi oskuse mõõtmiseks jne. 
Kombineerituna testiteoreetilise ja testitulemuste statistilise analüüsiga annavad enesevaatluse teel kogutud andmed väärtuslikku teavet testitulemuste tõlgendamiseks ja konstruktivälise variatiivsuse väljaselgitamiseks, et oleks võimalik koostada kvaliteetsemaid lugemisteste. Kvaliteetsemad testid omakorda võimaldavad teha usaldusväärsemaid järeldusi testitavate lugemisoskuse kohta. 

Aadress:

Tiina Kikerpill Eesti ja üldkeeleteaduse instituut Tartu Ülikool Jakobi 2 51004 Tartu, Eesti E-mail: tiina.kikerpill@ut.ee Lisa 1. Ülesanne 1. Valikvastustega lugemisülesanne Küsimused 1-7. Lugege artiklit ja valige küsimusele sobiv vastus (A, B või C). 

Ökoloogiline eluviis

Ökoloogilisest ehk rohelisest eluviisist räägitakse ja kirjutatakse aina rohkem. Internetis artikli jaoks väikest uurimistööd tehes üllatas mind kirg, mis selle teema ümber leegitseb. Ühiskonnas on rohelise eluviisi esindajaid, kes oma kogemusi teistega rõõmuga jagavad, ja üha rohkem ka neid, kes seda elulaadi pooldavad, kuigi ise selle põhimõtteid ei järgi. Mõned peavad ökoinimesi leebelt väljendudes lihtsameelseiks, kuid õnneks on sellised arvajad vähemuses. 
Kes on ökoloogilise eluviisiga inimesed? Need, kes teevad oma igapäevaseid valikuid säästlikult ja keskkonnateadlikult. Nende seltskond on kirju, kõrgepalgalisest tipptöötajast maal elava pensionärini. Mul on tunne, et pensionäride näol on meil olemas suur ökokogukond, lihtsalt enamik neist ei arva, et nende eluviis ongi kõige moodsam. 
Olgu siinkohal lühidalt üles loetud põhimõtted, mida ökoinimesed igapäevaelus järgida püüavad: toit peab olema taimne ja eestimaine, mõningal määral ka ökoloogiliselt puhas välismaine; energiat tuleb tarbida võimalikult vähe; prügi peab sorteerima; uusi asju soetatakse vajaduse, mitte meelelahutuse pärast; kodukeemia on maksimaalselt looduslik ning seda kasutatakse minimaalselt. 
Selliste põhimõtete järgimiseks läheb vaja veidi püsivust ja organiseerimist. Kõige lihtsam on alustada oma igapäevaste harjumuste muutmisest: poodi minnes riidekott tasku, tuled kustu, hambapesu ajal kraan kinni, pesu pesta kõige madalamal soovitatud temperatuuril. 
Mahetoit on omaette teema. Poest ostes on see tõesti märgatavalt kallim, ka valik on väiksem. 
Elan Tartus ja olen oma sisseostud jaganud järgmiselt: jahud ja helbed pudru-ning leivateoks ostan Tartu turuhoonest mahevilja letist, juurvilja saan kas otse maalt tuttava käest või ökokeskusest Supilinnas. Sealt leiab aeg-ajalt ka talunike toodetud maheliha. Mahekana ja -kala Eestis kahjuks veel saada pole. Välismaised puuviljad, pähklid ja seemned ning maiustused ostan viimasel ajal ökopoest, aga neid pean luksuskaubaks, mida kulub harva ja vähe. Niimoodi jagatuna saab ökoeluga hakkama küll. 
Paljud, kes ökopoodide hindadega esimest korda kokku puutuvad, saavad alguses kurjaks. Mina arvan, et 60 krooni banaanikilo ja 40 krooni šokolaaditahvli eest ongi õiglane hind. Kui mõelda, kui kaugelt need tulevad, siis on tegelikult absurdne, et sissetoodud kaubad toidupoodides nii odavad on. Eestimaise toidu eelistamine vähendab toidu teekonna pikkust kasvukohast toidulauani. See on asi, mida teadlik inimene jälgib. 
Samas on ka ebameeldivaid üllatusi, näiteks ostsin viimati ökopoest päevalilleseemneid ja avastasin, et need on Hiinas kasvatatud. Kas tõesti ei ole võimalik neid lähemalt saada? Kasvav konkurents mahetootjate seas sunnib neidki niinimetatud suurele kaubandusele omast praktikat kasutusele võtma ja see on kurb. 
Üks mu hea tuttav juhtis tähelepanu suurte fi rmade moodsale silmakirjalikule poliitikale: üks ja seesama fi rma müüb nii tavalist kui mahedat õiglase kaubanduse kohvi. Et natuke võtame kohviistanduste jaoks vihmametsi maha ja natuke oleme õiglased ka. Viimased näited iseloomustavad hästi seda, et rohelisest eluviisist on saanud mõnes mõttes moeasi ja suurfi rmade uus sissetulekuallikas. Ettevõtted püüavad ökotootena näidata toodet, mis seda tegelikult pole. Minu meelest tuleb olla tähelepanelik ja vaadata, mis on siltide taga. 
Olin varem võitlev ja tulihingeline igas uues maailmapäästmise katses, aga nüüd usun, et vägisi kedagi järele mõtlema ei pane. Muidugi saan ma aru, et ökoloogiline tootmine põhineb samuti naftal ja kehtival maailmakorral. Aga mida siis teha? Ennast ja loodust edasi mürgitada? Teadlik ökoinimene olla ei ole kerge. Süda alalõpmata valutab. Ma ei tea, kas maailma rahvastiku pideva kasvamise korral on võimalik keskkonnasaastet ja äravisatavat prügi vähendada. On päevi, mil ma sellesse ei usu. Samas pean meeles, et elul on kombeks üllatada. Kui nafta ükskord otsa saab, oleme ju kõik ökoinimesed. 
Maaleht 22.01.2009, Maarja Jakobson 

Mida kirjutab artikli autor ökoinimestest?

A Nende eluviisi kajastatakse üsna vähe. B Nendesse suhtumine on valdavalt halvustav. C Nende hulka võib lugeda ka pensionärid. 

Millist põhimõtet järgib ökoinimene?

A Tarbida odavaid toiduaineid ja asju. B Hoida kokku energiat ja piirata tarbimist. C Loobuda kodukeemia kasutamisest. 

Millest soovitab autor eluviisi muutmist alustada?

A Osta kõiki kaupu ökopoodidest. B Loobuda uute asjade ostmisest. C Muuta oma tarbimisharjumusi. 

Kuidas hangib autor igapäevaseid toiduaineid?

A Käib turul ja ökokeskuses ostmas. B Teeb sisseoste kallites ökopoodides. C Sõidab maale talunike käest ostma. 

Milline ebameeldiv üllatus tabas hiljuti autorit?

A Ökopoes oli väga väike puuviljade valik. B Ökopoes olid müügil ülikallid maiustused. C Ökopoest ostetud kaup oli kaugest riigist pärit. 

Mis muudab artikli autori murelikuks?

A Ökokaupadena püütakse pakkuda ka tavalisi tooteid. B Ökokaupu ostetakse sageli ainult moe pärast. C Ökokaupade tootmisel kasutatakse üha rohkem naftat. 

Mis on artikli eesmärk?

A Tutvustada ökoloogiliselt puhtaid toiduaineid. B Tutvustada ökoloogilist eluviisi isiklike kogemuste põhjal. C Tutvustada kodumaiste ökokaupade suuremaid tootjaid. 

Lisa 2. Järjestusülesanne

Küsimused (28-35). Lugege tekstilõike (X-K) ja otsustage, milline on nende õige järjekord. Kirjutage lõigu ees olev täht allpool olevasse tabelisse vastava järjekorranumbri alla. Teksti esimene lõik on tähistatud X-ga. Üks lõik ei sobi teksti. keelejuhi ID /---/ väljajäte 

Sukeldumine -see on imelihtne

Abstract. Tiina Kikerpill: Self-observation in validating reading test. The article is based on a study of the validity of reading assessment tasks in the B2-level Estonian language exam. The main criterion of validity is whether a test measures that which it seeks to measure. 
In validating a reading test, analysis using test theory and statistical analysis of the results are used, but data gathered during introspection or retrospection also play an important role. Examination statistics can be used to determine problematic questions in reading assessment tasks, but in order to ascertain the causes of these problems, one must investigate what actually happens during the performance of the tasks: what are the examinees thinking, and what are the decisions through which they reach their answers. Ten university students from the University of Tartu whose mother tongue is Russian participated in the study, introspectively performing two reading assessment tasks from the exam, and answered questions after performing the tasks. The analysis of data gathered from self-analysis combined with analysis using test theory and statistical analysis showed that the tasks under observation partially measured the tasks they sought to measure. The results of the research also pointed to the need to defi ne more precisely the skills measured with task types, and devote more attention to the adaptation of the source texts. 
Keywords: assessing reading comprehension, Estonian as a second language, validity, self-observation, verbal protocols, introspection, retrospection 



  ning Coheni jaUptoni (2006)lähenemisviis.Liigitamisel peeti aga silmas strateegiate seotust konstruktiga e teksti mõistmisega, mida varasemates uurimustes tehtud pole.Strateegiad sõnastati testisooritaja tegevusena (nt loeb, kasutab, otsib jne), üldistati ning kodeeriti.Eristati lokaalseid e teksti või ülesande osale suunatud strateegiad ning globaalseid e kogu tekstile või ülesandele suunatud strateegiaid.Lugemisstrateegiate alla liigitati teksti ning küsimuste ja valikute mõistmisega seotud tegevused, mida keelejuhid ülesande täitmise käigus teadlikult kasutasid.Testisooritusstrateegiate hulka arvati ülesande täitmisega, sh küsimustele vastamisega seotud tegevused, millest keelejuhid teadlikud olid.Üldistamise tulemusena kirjeldati 15 lugemisstrateegiat ja 22 testisooritusstrateegiat. Kuna 22 testisooritusstrateegiast üheksa seostuvad konstruktiga, võib öelda, et 65% registreeritud strateegiatest on ühel või teisel moel seotud teksti mõistmisega. Enim kasutatud lugemistrateegiateks olid loeb teksti detailselt üksikasjade mõistmiseks, kasutab taustteadmisi teksti tõlgendamiseks, tuletab tundmatu sõna tähenduse konteksti põhjal. 


	Konstruktiga seotud testisooritusstrateegiatest kõige sagedase-
	mad olid valib vastuse teksti sisule tuginedes ja välistab valiku
	teksti sisule tuginedes, mida kasutati nii valikvastus-kui ka jär-
	jestusülesande lahendamisel. Konstruktivälistest strateegiatest
	välistab valiku taustteadmistele tuginedes esines samuti mõlema
	ülesande soorituses. Et strateegiakasutus sõltub ülesandetüübist,
	oli ootuspärane. Näiteks nõudis järjestusülesanne mälu värs-
	kendamiseks nii järjestatud kui veel järjestamata tekstiosade
	korduvat ülelugemist, mida valikvastusülesandes ette ei tulnud.
	Seevastu lugemisstrateegiat registreerib märksõnu esines vaid
	valikvastusülesande lahenduskäigus. (Vt lähemalt Kikerpill
	2010: 108-114)

X

  Kui sain sõpradelt sünnipäevakingiks sukeldumiskursuse, mõtlesin alguses küll, et nad on hulluks läinud. Aga mis teha -kingitus on kingitus ja nii tuligi eelmisel reedel see tee jalge alla võtta. Kell 18 ootas ees proovisukeldumine Aura veekeskuses. A Ankeedi lõpust võisid kõik osalejad veel lugeda, et kursuse korraldajad ei vastuta meie kehavigastuste eest. Siinkohal naeratas instruktor sõbralikult ja ütles, et proovisukeldumisel ei saa tegelikult midagi hirmsat juhtuda. Tuleb ainult täpselt tema käske täita. B Maski sisse käskis instruktor meil enne veel sülitada, et see ujudes uduseks ei läheks. Siis sukeldusime basseini. Vee alla jõudes oli kogu teooria peast pühitud. Kõige keerulisem oli alguses hingata. C Nüüd oli aga juba hilja teisele alale mõelda. Meie juurde tuli instruktor ja palus kõigepealt täita üsna pika ankeedi. Pidin andma igasugust infot enda kohta ja kinnitama muu hulgas ka seda, et ma ei põe mingit haigust. D Jõudsin kohale veidi varem ja leidsin üsna kiiresti üles ka oma grupi. Et aega parajaks teha, jälgisime parasjagu toimuvat vesiaeroobika treeningut. Peast käis läbi mõte, et miks ma küll hoopis seda ei võinud kingiks saada -oleks mitu korda ohutum. E Kui aga õige nipi kätte sain, polnud enam midagi hullu ja ma üritasin ujuma hakata. Lõpuks tulid ka õiged sukeldumisliigutused välja ja siis jäi aega vaadata, kuidas basseini veealune osa välja näeb. F Mina midagi taolist igaks juhuks proovima ei hakanud -tavaline vee all ujumine oli juba piisavalt äärmuslik. Kui lõpuks vee peale tõusin, tundsin ühtaegu nii kergendust kui ka rahulolu. Mõtlesin, et võib-olla ei jäägi see viimaseks korraks. H Tundsin ennast kogenumate kaaslaste seas ülihästi. Turvatunnet lisas ka instruktori lähedalolek. Mul jäi aega isegi veealust loodust imetleda. Siis torkas pähe, et oleksin võinud oma veekindla kaamera kaasa võtta. I Koralle ja kalu seal ei olnud, küll aga tundusid ringihõljuvad tolmurullid ja juuksekarvad helesinisel taustal uskumatult võluvad. Samuti oli lõbus teisi ujujaid jälgida. Mõni tegi imelikke liigutusi, mõni üritas vee all koguni kukerpalli teha. K "No aga kuidas ma vee all nendest õigesti aru saan?" mõtlesin mina. Instruktor aga hakkaski juba selgitama, kuidas sukeldumise ajal tuleb käituda ja milliseid käemärke ning reegleid järgida. Ja siis oligi aeg lestad jalga, vest selga ja mask pähe tõmmata. 


				Enesevaatlus lugemistesti valiidsuse uurimisel	
	Lisa 3. Näidetes kasutatud transkriptsioonimärgid	
	(.)			lühike paus kuni 2 sekundit		
	(..)			pikem paus 2-10 sek			
	(...)			pikk paus üle 10 sekundi, enamasti seo-	
				tud teksti lugemisega			
	allajoonitud tekst		vene keeles verbaliseeritud mõtted	
	tavaline tekst		eesti keeles verbaliseeritud mõtted	
	((kursiiv))			kommentaar, küsitleja tekst		
	"jutumärgid"		ülesande tekst				
	(i8)								
	1	2	3	4	5	6	7	8	9
	X								

http://www.tartuekspress.ee/?page=7&n=13&id=102 
Tiina Kikerpill 

Enesevaatlus lugemistesti valiidsuse uurimisel
Tiina Kikerpill, Tartu Ülikool
ENESEVAATLUS LUGEMISTESTI VALIIDSUSE UURIMISEL