title: De Waarde van GrassRoots. Eindrapport GrassRoots Evaluatieonderzoek. 2005. &#x27E8;hal-00190197&#x27E9;
text: . of this publication may be reproduced, stored in a retrieval system, or transmitted, in any form or by any means, electronic, mechanical, photocopying, or otherwise, without the prior written permission of the publisher. Uitgave en verspreiding: SCO-Kohnstamm Instituut Wibautstraat 4, Postbus 94208, 1090 GE Amsterdam Tel.: 020-525 1201 http://www.sco-kohnstamminstituut.uva.nl ©
  
  In herinnering aan Peter van den Dool Dit rapport heeft de volgende hoofdauteurs: Drs. Henk Sligte Prof. Dr. Robert-Jan Simons Dr. Marijke Kral Dr
  
  . Ellen
  
  van den Berg De volgende personen hebben aan het onderzoek bijgedragen: Dr. Judith Schoonenboom, SCO-Kohnstamm Instituut Drs. Maarten de Laat, IVLOS Drs. Nelly Lemmens, Hogeschool Arnhem en Nijmegen Dhr. Maurizio Bidoggia, Hogeschool Edith Stein Dr. Gerard Doornekamp, Universiteit Twente Drs. Wim Didderen, Fontys Hogescholen Dr. Peter Sloep, Fontys Hogescholen Drs. Tom van Weert, Hogeschool van Utrecht Drs. Luc Hermie, Hogeschool van Utrecht Bijzondere dank gaat uit naar Dr. Alfons ten Brummelhuis, Stichting Ict op School, voor zijn voortdurend constructief commentaar en bijdragen aan het onderzoek. Inhoudsopgave Samenvatting.........................................................................................................1 Inleiding.................................................................................................................5 1 1.1 1.2 1.3 1.4 1.5 Criteria voor efficiënt en effectief ICT-gebruik in het onderwijs.......11 Inleiding...................................................................................................11 Efficiency en effectiviteit.........................................................................11 Het beschrijvingskader.............................................................................16 De interviewschema’s..............................................................................16 Conclusie.................................................................................................17 2 2.1 2.2 2.3 2.4 2.5 De educatieve functie van GrassRoots-projecten................................19 Inleiding...................................................................................................19 De aanpak................................................................................................19 Eerste impressies van de projecten..........................................................20 Resultaten van de kwantitatieve analyse..................................................22 Conclusie.................................................................................................34 3 3.1 3.2 3.3 3.4 3.5 Het kwalitatieve onderzoek...................................................................35 Inleiding...................................................................................................35 Veranderkleuren.......................................................................................36 GrassRoots-locaties naar aard en inhoud.................................................42 Geïnterviewde GrassRoots-docenten.......................................................48 Couleurs locales van locaties en scholen.................................................62 4 4.1 4.2 De uitkomsten van het evaluatieonderzoek.........................................77 De onderzoeksvragen...............................................
  
  ................
  
  ................
  
  77 Welke criteria voor effectief en
  
  efficiënt gebruik van GrassRoots kunnen worden afgeleid uit de ervaringen in Nederland en in andere landen?....77 Welke educatieve functies vervullen de GrassRoots-projecten overwegend?............................................................................................78 Welke verschillende veranderstrategieën kunnen worden onderscheiden in de praktijken in Nederland en andere landen?.....................................79 4.3
  
  4.4 4.5 4.6 4.7 5 5.1 5.2 5.3 Hoe zijn de diverse GrassRoots-locaties te typeren naar aard en inhoud?..80 In welke gevallen zijn GrassRoots effectieve en efficiënte strategieën om leraren ICT in hun onderwijs te laten benutten?.................................82 Welke relaties zijn er tussen de veranderstrategieën en de effectiviteit en efficiëntie van GrassRoots in de vorm van impact op innovatie, beleid en curriculum van de locatie?...........................................................83 Aanbevelingen........................................................................................85 Het verhogen van de succeskansen..........................................................85 Waarom doorgaan met GrassRoots?........................................................89 De waarde van GrassRoots......................................................................90 Referenties...........................................................................................................
  
  95 Bijlage 1: De veranderkleuren van de Caluwé en Vermaak...........................97 Bijlage 2: De ontwikkelde criteria...................................................................101 Bijlage 3: Beschrijvingskenmerken projectenscan........................................105 Bijlage 4: De interviewschema’s......................................................................107
  
  Tabellen Tabel 1-1 – Criteria per niveau.............................................................................12 Tabel 1-2 – Veranderkleuren................................................................................12 Tabel 1-3 – Clusters van criteria...........................................................................15 Tabel 2-1 – Verdeling van projecten in de steekproef en in het totale bestand naar locatie............................................................................................................23 Tabel 2-2 – Verdeling van de projecten in de steekproef en in het totale bestand naar onderwijssoort..................................................................................24 Tabel 2-3 – Mate van vervanging of vernieuwing in de GrassRootsprojecten.....25 Tabel 2-4 – Mate waarin GrassRootsprojecten bijdragen aan kenmerken van nieuw leren............................................................................................................26 Tabel 2-5 – Principale componentenoplossing van de items met betrekking tot de kenmerken van het nieuwe leren (n=534)...................................................26 Tabel 2-6 – Typologie Nieuw Leren afgezet tegen de somscores over de oorspronkelijke items betreffende het nieuwe leren.............................................27 Tabel 2-7 – De bijdrage van de GrassRoots-projecten aan het nieuwe leren........27 Tabel 2-8 – De bijdrage van de GrassRoots-projecten aan nieuw leren, naar onderwijssoort.......................................................................................................31 Tabel 2-9 – De reikwijdte van de GrassRoots-projecten, naar vak en leerjaar.....31 Tabel 2-10 – De ‘scope’ van de GrassRoots.........................................................32 Tabel 2-11 – De mate van integratie van de GrassRoots in het onderwijsprogramma............................................................................................32 Tabel 2-12 – De mate waarin de Informatiefunctie van ICT wordt gebruikt in de GrassRoots...................................................................................................33 Tabel 2-13 – De mate waarin de communicatiefunctie van ICT wordt gebruikt in de GrassRoots.....................................................................................33 Tabel 3-1 – Afgenomen interviews....................................... ................................36 Tabel 3-2 – Wat vindt men van ondersteuning en voorzieningen?.......................52 Tabel 3-3 – Hoe kijkt men naar de eigen deskundigheidsbevordering?...............55 Tabel 3-4 – Wat denkt men van motivatie en uitstraling?....................................56 Tabel 3-5 – Integratie van ICT...............................................................................58 Samenvatting Het GrassRoots-programma
  
  Het GrassRoots-programma is in 2001 naar Canadees voorbeeld vormgegeven en kent als beleidsoperatie verschillende op elkaar betrokken niveaus. Vaak zijn Grassroots projecten ingebed in een breder verandertraject. De GrassRoots functioneren dan als buitenboordmotor en kunnen een extra stimulans zijn. Eerder is intern evaluatie-onderzoek verricht. Het Ministerie van OCW gaf aan een consortium van onderzoekers de opdracht een uitgebreider evaluatieonderzoek te verrichten met als centrale vraag “Zijn GrassRoots een effectieve en efficiënte manier om leraren ICT in hun onderwijs te leren benutten?”. Achterliggend bij de vraagstellingen was de vraag of dit type projecten de deskundigheid van onderwijsgevenden en de organisatie waarbinnen ze werken meer duurzaam bevordert dan andere meer traditionele wijzen van nascholing en professionalisering. Resultaten Als algemene conclusie kan gesteld worden dat het GrassRoots-programma als beleidsinstrument effectief is in het bevorderen van het gebruik van ICT in verschillende sectoren van het onderwijs. Relatief geringe middelen leiden tot een groot aantal laagdrempelige en kleinschalige projecten waarin ICT op diverse en dikwijls ook op geïntegreerde wijzen bijdraagt aan de verhoging van de kwaliteit van het onderwijsleerproces. De inzet van GrassRoots kan niet zonder reserves efficiënt genoemd worden. GrassRoots appelleren aan het initiatief van individuele docenten. Wanneer de 1 De waarde van GrassRoots GrassRoots niet worden ingebed in een op kennisdeling en collectief leren gericht professionaliseringsbeleid van de school, zullen zij een weinig duurzame impact hebben op de onderwijsinstelling. Het onderzoek naar de resultaten van GrassRoots-projecten wijst uit dat driekwart van de GrassRoots-projecten minstens enigermate bijdraagt aan het ‘nieuwe leren’ en een kwart zelfs sterk; en dat vooral de informatiefunctie van ICT wordt ingezet (zoeken en verwerken) en de communicatieve functie veel minder. De GrassRoots-aanpak levert ICT-rijke projecten op die ingebed zijn in het onderwijs en minstens enigszins bijdragen aan onderwijsvernieuwing en is in dat opzicht effectief te noemen. GrassRoots worden door leraren als nuttig ervaren. GrassRoots ondersteunen vooral de ambities van individuele leraren. Naarmate de ambities van individuele leraren meer in overeenstemming zijn met de visie en doelstellingen van de vaksectie, team of onderwijsinstelling, zijn de resultaten van GrassRoots beter. Het evaluatieonderzoek laat zien dat de effectiviteit van GrassRoots bepaald wordt door de wisselwerking met de onderwijsorganisatie waarbinnen de GrassRoots worden uitgevoerd. Hoewel deze relatie vooralsnog niet eenduidig is gedefinieerd, kan worden gesteld dat het van belang is bij de toekomstige inrichting van GrassRoots de focus niet te beperken tot de ambities van de individuele docent maar ook de veranderstrategie van de organisatie erbij te betrekken. Onderdeel daarvan kan de aanpak voor professionalisering van leraren zijn, die zich minder aangesproken voelen tot GrassRoots.
  
  GrassRoots als proces
  
  De interviews met docenten geven een gevarieerd beeld. Het lijkt wel duidelijk dat de onderwijssector waarin men werkzaam is, mede bepalend is voor de verschillende aspecten die aan het doen van een GrassRoots-project als proces verbonden zijn. De meerderheid van de docenten begint uit onderwijskundige overwegingen aan een GrassRoot. ICT als zodanig is minder belangrijk. In de meeste gevallen waren de docenten toch al van plan met het project te beginnen. De docenten zijn allen relatief ervaren ICT-gebruikers. Het eerder uitgevoerde interne evaluatieonderzoek relativeert dit enigszins: van de 350 ondervraagde docenten geeft de helft aan als leraar ICT te hebben leren toepassen in de klas. Iedereen vindt de GrassRoot een succeservaring voor zichzelf en voor hun leerlingen en studenten. GrassRoots dragen bij aan de verdere ontwikkeling van ICTvaardigheden in termen van ‘Learn-to-Use’. Het verder ontwikkelen van nieuwe aspecten in het ‘Use-to-Teach’ is bij minder respondenten het geval. Toch zijn 2 Samenvatting hier en daar wel ingrijpende veranderingen te proeven, zoals het leren loslaten van de methode, meer projectmatig werken, meer coaching, rolwisselingen van leerlingen stimuleren, etc. Verschillende docenten geven aan dat de GrassRoot aanleiding heeft gegeven tot meer gebruik van ICT voor de eigen deskundigheidsbevordering. GrassRoots leiden tot motivatieverhoging bij docenten en leerlingen om vaker, meer en gevarieerder ICT te gebruiken in het onderwijsleerproces. In de meeste gevallen hebben de GrassRoots minstens enige uitstraling in de school: collega’s maken gebruik van de projectresultaten of voeren het project in aangepaste vorm ook uit. In het voortgezet onderwijs en het hoger onderwijs is deze doorwerking meestal beperkt tot de vaksectie. Volgens de meerderheid van de docenten leiden de GrassRoots echter niet tot méér of innovatiever ICT-gebruik bij de collega’s. Er zou beter regie kunnen worden gevoerd om het leren van en met elkaar te ondersteunen, onder andere door onderwijsvernieuwing met inzet van ICT structureler onderwerp te maken van kennisdeling. De kleuren van GrassRoots
  
  Voor wat betreft het in kaart brengen van organisatieverandering is aangesloten bij de veranderkleuren van De Caluwé en Vermaak (1999). Zij gaan ervan uit dat er vijf fundamenteel verschillende manieren zijn waarop men tegen veranderen aan kan kijken. Elke manier van denken heeft de label van een kleur, en vormt zo een handzame taal om veranderstrategieën van organisaties en individuen te duiden. De witte veranderstrategie gaat uit van de aanname dat mensen en organisaties veranderen wanneer zij de ruimte krijgen voor hun eigen ideeën en plannen. De groene verandertheorie is de theorie van de lerende organisatie. Mensen en organisaties veranderen wanneer zij continue leren en hun leervermogen verbeteren. De rode veranderstrategie neemt aan dat veranderingen vooral tot stand komen wanneer er een goed klimaat heerst waarin de verandering lonend is voor de deelnemers. De blauwe veranderstrategie gaat uit van een beheersmatige aanpak waar individuele en organisatieveranderingen vooral tot stand komen wanneer er sprake is van duidelijke vooraf bepaalde veranderdoelen en een heldere planning en structuur. De gele strategie stelt dat veranderen vooral een kwestie is van macht, invloed en het vormen van coalities. In termen van de kleurenaanpak uit de veranderkunde kan gesteld worden dat GrassRoots als veranderstrategie de planmatige blauwe aanpak en het gele machtsdenken in onderwijsinstellingen terugdringt ten gunste van door een rode strategie van waarderen en belonen gestimuleerde witte bottom-up processen van leren op individueel niveau. Als de GrassRoots-aanpak aangevuld wordt met elementen 3 De waarde van GrassRoots die ook teamleren bevorderen, maakt dat op collectief niveau een groene cultuur van de duurzaam lerende organisatie mogelijk. Iedereen zou het project ook uitgevoerd hebben zonder beloning, maar deze wordt wel als stimulans gezien. De waardering van collega’s en leiding lijkt men belangrijker te vinden. Aanbevelingen
  
  In de toekomst kan de waarde van GrassRoots nog worden verhoogd door ze sterker te doen wortelen en in te bedden in het leren en professionaliseren van docenten als onderdeel van (het organiseren van) vernieuwing en kwaliteitsverbetering van het onderwijs op organisatieniveau. Tot nu toe hebben vooral de witte (bottom-up) en de rode (beloning) aspecten van de veranderstrategie centraal gestaan. Wil er meer invloed op het leren en het leervermogen van docenten worden uitgeoefend, dan zal vooral coaching en begeleiding op de werkplek deel moeten uitmaken van het GrassRootsconcept. Deze coaching en begeleiding zullen vooral gericht moeten worden op didactische vernieuwingen die met behulp van ICT gerealiseerd kunnen worden. Veelbelovend lijken daarnaast GrassRootsprojecten waarin met behoud van het bottom-up en beloningskarakter ICT gezamenlijk door een team van docenten wordt ingezet bij het realiseren van bepaalde onderwijsvernieuwingen. Het verdient aanbeveling dat locaties, in huidige dan wel aangepaste vorm, zich niet louter op projectuitvoerders richten, maar meer op schoolniveau, gezien het gegeven dat hier het ontbreken van dialoog de gewenste duurzame inbedding in het onderwijs belemmert. GrassRoots is een werkzaam bestanddeel van een scala aan gevarieerde methoden en strategieën om aan duurzame onderwijsvernieuwing te werken. GrassRoots is vooral effectief op het niveau van de individuele docent. Dat op zichzelf is de moeite waard, want dat is een niveau dat andere ICT-regelingen tot dusverre moeizaam bereiken (zie de implementatieproblemen). Om deze individuele effecten een meer blijvend karakter te geven en te verbreden naar team- of schoolniveau, is het noodzakelijk GrassRoots uit te breiden met of te verbinden aan lopende activiteiten van bijvoorbeeld Kennisnet, ICT op School en SURF, die gericht zijn op samenwerking, teamprofessionalisering en organisatie-ontwikkeling in de scholen. Scholen / instellingen moeten het niet vanzelfsprekend vinden dat een externe instantie zorgt voor de beloning van de GrassRoots, maar dat ze Roots meer moeten gaan beschouwen als een effectieve manier van scholing van hun personeel en dus zelf de kosten van de beloning op zich gaan nemen. Deze kosten zijn in vergelijking met andere kosten zeer gering. 4 Inleiding
  
  Dit rapport vormt de eindrapportage van het Evaluatieonderzoek GrassRoots Nederland dat door een consortium van verschillende instellingen in opdracht van het Ministerie van OCW is uitgevoerd. Deze instellingen zijn: het SCO-Kohnstamm Instituut, Universiteit van Amsterdam. het Expertisecentrum ICT in het onderwijs, IVLOS, Universiteit Utrecht, het lectoraat ‘Leren met ICT – digitale didactiek’, Hogeschool van Arnhem en Nijmegen, het lectoraat ‘E-learning en ICT-rijke leeromgevingen”, Hogeschool Edith Stein in samenwerking met de Universiteit Twente het lectoraat ‘Educatieve functies van ICT’, Fontys Lerarenopleiding Sittard, het lectoraat ‘ICT in het Hoger Onderwijs’, Hogeschool Utrecht, en De Stichting Ict op School was betrokken als ‘meedenkpartner’. Het GrassRoots-programma is in 2001 naar Canadees voorbeeld vormgegeven en kent als beleidsoperatie verschillende op elkaar betrokken niveaus. Primaire achterliggende gedachte was en is om onderwijsgevenden in uiteenlopende sectoren van het onderwijs, die ICT niet of nauwelijks in hun onderwijs gebruiken, te stimuleren ICT wel, eerder en beter te gebruiken. In verschillende beleidsdocumenten wordt gesproken van leraren die ‘het gewoon doen’ en over het stimuleren van ‘learningby-doing’ als de meest succesvolle vorm om de eigen deskundigheid van leraren te vergroten. GrassRoots worden daarbij gezien als een middel om leraren ‘over de drempel’ te laten stappen. Het gaat vooral om het ontwikkelen en verbreden van didactische ICT-vaardigheden: het ‘learn-to-use’ heeft iedereen nu wel zo’n beetje achter de rug, nu gaat het om het ‘use-to-learn’ c.q. het ‘use-to-teach’. Het stimuleren van de laagdrempelige, kleinschalige door de leraar zelf bedachte ICT-projecten kent verschillende componenten. Er wordt een materiële beloning ter waarde van €500 ter beschikking gesteld, terwijl de instellingen waar men een project kan indienen, de zogeheten locaties, niet alleen beoordelen, maar ook ondersteuning bieden aan de uitvoerende leraren. Het is een uniek project omdat het betrekking heeft op het gehele onderwijs en omdat het in veel bestuurlijke en or5 De waarde van GrassRoots ganisatorische settings is uitgevoerd (besturen, samenwerkingsverbanden, lerarenopleidingen, scholen, gemeentes, belangenorganisaties, enz.). Vanaf 2001 zijn verschillende typen instellingen als locaties betrokken bij het uitzetten van GrassRoots-projecten in primair (32%) en secundair (42%) onderwijs, beroeps- en volwassenenonderwijs (22%), en hoger onderwijs, waar onder ook lerarenopleidingen (4%). De GrassRoots-locaties verschillen naar type organisatie, onderwijssector en afstand tot de scholen waar GrassRoots worden uitgevoerd. Onder de locaties komen sectorgebonden belangenorganisaties (VVO, AVS), schoolbesturen (Carmel), regionale samenwerkingsverbanden (Keiwijs, TOWN, Digitaal Leren), sectorale samenwerkingsverbanden (Groen, SURF), lerarenopleidingen (EFA, InHolland, Fontys) en onderwijsinstellingen voor (ROC van Amsterdam). Dit betekent dat waar in sommige gevallen GrassRoots alleen of ook binnen de eigen organisatie worden uitgezet, in andere gevallen de afstand tot de scholen waar GrassRoots feitelijk worden uitgevoerd groot is. De locatiedoelstellingen en de sturings- en ondersteuningsmogelijkheden variëren daarmee ook. Alle projecten die uitgevoerd zijn worden beschreven op een website. In januari 2004 waren totaal 2702 projecten op www.grassroots.nl te vinden. De personen die in de locaties zorgdragen voor het contact met en de ondersteuning van uitvoerende docenten, de locatiehouders, komen regelmatig bij elkaar onder voorzitterschap van het Ministerie van Onderwijs om de voortgang te bewaken. Onderdeel van het Nederlandse GrassRoots programma was het evalueren van de projecten door het Ministerie van Onderwijs zelf. Na oktober 2002 is dit gebeurd door leraren een achttal vragen te laten beantwoorden (van Dongen, 2003). Daarnaast is de database van projecten voornamelijk kwantitatief geanalyseerd, zodat er een beeld ontstaat van het aantal projecten per locatie, de looptijd en status van de projecten, en het aantal projecten per school en per leraar. Tot slot was er de mogelijkheid dat locaties projecten nomineren om de status ‘etalageproject’ te krijgen. Deze projecten die ‘extra’ de moeite waard zijn om door anderen te worden gezien, streden om de GrassRoots-prijs. Uit de verschillende tussenevaluaties is gebleken dat er aanzienlijke verschillen bestaan tussen de verschillende locaties onder meer wat betreft de inhoud, het re6 Inleiding sultaat, de ondersteuning, de organisatorische context, het ‘soort’ leraren dat GrassRoots doet, enz. Zo bleek dat op sommige locaties en scholen GrassRoots afzonderlijke en vaak eenmalige projecten zijn die motiverend zijn voor een leraar, maar weinig of geen impact hebben op collega’s, het curriculum, het ICTbeleid van de school, en dergelijke, terwijl op andere locaties en scholen GrassRoots leiden tot integratie van ICT in het onderwijs. Deze verschillen en de vragen waar deze aanleiding toe gaven hebben geleid tot opdrachtverlening van het Ministerie van OCW aan een consortium tot het verrichten van een uitgebreider evaluatieonderzoek. Dit onderzoek legt nadruk op de educatieve functies van GrassRoots-projecten, de expertiseontwikkeling van leraren en de uitstraling hiervan op collega’s, en de veranderingen die hiervan het gevolg zijn op het niveau van de hele onderwijsinstellingen, inclusief de condities voor leren en ontwikkelen. Als overkoepelende onderzoeksvraag stelde het Ministerie van OCW de volgende voor: “Zijn GrassRoots een effectieve en efficiënte manier om leraren ICT in hun onderwijs te leren benutten?” met in het verlengde daarvan diverse vragen over belemmerende en stimulerende factoren, over de inhoud en aard van de projecten, over de relatie van GrassRoots met het curriculum en het beleid, enzovoorts. Achterliggend bij de vraagstellingen was de vraag of dit type projecten goede instrumenten zijn om de deskundigheid van onderwijsgevenden in de verschillende typen onderwijs eerder en beter te bevorderen dan andere meer traditionele wijzen van nascholing en professionalisering, en hoe deze projecten gerelateerd zijn aan veranderingen van en in de organisatie. Dit vraagstuk heeft de rode draad in de evaluatie gevormd. Eén van de doelstellingen van de inzet van ICT-gebruik in het onderwijs is het bieden van een wezenlijke bijdrage aan onderwijsvernieuwing. Met ICT-inzet wordt het beter mogelijk gedifferentieerder te werken, kan het onderwijs activerender zijn en meer gericht op samenwerkend leren. De termen efficiëntie en effectiviteit krijgen zo ook in het licht van organisatieverandering betekenis. Daarom is het onderzoek ook gericht op het nagaan of de GrassRoots-projecten een aanwijsbaar sterker invloed hebben op verandering en vernieuwing van de onderwijsorganisatie en –praktijk. Vanwege de mate en inhoud van ondersteuning vormen de locaties belangrijke aangrijpingspunten in het onderzoek en niet uitsluitend losse projecten. 7 De waarde van GrassRoots
  
  De algemene vraagstelling is uitgewerkt in drie clusters van vragen:
  
  Cluster 1: GrassRoots als zoektocht naar ICT-gebruik: de educatieve functies
  
  1.1 Welke criteria voor effectief en efficiënt educatief gebruik van ICT in een onderwijsleerarrangement kunnen worden afgeleid uit de ervaringen met het GrassRoots-programma in Nederland en in andere landen? 1.2 Welke educatieve functies vervullen de GrassRoots-projecten overwegend?
  
  Cluster 2: GrassRoots als veranderstrategieën
  
  2.1 Welke verschillende veranderstrategieën kunnen worden onderscheiden in de locaties in Nederland en andere landen? 2.2 Hoe zijn de diverse GrassRoots-locaties te typeren naar aard, inhoud en strategie?
  
  Cluster 3: GrassRoots als expertiseontwikkeling
  
  3.1 In welke gevallen zijn GrassRoots effectieve en efficiënte strategieën om leraren ICT in hun onderwijs te laten benutten? 3.2 Welke relaties zijn er tussen de veranderstrategieën en de effectiviteit en efficiëntie van GrassRoots in de vorm van impact op innovatie, beleid en curriculum van de locatie? Het onderzoek is opgezet als een combinatie van bureauonderzoek en kwalitatief onderzoek. Het bureauonderzoek was gewijd aan het evalueren van de uitkomsten van de GrassRoots-projecten en terugkoppeling naar de locaties. Daartoe is een evaluatiekader ontwikkeld en zijn alle verrichte GrassRoots beoordeeld op basis van de beschrijvingen en projectresultaten op de website. Op het resulterende bestand zijn kwantitatieve analysen gedaan. Het kwalitatief onderzoek was gericht op de aan GrassRoots gerelateerde processen bij locaties en bij uitvoerende instellingen per locatie. Hiertoe zijn interviewschema’s voor locatiehouders en uitvoerende docenten ontwikkeld, om vervolgens in totaal 27 interviews te houden. Deze interviews zijn systematisch geanalyseerd en verslagen. Eerder zijn twee tussenrapportages verschenen. Het eerste rapport bevatte de context en achtergronden van het GrassRoots-programma, en de aanpak van het 8 Inleiding evaluatieonderzoek. Het ontwikkelde evaluatiekader en impressies van de projecten op basis van de scan van de projectbeschrijvingen op het web zijn beschreven. Voorts is gereflecteerd op kwaliteitscriteria. Het rapport bevat ook de opzet van de tweede fase, inclusief het instrumentarium rond ‘veranderkleuren’. De tweede tussenrapportage was gewijd aan een eerste impressie van de uitkomsten van het kwalitatief onderzoek. Daarbij worden praktijk- en beleidsrelevante overwegingen voor het continueren van GrassRoots geschetst. Nadruk lag op het belang van het GrassRoots-programma voor deskundigheidsbevordering, uitstralingseffecten en veranderingsstrategieën van de schoolorganisatie. Deze tussenresultaten zijn gedeeld op vergaderingen van locatiehouders, terwijl een klankbordgroep feedback heeft gegeven. In dit rapport vindt de synthese plaats van de uitkomsten van het bureauonderzoek en het kwalitatief onderzoek, met name gericht op het trekken van conclusies en het destilleren van aanbevelingen voor beleid en praktijk rond deskundigheidsbevordering, veranderstrategieën en ICT-innovatie. Het rapport is als volgt gestructureerd. In hoofdstuk 1 wordt de eerste vraag van het onderzoek beantwoord en worden de instrumenten en kaders, die ten behoeve van het onderzoek zijn ontwikkeld, gepresenteerd. Hoofdstuk 2 is gewijd aan de uitkomsten van de kwantitatieve analysen van de aard, inhoud en resultaten van de GrassRoots-projecten, zoals ontsloten via de centrale website. Hoofdstuk 3 is gewijd aan de uitkomsten van het kwalitatief onderzoek, aan de hand van de analyse van de interviews. Hoofdstuk 4 zet de antwoorden op de vragen uit de verschillende clusters op een rij: GrassRoots als zoektocht naar ICT-gebruik: de educatieve functies, GrassRoots als veranderstrategieën, en GrassRoots als expertiseontwikkeling. Hoofdstuk 5 is gewijd aan conclusies en aanbevelingen. 1 Criteria voor efficiënt en effectief ICT-gebruik in het onderwijs 1.1 Inleiding
  
  Dit hoofdstuk is gewijd aan het construeren van de bril waarmee zowel naar de context van en activiteiten rond GrassRoots-projecten als naar de resultaten van de projecten is gekeken. Het is een zoektocht naar criteria die zowel vooraf als tijdens het onderzoek inhoud hebben gekregen. Hiermee wordt een voorlopig antwoord geformuleerd op de eerste vraag van het onderzoek ‘Welke criteria voor effectief en efficiënt educatief gebruik van ICT in een onderwijsleerarrangement kunnen worden afgeleid uit de ervaringen met het GrassRoots-programma in Nederland en in andere landen?’. In het slothoofdstuk blikken we aan de hand van de onderzoeksresultaten terug op de waarde van de gehanteerde criteria.
  
  1.2 Efficiency en effectiviteit
  
  Er is in het onderzoek een verzameling criteria geformuleerd die tezamen het evaluatiekader vormen. Vanuit de centrale vraagstelling waren twee typen criteria te onderscheiden: criteria voor effectiviteit en criteria voor efficiëntie. Effectiviteit vatten we op als de productdimensie: leveren de GrassRoots de gewenste resultaten wat betreft onderwijskundig gebruik van ICT in het onderwijs en wat betreft de professionalisering van docenten? Efficiëntie vatten we op als de procesdimensie: hoe worden de GrassRoots aangepakt, georganiseerd en hoe verhouden de inspanningen zich tot de resultaten? Daarnaast is de gelaagdheid van de GrassRoots-aanpak van belang. Er zijn drie lagen c.q. typen actoren te onderscheiden: de docent die de GrassRoot uitvoert en de leerlingen die erbij betrokken zijn; de school waar de GrassRoot wordt uitgevoerd; de GrassRootslocatie. Voor elke laag gelden andere criteria voor effectiviteit en efficiëntie, hetgeen de onderstaande matrix oplevert voor de formulering van criteria. Tabel 1-1 – Criteria per niveau
  
  Resultaat (is het effectief) Proces (is het efficiënt) Docent / klas x x School x x GrassRootslocatie x x
  
  Voor elke laag zijn criteria geformuleerd. Op voorhand werd uitgegaan van criteria met betrekking tot: kwaliteit van het gebruik in het onderwijs zelf; het verdere gebruik in het overige onderwijs van de leraar zelf; uitstralingseffecten in de school / instelling en daarbuiten, zowel op individueel als op organisatieniveau (beleid, curriculum, innovatie). Op basis van onder meer het model uit de landelijke ICT-onderwijsmonitor, (www.ICT-onderwijsmonitor.nl), het model Vier in balans van ICT op School (2002), de veranderkleuren van De Caluwé en Vermaak (1999), de Nederlandse GrassRoots-evaluaties en de Canadese aanpak en ervaringen met de GrassRoots, zijn deze criteria nader ingevuld en aangevuld. Wat betreft de veranderkleuren geldt dat de vijf door De Caluwé en Vermaak beschreven aanpakken vijf fundamenteel verschillende manieren zijn waarop men tegen veranderen aan kan kijken. Elke manier van denken heeft de label van een kleur, en vormt zo een handzame taal om veranderstrategieën van organisaties en individuen te duiden. De volgende sleutelwoorden zijn verbonden met de verschillende kleuren (zie bijlage 1 voor een nadere typering).
  
  Tabel 1-2 – Veranderkleuren Veranderkleur Sleutelwoord wit ruimte voor eigen ideeën groen leervermogen rood beloning en sfeer blauw structuur en planning vooraf geel politiek; coalities; druk 12 Criteria voor efficiënt en effectief ICT-gebruik in het onderwijs
  
  Aldus zijn de criteria verder ingevuld, waarbij we van ‘binnen’ naar ‘buiten’ werkten: - - - de leraar en de klas: de kwaliteit van (het gebruik van) de GrassRoot en de effecten op de integratie van ICT in het onderwijs van de leraar en op de professionele ontwikkeling van de leraar. de school: de effecten van deelname aan de GrassRoots op de integratie van ICT in het onderwijs op schoolniveau en op de factoren uit ‘vier in balans’ (visie, interne expertise, ICT-voorzieningen, digitale leermiddelen) en op de samenwerking op het gebied van ICT met andere scholen. de locatie: de locaties spelen een rol bij de vergroting van het bereik van de GrassRoots en via gerichte ondersteuning bij de bevordering van de kwaliteit van de GrassRoots. Daarnaast hebben de verschillende typen locaties specifieke doelstellingen waarvan criteria kunnen worden afgeleid (de lerarenopleidingen zetten bijvoorbeeld de GrassRoots zowel in voor de professionalisering van de eigen studenten als voor die van leraren in de scholen in de omgeving). Een belangrijke vraag was uiteraard: wanneer vinden we een GrassRoot geslaagd? Welke criteria kunnen we daarvoor hanteren? In het licht van het drempelverlagende doel van de maatregel, zou je kunnen zeggen dat elk project dat een leerervaring in het gebruik van ICT, liefst een positieve leerervaring, oplevert voor de uitvoerende leraar, een goed project is. Vooraf zijn geen inhoudelijke eisen gesteld aan de projecten. De GrassRoots zijn echter ook uitdrukkelijk bedoeld om het educatief gebruik van ICT te bevorderen. Het is dan ook relevant te bekijken in hoeverre de GrassRoots het daadwerkelijke gebruik van ICT in het primaire proces betreffen en daarin worden geïntegreerd. Het gebruik van ICT in het onderwijs wordt niet alleen gestimuleerd om de leerlingen te leren omgaan met de media- en ICT-toepassingen van vandaag de dag, er wordt van ICT ook een bijdrage verwacht aan de innovatie van het onderwijs in de richting van flexibeler, meer op maat van de individuele leerlingen gesneden onderwijs. ‘ICT is niet langer een doel op zich maar een middel om andere doelen zoals kwalitatief goed onderwijs en de aansluiting van het onderwijs op de ken13 De waarde van GrassRoots nissamenleving te realiseren’, zo staat in een recent ICT-beleidsplan van OCenW (OCenW, 2003). Een criterium is dan ook in hoeverre de GrassRoots vervangend of juist vernieuwend zijn: wordt hetzelfde gedaan als eerst, maar nu met ICT, of worden er met de inzet van ICT ook vernieuwende elementen in het onderwijs ingebracht? In het denken over leren en onderwijzen is in de afgelopen jaren sprake van een omslag van ‘instructivisme’ naar constructivisme. Leren wordt niet meer zozeer gezien als kennisoverdracht maar als het actief construeren van kennis, gekoppeld aan persoonlijke, unieke voorkennis. Leren is het verwerven van betekenisvolle competenties, in een realistische context. Leren doe je voorts liefst niet alleen, maar samen met andere lerenden. Dit wordt ook wel ‘het nieuwe leren’ genoemd. Op zich zijn deze inzichten niet echt nieuw, maar ze krijgen de laatste jaren veel aandacht doordat ze meer aansluiten bij de competenties die participatie aan de kennismaatschappij vraagt. Zo benadrukte de Onderwijsraad in het advies ‘www.webleren.nl’ de krachtige rol van webleren bij de maatschappelijk noodzakelijke ontwikkeling van brede competenties, in nauwe wisselwerking met het buitenschoolse (Onderwijsraad, 2003). In verschillende publicaties worden de kenmerken van het ‘nieuwe’, constructivistische leren beschreven (Reeves, 1996; Van Emst, 2002; Kok, 2003). Kok (2003) benoemt een zestal kernelementen van het nieuwe leren die we hieronder kort samenvatten: Actief / betrokken: activerende werkvormen, gericht op ervaringen opdoen Betekenisvol / zingevend: er is een relatie met de leefwereld en de beleving van de leerling, de leerling heeft zeggenschap over wat geleerd wordt, er zijn keuzemogelijkheden Contextueel / situatiespecifiek: iets leren in de context waarvoor het bedoeld is, authentiek leren Coöperatief / samenwerkend: leren van en met anderen, delen van informatie en kennis Interactief / maatwerk: aansluiten bij de individuele leerbehoeften en stijlen Reflectief / zelfgestuurd, gericht op metacognitieve vaardigheden: reflectie op zowel het geleerde als het leerproces en inspraak bij de beoordeling Criteria voor efficiënt en effectief ICT-gebruik in het onderwijs De vraag of en hoe de GrassRoots-projecten bijdragen aan deze kernelementen van het nieuwe leren is meegenomen in het onderzoek. In bijlage 2 wordt een compleet overzicht gegeven van alle criteria zoals die in deze fase zijn geformuleerd (‘groslijst criteria’). De belangrijkste clusters zijn de volgende:
  
  Tabel 1-3 – Clusters van criteria Effectiviteit Efficiency Niveau individuele docent / klas-groep Kwaliteit van GR-product Planmatigheid van het proces Kwaliteit van de website Gebruik bestaand materiaal / voorbeelden Professionalisering docent Ondersteuning en voorzieningen Niveau onderwijsinstelling / opleiding Bereik Planmatigheid Invloed op integratie ICT Expertiseontwikkeling en disseminatie Mate van integratie ICT Ondersteuning en voorzieningen Niveau locatie / uitvoerenden Bereik en kwaliteit GR Procedures Bevordering samenwerking Samenwerking en ondersteuning Type locatie Type locatie
  
  Deze lijst is richtinggevend geweest voor de uitwerking van het beschrijvingskader voor de projectenscan (zie Bijlage 3), en van de interviewschema’s voor houders en GrassRoots uitvoerende docenten (zie Bijlage 4). Als aanvulling op de criteria uit de groslijst werden door locatiehouders onder meer de volgende suggesties gegeven: de achterliggende motieven om bepaalde ICT-toepassingen te kiezen; de hoeveel tijd en geld die aan de GrassRoot is besteed; welke beloning heeft men gekozen en waarom; welke motivatie had de docent om met de GrassRoot te beginnen; wat zou men anders doen als het project opnieuw zou worden uitgevoerd; kijk ook naar de affectieve kant van de GrassRoot; betrek de leerlingen in de evaluatie van de GrassRoot;
  
  De waarde van GrassRoots - hoe verhoudt het GrassRoot-project zich als scholingstool tot andere professionaliseringsactiviteiten; is het GrassRoot-project ingebed in het schoolbeleid en in de schoolactiviteiten of is het een eenmalig, losstaand project. Tegelijkertijd werd gesteld dat het a
  
  antal criteria
  
  veel te
  
  omvangrijk is en het te ambitieus zou zijn op al deze aspecten te evalueren. Voorgesteld werd het aantal terug te brengen ten gunste van het aantal te onderzoeken projecten. Daarbij werd benadrukt de focus bij de schifting vooral te richten op de relatie met onderwijsvernieuwing en leren (van leerlingen en van docenten).
  
  1.3 Het beschrijvingskader
  
  Het beschrijvingskader (zie Bijlage 3) is geconstrueerd om efficiënt een impressie te krijgen van de uitgevoerde projecten zodat alle voor het evaluatieonderzoek relevante kenmerken in een nader te analyseren spreadsheet konden worden opgenomen. In feite ging het hier vooral om de productdimensie van de evaluatie op het niveau van de leraar en de klas en de bijbehorende criteria. Qua categorieën maakten we onderscheid tussen: achtergrondinformatie, zoals onderwijstype, vakgebied en type project; voorbeeldfunctie en spin-off, zoals het vervangend of vernieuwend karakter van ICT, het ervaren nut door de docent, en de mate van integratie; bijdrage aan onderwijsvernieuwing, in termen van kenmerken van het ‘nieuwe leren’; en het type ICT-gebruik. De resultaten van de analyse zijn in hoofdstuk 2 te lezen.
  
  1.4 De interviewschema’s
  
  De criteria ten aanzien van de effecten op schoolniveau en de effectiviteit en efficiency van de GrassRoots-aanpak op locatie-, school-, en docentniveau zijn gehanteerd bij de samenstelling van de interviewschema’s voor locatiehouders en voor GrassRoots uitvoerende docenten.
  
  16 Criteria voor efficiënt en effectief ICT-gebruik in het onderwijs
  
  Het interview met de locatiehouders kende verschillende doelen: achterhalen wat het uitstralingseffect is van de GrassRoots-projecten ten aanzien van de deskundigheidsbevordering van de docenten, het selecteren van een aantal projecten voor nader onderzoek, en het verkrijgen van informatie over het beleid en de aanpak van de locatie. Het interview omvatte de volgende clusters: Het algemene kwaliteitsoordeel over GrassRoots-projecten Een selectie van 4/5 projecten Veranderkleuren en ondersteuning Planmatigheid Expertiseontwikkeling en de verspreiding van ervaringen De locatie zelf Het leven na GrassRoots Het interview met GrassRoots uitvoerende docenten diende er vooral toe om zicht te krijgen op uitstralingseffecten in de eigen lessen en in de school, alsmede de bijdrage aan de eigen deskundigheidsontwikkeling en aan die van andere docenten. De bron voor de onderwerpen in het interview was wederom de groslijst, waaruit een selectie is gemaakt van de meeste relevante onderwerpen voor de uitvoerend docent. In deze interviews passeerden de volgende vraagclusters de revue: Algemene kenmerken Waarom GrassRoots? Ondersteuning en veranderkleuren Deskundigheidsontwikkeling Motivatie leerkracht en leerlingen Uitstralingseffecten? Mate van integratie van ICT in het onderwijs in de school De resultaten van de analyse zijn in hoofdstuk 3 te lezen. 1.5 Conclusie
  
  Naar aanleiding van de vraag ‘Welke criteria voor effectief en efficiënt educatief gebruik van ICT in een onderwijsleerarrangement kunnen worden afgeleid uit de ervaringen met het GrassRoots-programma in Nederland en in andere landen?’ is in dit hoofdstuk beschreven uit welke bronnen deze verschillende typen criteria 17 De waarde van GrassRoots zijn ontsproten. Tevens is beschreven tot welk resultaat dit heeft geleid in termen van achterliggend raamwerk en haar operationalisaties in zowel een meer kwantitatief georiënteerd onderzoeksinstrument voor het beoordelen van uitkomsten van ICT-projecten als een meer kwalitatief instrument voor het achterhalen van de verschillende processen en factoren die gerelateerd zijn aan het ondernemen van dit type projecten. In het vervolg is te lezen met welk resultaat deze instrumenten zijn aangewend. In het slothoofdstuk reflecteren we op de waarde van de instrumenten. 18
  
  De educatieve functie van GrassRoots-projecten 2.1 Inleiding
  
  In dit hoofdstuk beschrijven we de resultaten van de projectenscan. Op basis van de projectbeschrijvingen en –producten van de GrassRoots-site en aan de hand van een uniform beschrijvingskader (zie bijlage 3) brengen we de aard en inhoud van de GrassRoots in beeld en beantwoorden we de vraag welke educatieve functies de GrassRoots-projecten overwegend vervullen (onderzoeksvraag 1.2).
  
  2.2 De aanpak
  
  Na de formulering van de ruime en voorlopige verzameling criteria om de effectiviteit en efficiëntie van GrassRoots-aanpak te onderzoeken, zijn alle projecten uit de GrassRoots-database bekeken en gescoord aan de hand van het beschrijvingskader. Het beschrijvingskader kende een aantal algemene beschrijvingskenmerken (schooltype, leerjaar, vak), een aantal van de geformuleerde productcriteria uit het evaluatiekader en kenmerken van het ICT-gebruik in relatie tot onderwijsvernieuwing. Zo kon bepaald worden of ICT vervangend of vernieuwend wordt gebruikt, of de docent het project als zinvol ervaren had, en ervan geleerd had, of het project een geïntegreerd onderdeel van de onderwijspraktijk was. Voorts werd bekeken of er iets over het ‘nieuwe’ leren kon worden gezegd. Tot slot kon een project als ‘parel’ worden betiteld. Bijlage 3 biedt een overzicht van alle in deze projectenscan gehanteerde beschrijvingskenmerken en criteria. Door de locatiehouders werd de keuze van de criteria voor de projectenscan als zinvol ervaren. Met name de relatie die werd gelegd met onderwijsvernieuwing en meer specifiek de kenmerken van sociaal-constructivistisch leren sprak aan als conceptueel kader. Een aantal opmerkingen over de criteria: de vraag of het ICT-gebruik vervangend of vernieuwend is wellicht beter als relatief criterium op te vatten: is het voor de betreffende docent vervangend of vernieuwend; waarde van GrassRoots - - naast de vraag of het project een succeservaring was, zou ook de vraag of het project een leerervaring was kunnen worden opgenomen, dat zijn twee verschillende aspecten; ook interessant is te kijken of in de projecten gebruik wordt gemaakt van een elektronische leeromgeving; waarom wordt geen aandacht besteed aan de technische kant van de producten, dit geeft namelijk inzicht in de ICT-vaardigheden van de docent (hoewel het juist vaak leerlingen zijn die de meest ‘flashy’ sites bouwen). De projecten zijn verdeeld over de partners uit het onderzoeksconsortium. Om eenduidig begrip van de beschrijvingskenmerken en criteria te bewerkstelligen, is telkens een aantal projecten door meer mensen gescoord en zijn daarna de scores vergeleken. De scores vertoonden een hoge mate van overeenstemming. Dit neemt niet weg dat de scoring een tamelijk subjectief karakter heeft; het is een kwestie van interpretatie. Dat is niet bezwaarlijk omdat de projectenscan niet beoordelend is bedoeld maar beschrijvend, gericht op het verkrijgen van inzicht op hoofdlijnen in de projecten, de variëteit in aanpak en opbrengsten en op de aanscherping van de criteria voor effectiviteit en efficiëntie. Alle scores zijn per locatie verwerkt in een spreadsheet. 2.3 Eerste impressies van de projecten
  
  In de eerste tussenrapportage werden de volgende impressies beschreven op basis van de projectenscan: er is zeker geleerd naar de mening van de betrokkenen zelf, veel projecten worden als succesvol ervaren zo blijkt uit de evaluaties; wat er is geleerd en door wie wordt vaak niet beschreven; aan de beschrijvingen en de producten is veelal niet direct te zien of en met welk enthousiasme er aan de projecten is gewerkt, soms is dat ‘tussen de regels’ door te lezen; veel projecten betreffen één leraar en één klas, maar er zijn ook projecten waar klas-, schooloverstijgend of zelfs internationaal wordt samengewerkt; zo worden ook Comenius-projecten en projecten met universiteiten ingediend; eve Grass - - vaak zijn de projecten vakoverstijgend, vooral de combinatie van informatiekunde of informatica met een ander vak komt veel voor; lang niet alle projecten betreffen echt het primaire proces, er worden bijvoorbeeld ook tools voor de organisatie van het onderwijs ontwikkeld (cijferregistratie, roosters etc.) en informatieve websites over de school; het ICT-gebruik is in veel projecten vooral vervangend van aard: digitale media ter vervanging van boeken of overheadsheets; vaak bestaan de projecten uit een thematische opdracht (leerlingen maken een werkstuk, een website, een presentatie), maar er worden ook stukjes vakinhoudelijke digitale lesstof (learning objects) ontwikkeld; in veel projecten wordt ICT gebruikt voor activerende werkvormen; leerlingen gaan zelfstandig aan de slag, moeten bijvoorbeeld zelf informatie zoeken, een presentatie of website maken; ICT wordt regelmatig ingezet voor groepswerk, met name voor het samen iets maken; echt samenwerkend leren in de zin van gezamenlijke kennisuitwisseling en -ontwikkeling komt veel minder voor; regelmatig wordt aangegeven dat de leerlingen door de toepassing van ICT meer keuze in de onderwerpen, de te gebruiken bronnen of de vorm van de uitwerking hebben dan zonder gebruik van ICT het geval was; soms worden in de projecten buitenactiviteiten georganiseerd (in de buurt, in de natuur); in het vmbo en mbo hebben sommige projecten de versterking van de relatie tussen theorie en praktijk tot doel; er zijn opvallend veel powerpoint-presentaties ontwikkeld; ook het ontwikkelen en gebruik van digitaal beeldmateriaal komt vrij veel voor; de planning lijkt een groot struikelblok bij de uitvoering van de projecten; regelmatig is er een discrepantie tussen de projectbeschrijving en het zichtbare product, voor de evaluatie is het dan ook nodig ook het product te bekijken. In dit hoofdstuk wordt bekeken in hoeverre de resultaten van de kwantitatieve analyses deze impressies ondersteunen of nuanceren.
  
  2.4 Resultaten van de kwantitatieve analyse
  
  In deze paragraaf gaan we in op drie aspecten van de educatieve functie van GrassRoots-projecten, namelijk: de bijdrage van de GrassRoots aan onderwijsvernieuwing; de reikwijdte van de GrassRoots; de functie en aard van de gebruikte ICT-middelen. Eerst beschrijven we de samenstelling en representativiteit van het analysebestand.
  
  2.4.1 De geanalyseerde projecten
  
  In totaal zijn 1160 van de 2702 projecten uit de GrassRoots-database van januari 2004 door de verschillende onderzoekers bekeken. Net begonnen of nog niet gestarte projecten werden niet meegenomen. Bovendien waren niet alle projecten uit de database zichtbaar op de centrale website, en van sommige projecten waren de resultaten nog niet beschikbaar, niet toegankelijk of niet vindbaar (bijv. via een schoolwebsite). Uiteindelijk heeft de scan geleid tot een bestand van 905 cases met voldoende gegevens om mee te nemen in verdere analyses. Dit bestand is op te vatten als een steekproef van de totale database, die de populatie vormt. Met 905 van de totaal 2702 projecten in de evaluatie, hebben we in principe een meer dan voldoende grote steekproef om uitspraken te kunnen doen over de educatieve functies van de GrassRoots-projecten. Hierbij moet wel worden bedacht, dat het geen a-selecte steekproef is, maar dat het met name afgeronde projecten en projecten met voldoende beschikbare gegevens (uit beschrijving, verslag, product) betreft. Als we naar de verdeling over de locaties kijken, vormen de geanalyseerde projecten een redelijke afspiegeling van het totale bestand. Projecten binnen de locaties Carmel en ICT Noord zijn wat oververtegenwoordigd in de evaluatie en projecten van ROC van Amsterdam en InHolland wat ondervertegenwoordigd (zie tabel 2.1). De educatieve functie van GrassRoots-projecten Tabel 2-1 – Verdeling van projecten in de steekproef en in het totale bestand naar locatie
  
  In evaluatie Totaal bestand* Locatie % % Carmel 24,1 14,5 VVO 3,1 4,1 EFA 8,4 7,2 Town 12,4 10,7 Digileren 2,0 3,3 Keiwijs 2,2 1,7 AVS 1,7 3,3 ICT Noord 12,8 4,2 InHolland 1,8 7,1 Groen 18,2 17,4 Bve breed 5,7 4,1 ROC van Amsterdam 3,9 10,7 Surf 3,8 4,1 Overig - 7,5 n(=100%) 905 2702
  
  * bestand d.d. januari 2004
  
  Bijna 60 procent van de projecten in het evaluatiebestand is uitgevoerd in het voortgezet onderwijs. Een vijfde deel daarvan betreft projecten in het vmbogroen. Ruim 20 procent van de onderzochte projecten is uitgevoerd in het basisonderwijs, zo’n 17 procent in de bve (waarvan tweevijfde in het mbo-groen) en zo’n 4 procent in het hoger onderwijs. Bij een vergelijking van het evaluatiebestand met het totale bestand, blijkt dat met name projecten in het primair onderwijs ondervertegenwoordigd en projecten in het voortgezet onderwijs oververtegenwoordigd zijn in het onderzoek. 23 De waarde van GrassRoots Tabel 2-2 – Verdeling van de projecten in de steekproef en in het totale bestand naar onderwijssoort
  
  In evaluatie Onderwijssoort po Totaal bestand* % % 20,7 31,9 vo 58,9 42,1 bve 16,6 21,5 ho 3,9 4,2 - 0,3 904 2702 overig n(=100%) * bestand d.d. januari 2004
  
  Concluderend is het aantal geanalyseerde projecten in principe voldoende omvangrijk om als steekproef uitspraken te kunnen doen over de educatieve functies van de GrassRoots in het algemeen. Doordat de selectie van de ruim 1100 geanalyseerde projecten niet aselect kon worden uitgevoerd, is enige terughoudendheid geboden de resultaten uit dit deel zonder meer te generaliseren naar alle GrassRoots-projecten. Onduidelijk is bijvoorbeeld waarom voor een aanzienlijk aantal projecten geen resultaten zichtbaar waren op de site. Er dient rekening mee te worden gehouden dat deze projecten andere kenmerken hebben dan de projecten die wel tot zichtbare resultaten hebben geleid.
  
  2.4.2 GrassRoots en onderwijsvernieuwing
  
  Centraal in onze bestudering van de educatieve functies van de GrassRootsprojecten, staat de mate waarin ze bijdragen aan onderwijsvernieuwing, meer specifiek aan onderwijsontwikkeling in de richting van ‘het nieuwe leren’. Maar eerst gaan we in op een tweetal meer algemene kenmerken die te maken hebben met de spin-off van de projecten: ‘ervaren nut’ en ‘vervanging versus vernieuwing’.
  
  Ervaren nut
  
  De gegevens uit de analyses bevestigen het beeld uit de impressies dat er over het algemeen geleerd wordt van de projecten en dat ze succesvol zijn: van slechts 2 procent van de projecten wordt door de uitvoerder aangegeven dat het project niet nuttig was en meer dan de helft van de projecten (54%) is als zeer nuttig ervaren.
  
  24 De educatieve functie van GrassRoots-projecten
  
  Vervanging of vernieuwing? Bekeken is in welke mate de projecten vervangend of vernieuwend van aard zijn. In totaal wordt 16 procent van de projecten als vervangend aangemerkt, dat wil zeggen dat de uitvoerende leraar in hoge mate hetzelfde lijkt te doet als voorheen, maar nu met ICT. Bijna de helft van de projecten (48,9%) wordt als ‘een beetje vernieuwend’ aangemerkt, hetgeen op te vatten is als een toch wat groter stapje ten opzichte van de eigen routine en ervaring. Ruim eenderde (34,9%) van de projecten wordt door de onderzoekers als echt vernieuwend gescoord: door ICT zijn nieuwe elementen aan het leren toegevoegd.
  
  Tabel 2-3 – Mate van vervanging of vernieuwing in de GrassRootsprojecten % Vervangend 16,2 Beetje vernieuwend 48,9 Vernieuwend 34,9 n(=100%) 802 Bijdrage aan het ‘nieuwe leren’
  
  Dragen de GrassRoots bij aan de aspecten van het ‘nieuwe leren’? De projecten zijn gescoord op een zestal centrale kenmerken van dat nieuwe leren, namelijk actief / betrokken leren; betekenisvol of zingevend leren; contextueel of authentiek leren; samenwerkend of coöperatief leren; maatwerk / interactief leren; reflectief leren. In onderstaande tabel is te zien dat ICT in de GrassRoots-projecten vooral vaak wordt gekoppeld aan vormen van actief leren (in 62% van de projecten sterk). Dit sluit aan bij de eerder beschreven impressies van de onderzoekers. In rond de helft van de projecten wordt ICT gebruikt om het leren contextrijker respectievelijk betekenisvoller voor de leerlingen te maken. Alle aspecten scoren vrij hoog, alleen maatwerk en vooral reflectie komen wat minder vaak sterk naar voren in de projecten. De mate waarin reflectie op het leerproces een rol speelt in de projecten 25 De waarde van GrassRoots is overigens ook moeilijker in te schatten op basis van de beschikbare gegevens, zo blijkt uit de toename van het aantal ontbrekende data.