title: Is it all in the game? Learner support in an educational knowledge management simulation game. 2006. &#x27E8;hal-00190181&#x27E9;
text: Kirriemuir, J. & McFarlane, A, (2003). Use of computer and video games in the classroom. Paper presented at Level Up: The Digital games research conference 4-6 November 2003 at the Utrecht University, The Netherlands Electronically available at: http://www.ceangal.com/me/42.pdf. Kirriemuir, J. & McFarlane, A, (2004). Literature Review in Games and Learning. NESTA FUTURELAB SERIES. Report 8. Electronically available at: http://www.nestafuturelab.org/research/reviews/08_01.htm Kirriemuir, J. (2005). A survey of COTS games in education. Paper presented at the Serious Games Summit on the Game Developers Conference, San Francisco, march 2005. Electronically available at: http://www.bris.ac.uk/education/research/networks/gern/gdc05.ppt Klawe, M. M. (1998). When Does The Use Of Computer Games And Other Interactive Multimedia Software Help Students Learn Mathematics? Paper presented at the NCTM (National Council of Teachers in Mathematics) Standards 2000 Technology Conference in Arlington, Virginia, 5-6 June 1998. Electronically available at: http://mathforum.org/technology/papers/papers/klawe.html. Klawe, M. M. & Phillips, E. (1995). A classroom study: Electronic games engage children as researchers. Proceedings of Computer Support for Collaborative 124 Is it all in the game? Learning '95 (CSCL), Bloomington, Indiana. Electronically available at: http://www.cs.ubc.ca/nest/egems/reports/classroom.doc Knotts, U.S. & Keys, J.B. (1997). Teaching strategic management with a business game. Simulation & Gaming, 28, 4, 377-394. Kluger, A.N. & DeNisi, A. (1996). The Effects of Feedback Interventions on Performance: A Historical Review, a Meta-Analysis, and a Preliminary Feedback Intervention Theory. Psychological Bulletin. Vol. 119, 2, 254-284 Kolodner, J.L. & Nagel, K. (1999). The design discussion area: a collaborative learning tool in support of learning from problem-solving and design activities. Proceedings of -Support for Collaborative Learning ‘99, pp. 300-307, Palo Alto, California, December 12-15, 1999. Kuit, M., Mayer, I.S. & Jong, M. de, (2005). The INFRASTRATEGO game: An evaluation of strategic behavior and regulatory regimes in a liberalizing electricity market. Simulation & Gaming, 36, 1, 58-74. Lederman, L.C. (1992). Debriefing: Toward a systematic assessment of theory and practice. Simulation & Gaming, 23, 2, 145-160. Leemkuil, H., Jong, T. de, Hoog, R.de, & Christoph, N. (2003). KM Quest: a collaborative internet-based simulation game. Simulation & Gaming: An international Journal, 34, 1, 89-111. Leemkuil, H.H. & Jong, T. de, (2004). Games en gaming. In: P. Kirschner (red.). ICT in het Onderwijs: The next generation. Katern bij Onderwijskundig Lexicon, uitbreiding editie III. Alphen aan de Rijn: Kluwer B.V. Leemkuil, H.H., de Jong, A.J.M. & Ootes, S. (2000). Review of educational use of games and simulations. EC project KITS (IST-1999-13078), KITS deliverable 1, Enschede: University of Twente, KITS consortium. Electronically available at: http://kits.edte.utwente.nl/documents/D1.pdf Leemkuil, H., Christoph, N., Hoog, R. de, Jong, T. de, Ootes, S., Purbojo, R., Shostak, I. (2002). Final specifications of the instructional envelope. EC project KITS (IST-1999-13078), KITS Deliverable D13, Enschede: KITS consortium. Electronically available at: http://kits.edte.utwente.nl/documents/D13.pdf Leemkuil, H., & Hoog, R.de, (2005). Is support really necessary within educational games? Paper for the workshop on Educational Games as Intelligent Learning Environments at the 12th International Conference on Artificial Intelligence in Education (AIED 2005) July 18th –22th Amsterdam Electronically available at: http://www.cs.ubc.ca/~conati/aied-games/leemkuil.pdf. Leeson, B. (2002). Origins of the Kriegspiel. Electronically available at: http://myweb.tiscali.co.uk/kriegsspiel/ Lieberman, .A. (2001). Management of Chronic Paediatric Diseases with Interactive Health Games: Theory and Research Findings. Journal of Ambulatory Care Management, 24, 1, 26-38. Leutner, D. (1993). Guided discovery learning with computer-based simulation games: Effects of adaptive and non-adaptive instructional support. Learning and Instruction, 3, 2, 113-132. MacCallum Stewart, L. (1981). Management games and exercises: a classification and some criteria to aid in their selection. In: B. Hollinshead & M. Yorke (Eds.), Perspectives on academic gaming & simulation 6. Simulation and games: the real and the ideal. London: Kogan Page. Malone, T.W., (1981). Toward a theory of intrinsically motivating instruction. Cognitive Science, 4, 333-369. Mayer, R.E. (2004). Should there be a thre-strikes rule against pure discovery learning? The case for guided methods of instruction. American Psychologist, 59, 1, 14-19. McFarlane, A., Sparrowhawk, A. & Heald, Y. (2002). Report on the educational use of games. Cambridge: TEEM (Teachers evaluating educational multimedia). 125 References Electronically available at: http://www.teem.org.uk/publications/teem_gamesined_full.pdf. Merriënboer, J.J.G. van (1997). Training complex cognitive skills: A four-component instructional design model for technical training. Englewood Cliffs, NJ: Educational Technology Publications. Miller, C.S., Lehman, J.F., & Koedinger, K.R. (1999). Goals and learning in microworlds. Cognitive Science, 23, 3, 305-336. Mitchell, A & Savall-Smith, C. (2004). The use of computer and video games for learning. A review of the literature. London: The learning and skills development agency. Electronically available at: http://www.lsda.org.uk/files/PDF/1529.pdf Moratis,L., Hoff, J. &, Satter, K. (2003). Simulaties en games in managementonderwijs (Simulations ans games in management courses. Onderwijsinnovatie (a publication of the Dutch Open Universitity), September 2003. Electronically available at: http://www.ou.nl/info-alginnovatienieuws/kwartaalnieuws/OI3_2003/OI_sept03_def5.pdf Munro, A., Fehling, M.R. & Towne, D.M. (1985). Instructional intrusiveness in dynamic simulation training. Journal of computer based instruction, 12, 2, 5053. Nikken, P. (2003). Computerspellen in het gezin (Computer games in families). NICAM dossier 1. Hilversum: Nederlands Instituut voor Classificatie van Audiovisuele Media (NICAM). Electronically available at: http://www.kijkwijzer.nl/download nw/onderzoek_games.pdf. Norman, D.A. (1993). Things that make us smart. Defending human attributes in the age of the machine. Reading MA: Addison-Wesley Publishing Company. Oerter, R. (2004). Play as a crucial activity in leisure and labour. In: Eberle, T., Kriz, W.C., Puschert, M. & Glötzner, F. (Eds.). Bridging the Gap: Transforming Knowledge into Action through Gaming and Simulation. Proceedings of 35th Annual Conference of the International Simulation And Gaming Association (ISAGA) Munich 2004. Munich: Sagsaga. Okagaki, L. & French, P. (1996). Effects of video game playing on measures of spatial performance: Gender effects in late adolescence. In: Greenfield, P. and Cocking, R. (Eds.). Interacting With Video. New Jersey: Ablex Publishing. Oyen, A.S. & Bebko, J.M. (1996). The effects of computer games and lesson contexts on children’s mnemonic strategies. Journal of experimental child psychology, 62, 2, 173-189. Peters, V.A.M. & Vissers, G.A.N., (2004). A simple classification model for debriefing simulation games. Simulation & Gaming: An international Journal, 35, 1, 70-84. Petranek, C.F. (2000). Written debriefing: The next vital step in learning with simulations. Simulation & Gaming: An international Journal, 31, 108-118. Poel, L van der & Holsteijn, M. van, (2001). Fun and games: An interactive approach to knowledge management. Knowledge management magazine, vol. 4, 7. Electronically available at: http://www.knowledgeboard.com/cgibin/item.cgi?id=43820 Prensky, M. (2001). Digital game-based learning. New York: Mc Graw-Hill. Purbojo, R. (2005). To look or not to look. A study of visualisation supports in an educational business game. PhD Thesis, Enschede: University of Twente. Purbojo, R. & Hoog, R. de, (2004). Learning knowledge management in a collaborative game: Effects of player preparation and visualisation of variables. In: Eberle, T., Kriz, W.C., Puschert, M. & Glötzner, F. (Eds.). Bridging the Gap: Transforming Knowledge into Action through Gaming and Simulation. Proceedings of 35th Annual Conference of the International Simulation And Gaming Association (ISAGA) Munich 2004. Munich: Sagsaga. 126 Is it all in the game? Randel, J.M., Morris, B.A., Wetzel, C.D. & Whitehill, B.V. (1992). The effectiveness of games for educational purposes: a review of the research Simulation and Gaming, 25, 261-276. Reber, A. S.(1989). Implicit Learning and Tacit Knowledge. Journal of Experimental Psychology: General, 118, 3, 219-235. Reigeluth, C. & Stein, F. (1983). The elaboration theory of instruction. In C. Reigeluth (ed.), Instructional Design Theories and Models. Hillsdale, NJ: Erlbaum Associates. Reiser, B. J. (2002). Why Scaffolding Should Sometimes Make Tasks More Difficult for Learners. In Stahl, G. (ed.). Computer support for collaborative learning foundations for a CSCL community. Proceedings of CSCL 2002, Boulder, Colorado, USA (January 7-11, 2002), 255-264. Hillsdale, New Jersey: Lawrence Erlbaum Associates, Inc. Rieber, L. P. (1996). Seriously considering play: Designing interactive learning environments based on the blending of microworlds, simulations, and games. Educational Technology Research & Development, 44, 2, 43-58. Saab, N. (2005). Chat and explore. The role of support and motivation in collaborative scientific discovery learning. PhD Thesis, University of Amsterdam. Saab, N., Joolingen, W.R. van & Hout-Wolters, B.H.A.M. van (2005). Communication in collaborative discovery learning. The British Journal of Educational Psychology, 75, 603-621. Salen, K. & Zimmerman, E. (2003). Rules of play: Game design fundamentals. Cambridge: MIT Press. Shaffer, D.W., Squire, K.R., Halverson, R. & Gee, J.P. (2004). Video games and the future of learning. University of Wisconsin-Madison and Academic advanced distributed learning Co-Laboratory. Electronically available at: http://www.academiccolab.org/resources/gappspaper1.pdf Shefrin, J. (1999). “Make it a pleasure and not a task”: Educational games for children in Georgian England. Princeton University Library Chronicle, winter 1999, 251-275. Electronically available at: http://www.princeton.edu/~cotsen/PDFs/pulc_08.pdf Sherry, J. (2001). The effects of violent video games on aggression. A meta-analysis. Human Communication Research, 27, 3, 409-431. Shostak, I. & Hoog, R. , (2004). The KM Quest business simulation model: supporting acquisition of decision-making skills for knowledge management.. In: Eberle, T., Kriz, W.C., Puschert, M. & Glötzner, F. (Eds.). Bridging the Gap: Transforming Knowledge into Action through Gaming and Simulation. Proceedings of 35th Annual Conference of the International Simulation And Gaming Association (ISAGA) Munich 2004. Munich: Sagsaga. Smith, P.L. & Ragan, T.J. (1999). Instructional design (second edition). New York: John Wiley & Sons, Inc. Squire, K.D. (2004). Replaying history: Learning world history through playing Civilization III. PhD Thesis, Indiana University, Instructional systems technology department. Electronically available at: http://website.education.wisc.edu/kdsquire/dissertation.html Stark, R., Graf, M., Renkl, A., Gruber, H. & Mandl, H. (1995). Förderung von Handlungskompetenz durch geleitetes Problemlösen und multiple Lernkontexte (Fostering action competence through guided problem-solving and multiple learning contexts). Zeitschrift für Entwicklungspsychologie und Pädagogische Psychologie, 27, 289-312. Stolovitch, H.D. (1990). D-FITGA: A debriefing model. Performance and Instruction, 29, August, 18-19. 127 s Subrahmanyam, K., Greenfield, P., Kraut, R. & Gross, E. (2001). The impact of computer use on children’s and adolescents’ development. Applied developmental psychology, 22, 1, 7-30. Swaak, J. (1998). What If: Discovery simulations and assessment of intuitive knowledge. PhD Thesis, Enschede: University of Twente. Swaak, J., & de Jong, T. (1996). Measuring intuitive knowledge in science: The whatif test. Studies in Educational Evaluation, 22, 341-362. Sweller, J. (1988). Cognitive load during problem solving: Effects on learning. Cognitive Science, 12, 257-285. Sweller, J. & Cooper, G. (1985). The use of worked examples as a substitute for problem solving in learning algebra. Journal of Educational Psychology, 4, 457466. Taatgen, N.A. (1999). Learning without limits. From Problem Solving towards a Unified Theory of Learning. PhD Thesis, University of Groningen. Taatgen, N.A. & Wallach, D. (2002). Whether skill acquisition is rule or instance based is determined by the structure of the task. Cognitive Science Quarterly, 2, 163-204. Tabak, I., Sandoval, W.A., Smith, B. K., Steinmuller, F., & Reiser, B.J (1998). Reflection as a Vehicle Toward Local and Global Understanding. Paper presented at the Annual Meeting of the American Educational Research Association San Diego, CA April 13-17, 1998. Electronically available at: http://www.letus.org/bguile/Papers/Bguile_papers.html Thomas, P.& Macredie, R., (1994). Games and the design of human-computer interfaces. Educational and Training Technology International, 31, 2, 134-142. Treacy, M. & F. Wiersema (1995). The discipline of market leaders. Harvard Business Press, New York. Turnin, M. C., Couvaras, O., Jouret, B., Tauber, M. T., Bolzonella, C., Fabre, D., et al. (2000). Learning good eating habits playing computer games at school: A 2000 children evaluation. Diabetes Research and Clinical Practice, 50 (1001), 239-239. VanLehn, K. (1988). Toward a theory of impasse-driven learning. Mandl, H. & Lesgold, A. (Eds.). Learning issues for intelligent tutoring systems. New York: Springer Verlag. Veerman, A. & Veldhuis-Diermanse, E. (2001). Collaborative learning through computer-mediated communication in academic education. In: P. Dillenbourg, A. Eurelings & K. Hakkarainen. European perspectives on computer supported collaborative learning. Proceedings of the first European conference on computer supported collaborative learning. Maastricht: Maastricht McLuhan Institute. Wenzler, I, Kleinlugtenbelt, W.J. & Mayer, I,S., (2005). Deregulation of utility industries and roles of simulation. Simulation & Gaming, 36, 1, 30-44. White, B.Y. (1984). Designing computer games to help physics students understand Newton’s laws of motion. Cognition and instruction, 1, 1, 69-108. White, B.Y., & Frederiksen, J.R. (1990). Causal model progressions as a foundation for intelligent learning environments. Artificial Intelligence, 42, 99-157. Wiig, K.M., Hoog de R. & Spek van der R. (1997). Supporting knowledge management: A selection of methods and
  
  . Expert Systems with Applications, 13, 15-27. Wilensky, U., (2003). Networked Participatory Simulations: Classroom Collaboration in Exploring the Dynamics of Complex Systems. Interactive Event at the CSCL 2003 conference in Bergen, Norway Windschitl, M. & Andre, T., (1998). Using computer simulations to enhance conceptual change: The roles of constructivist instruction and student 128 Is it all in the game? epistemological beliefs. Journal of Research in Science Teaching, 35, 2, 145160 Wolfe, J. (1997). The effectiveness of business games in strategic management course work. Simulation & Gaming, 28, 4, 360-376. 129 References 130
  
  Samenvatting
  
  Het onderzoek dat gerapporteerd wordt in deze dissertatie, richtte zich op ondersteuning van het leren met behulp van games. In het bijzonder op het leren met een simulatiespel in het domein van kennismanagement. De grote groei in het spelen van digitale games, op speciale game “consoles”, de personal computer en het Internet, in de laatste twee decennia heeft de belangstelling voor educatief gebruik van games doen oplaaien. Spel neemt in de ontwikkeling van kinderen een belangrijke plaats in, maar binnen het onderwijs wordt het maar beperkt ingezet als leermiddel, op enkele sectoren na. In de opleiding van militairen wordt al sinds de zeventiende eeuw regelmatig gebruik gemaakt van spellen om bepaalde vaardigheden te leren en te oefenen. Eén van de bekendste militaire spellen, het “Kriegspiel”, werd in 1824 door Baron von Reisswitz ontwikkeld en werd daarna door de Koning van Pruissen aan elk regiment van zijn leger beschikbaar gesteld. In de huidige tijd worden computerspellen binnen het leger op vrij grote schaal gebruikt. Zo worden op een website van Amerikaanse leger (www.dodgamecommunity.com) zestig computerspellen beschreven die binnen de verschillende takken van het leger ingezet worden. Een andere sector waarbinnen spellen regelmatig ingezet worden, is die van de managementopleidingen. Eind jaren vijftig van de vorige eeuw werd het eerste bedrijfssimulatiespel ontwikkeld door de American Management Association. Het werd gezien als een belangrijk middel om het gat te dichten dat werd geconstateerd tussen de formele en theoretische academische opleiding die weinig praktijkgericht was en “on the job” training die vaak zeer specifiek was. Sindsdien worden binnen die sector nog regelmatig spellen gebruikt. Zoals gezegd, is het gebruik van dit middel in de rest van het onderwijs echter beperkt, maar hierin komt de laatste jaren verandering. Zo hebben bekende Nederlandse uitgevers van onderwijsmateriaal, zoals Malmberg, Wolters-Noordhoff en Thieme Meulenhoff, enkele games ontwikkeld die nauw aansluiten bij de door hen uitgebrachte methodes en heeft de Koninklijke Bibliotheek binnen het project “Het geheugen van Nederland” het initiatief genomen tot de ontwikkeling van games die gericht zijn op het primair en secundair onderwijs. Deze games zijn met name gericht op het oefenen van bepaalde vaardigheden in een aansprekende context, en voor een kleiner deel, op het opdoen van nieuwe kennis en vaardigheden. Games kunnen voor het onderwijs interessant zijn omdat leerlingen (soms in samenwerking met anderen) actief, gemotiveerd, bezig zijn met het oplossen van uitdagende problemen. In die zin sluiten ze aan bij de opvattingen over onderwijs zoals die naar voren komen in theorieën over constructivistisch leren, gesitueerd leren en collaboratief leren. In deze theorieën wordt benadrukt dat het opdoen van kennis een actief sociaal proces waarin betekenis wordt gegeven aan ervaringen die worden opgedaan bij het oplossen van gesitueerde realistische problemen. Belangrijk voordeel van het gebruik van games ten opzichte van traditioneel onderwijs is dat leerlingen vaak sterk geïnvolveerd en gemotiveerd zijn en zich richtten op lange termijn doelen. Games kunnen dus enerzijds de leerlingen motiveren om iets te leren en aan de andere kant kunnen ze ervoor zorgen (mits ze goed geconstrueerd zijn) dat de leerlingen gemotiveerd bezig blijven. Deze motivatie komt enerzijds voort uit de aansprekende context en het plezier dat ze aan het spelen beleven, en anderzijds uit het feit dat leerlingen het gevoel hebben controle over het (leer)proces te hebben, omdat ze zelf beslissingen kunnen nemen en de loop van het spel kunnen beïnvloeden. Verder kunnen er situaties aan bod komen waarin je normaal gesproken niet de mogelijkheid krijgt om nieuwe ideeën of strategieën uit te proberen omdat 131 bijvoorbeeld, de consequenties van de handelingen die de studenten moeten verrichten te ingrijpend of kostbaar zijn om er mee te kunnen experimenteren. Leren met games
  
  Literatuuronderzoek leert dat er weliswaar veel is gepubliceerd over het gebruik van games maar dat veel publicaties beschrijvend van aard zijn en dat er weinig wordt gerapporteerd over leerresultaten en de effectiviteit van het middel (al dan niet in vergelijking met andere leermiddelen). Voor zover deze data wel beschikbaar zijn, zijn ze vaak niet eensluidend. Uit de verslagen is ook niet altijd goed op te maken wat de verschillende auteurs onder het begrip game verstaan. In deze dissertatie wordt de volgende definitie gehanteerd: “Games zijn competitieve, gesitueerde, interactieve (leer)omgevingen die zijn gebaseerd op een set van regels en/of een onderliggend model; waarin met in acht name van een aantal beperkingen en onder onzekere omstandigheden een uitdagend doel moet worden behaald”. In de literatuur wordt vaak gesproken over simulation games, en in het Nederlandse taalgebied wordt ook de term spelsimulatie regelmatig gebruikt. Dit geeft al aan dat de begrippen game en simulatie raakvlakken hebben. Het belangrijkste verschil tussen games en simulaties is gelegen in het ontbreken van een competitie-element en toeval/verrassingselement in simulaties. Verder is het doel in simulaties over het algemeen anders van aard. Doel is vaak om de onderliggende principes (die zijn vastgelegd in het simulatiemodel) te ontdekken. De speler heeft in simulaties in een bepaald opzicht meer vrijheid dan in games, in die zin dat hij bijvoorbeeld zelf bepaalde doelen kan stellen, minder rekening hoeft te houden met beperkte resources of met de consequenties van zijn acties. In games kunnen acties over het algemeen niet teruggedraaid worden en gaat het spel telkens verder vanaf de veranderde situatie die is ontstaan door de acties van de spelers en het systeem. In simulaties kunnen de spelers dezelfde situatie vrij eenvoudig nog een keer doorlopen en hebben ze meer mogelijkheden om te experimenteren (“Wat zou er gebeuren wanneer ik.....?”). Voor zover er in de literatuur over games leerresultaten gerapporteerd worden, hebben deze met name betrekking op het ontwikkelen van nieuwe kennis en vaardigheden op de gebieden van wiskunde en management. Verder zijn er enkele indicaties dat games kunnen leiden tot veranderingen in leersstrategieën, attitudes en in praktisch handelen. Een interessante studie aangaande dit laatste aspect ging over een spel dat bedoeld was om het handelen van kinderen met diabetes te beïnvloeden. Geconcludeerd werd dat er veranderingen optraden in het gedrag van kinderen, maar dat hun kennis aangaande diabetes niet significant was toegenomen. Dit lijkt er op te duiden dat er wel leren heeft plaatsgevonden maar dat dit niet tot uiting komt op een kennistoets. In hoofdstuk 3 wordt hier verder op ingegaan en wordt de veronderstelling utgesproken dat er bij het gebruik van games twee vormen van informatieverwerking onderscheiden kunnen worden, die ieder tot verschillende leerresultaten leiden. Een “unselective experiential mode” die vooral leidt tot feitenkennis, handelingspatronen, en instanties die bruikbaar zijn in de gamecontext. Wanneer abstracties of principes geleerd worden is dit meestal in de vorm impliciete kennis die situationeel is en moeilijk onder woorden te brengen. De andere vorm is een “selective reflective mode” die, wanneer ze succesvol is, kan leiden tot expliciete kennis in de vorm van nieuwe inzichten, regels en strategieën. De grootste leerwinst bij het gebruik van games valt te verwachten wanneer spelers beide “modes” gebruiken. Verwacht wordt echter, dat leerlingen in rijke dynamische contexten, zoals games, vooral een “unselective experiential mode” zullen gebruiken en slechts onder bepaalde omstandigheden (bijvoorbeeld als ze vast lopen) over zullen schakelen naar de “selective reflective mode”. Om het gebruik van deze laatste mode te game ondersteunen (ook op momenten dat spelers dit niet spontaan zullen doen) zullen er elementen aan het spel of de leersituatie toegevoegd moeten worden.
  
  Centrale onderzoeksvraag
  
  Het onderzoek richtte zich op twee elementen die aan een spel zelf toegevoegd kunnen worden waarvan, op basis van de bestaande literatuur, nog onduidelijk of zij het leerproces kunnen ondersteunen, namelijk advies en extra opdrachten. Elementen die aan de leersituatie toegevoegd kunnen worden zoals “debriefing” en het samenwerken met anderen, werden buiten beschouwing gelaten. De centrale onderzoeksvraag is: “Ondersteunen elementen, zoals advies en extra opdrachten, die aan een spel toegevoegd worden het gebruik van een “reflective mode” van informatieverwerking en daarbij de acquisitie van expliciete kennis?”. Om deze vraag te beantwoorden werden drie experimenten uitgevoerd waarbij gebruik werd gemaakt van een pretest – posttest design. In de tests waren vragen opgenomen die expliciete kennis beoogden te meten en items die gericht waren op het meten van impliciete kennis. Verder werd het gedrag van de spelers vastgelegd in logfiles waardoor het mogelijk werd een relatie te leggen tussen het gedrag van de spelers en testresultaten. De spelomgeving: KM Quest
  
  In de onderzoeken werd gebruik gemaakt van het spel KM Quest. Dit is een collaboratief internetgebaseerde simulatie spel dat is ingebed in een leerscenario dat bestaat uit vier fasen. Het is ontwikkeld om studenten en managers (in groepjes van maximaal 3 personen) een mogelijkheid te geven om actief problemen op te lossen en kennis op te doen in het domein van kennismanagement. Het spel is gesitueerd in de context van een fictieve “product leadership” organisatie. De spelers spelen ieder dezelfde rol van kennismanager binnen het bedrijf en hebben de taak om de kennishuishouding van het bedrijf zodanig te optimaliseren dat het bedrijf een zo hoog mogelijk marktaandeel behaalt, een zo hoog mogelijke “customer satisfaction index” en winst. De spelers spelen deze rol gedurende 12 kwartalen. Kern van het spel is een case beschrijving met statische informatie, en een onderliggend “business model” dat gebruikt wordt om het gedrag van een groot aantal bedrijf- en kennis procesindicatoren te simuleren, en om nieuwe gegevens te genereren op basis van de interventies die de spelers in elk kwartaal in de bedrijfscontext implementeren. Spelelementen die in KM Quest zijn opgenomen zijn: competitie tussen spelers, onverwachte gebeurtenissen (elk kwartaal wordt één onverwachte gebeurtenis geselecteerd uit een bestand van meer dan 50 gebeurtenissen), beperkingen zoals een gelimiteerd budget om interventies uit te voeren, en het niet kunnen terugdraaien van acties. Om de spelers te ondersteunen bij het oplossen van problemen zijn een aantal ondersteunende elementen in de spelomgeving geïmplementeerd, zoals een richtinggevend systematisch kennismanagement model (met gezamenlijke werkdocumenten), feedback, advies, handboeken met belangrijke informatie, en mogelijkheden om op het eigen gedrag terug te blikken. Om communicatie en samenwerking (met behulp van het Internet) te ondersteunen zijn elementen in de leeromgeving opgenomen zoals een chatbox, monitor faciliteiten, forums, een stem “machine”, e-mail notificatie, “groupcall”, etc. Deze elementen ondersteunen zowel synchrone als asynchrone communicatie tussen groepsleden. Het
  
  eerste onderzoek
  
  In het eerste onderzoek werd onderzocht of het toevoegen van extra opdrachten aan de spelomgeving KM Quest een selectieve en reflectieve manier van informatieverwerking ondersteunde en daardoor leidde tot een hogere mate van expliciete kennis. Samen ting
  
  Er werden twee versies van KM Quest gebruikt die beide afweken van de hierboven beschreven opzet op de volgende punten. Er was geen sprake van een teamspel: de spelers speelden alleen. Dit omdat uit ander onderzoek was gebleken dat de kwaliteit van de samenwerking en de communicatie sterk van invloed was op het verloop van het spel en de leeruitkomsten. Verder was de aanvangswaarde van een groot aantal indicatoren in het business simulatie model verlaagd. De reden hiervoor was dat daarmee de condities werden geschapen voor het selecteren van meer interne problemen die te maken hadden met het niet optimaal verlopen van een aantal kennisprocessen. In een situatie waarin deze processen wel goed verlopen zoals in de aanvankelijke game set-up, worden er door de game-engine vooral veel externe gebeurtenissen (events) geselecteerd die betrekking hebben op externe omstandigheden. Deze events bleken in voorgaand onderzoek voor de spelers moeilijk te duiden en daarmee niet erg geschikt om als eerste spelsituaties te gebruiken. Een laatste afwijking betrof het selectiemechanisme van de gebeurtenissen. In de oorspronkelijk opzet van de game was de volgorde van de events niet vastgelegd maar afhankelijk van de status van bepaalde indicatoren in het business simulatie model en de reeds eerder ingevoerde interventies. In de gehanteerde set-up waren de events voor alle spelers dezelfde zodat mogelijke verschillen in leerresultaten en “game performance” achteraf niet toegeschreven zouden kunnen worden aan verschillend in (de sequentie van) gebeurtenissen waarmee de spelers geconfronteerd werden. In beide versies waren de volgende ondersteunende elementen aanwezig: het kennismanagement model en bijbehorende werkbladen, feedback, advies, “just-in-time” achtergrond informatie, visualisaties en informatie over het eigen handelen en de status van de business model indicatoren in voorgaande kwartalen. In de ene conditie vormde bovenstaande beschrijving de “standaard” situatie in de andere conditie waren hier elementen aan toegevoegd in de vorm van extra opdrachten. Deze opdrachten hadden tot doel de aandacht van de spelers te vestigen op elementen die ze mogelijk over het hoofd hadden gezien bij het event in het voorgaande kwartaal, en op hun eigen handelen en de rationale daarachter in dat kwartaal. Ze bestonden uit twee elementen: een vraag die betrekking had op de mogelijke oplossing van het probleem in het voorgaande kwartaal en een opdracht om op basis van de ervaringen zover, een “lesson learned” te formuleren die voor hen zelf of voor andere spelers van belang zou kunnen zijn. Deze extra opdrachten waren vanaf kwartaal twee beschikbaar via een link in de krant van het bedrijf (“Coltec news”). De spelers konden deze opdrachten maken, maar het maken ervan werd niet afgedwongen door het systeem. De verwachting was dat de spelers in deze conditie meer expliciete kennis zouden opdoen, omdat ze ondersteund werden in het gebruik van een reflectieve manier van informatie verwerken. Aan het onderzoek werd deelgenomen door 28 studenten van de opleiding Toegepaste Communicatiewetenschappen van de Universiteit Twente. Voor deze studenten was deelname aan het spel een verplicht onderdeel van een master cursus Kennismanagement in een lerende organisatie. Er werd gebruik gemaakt van een pre-test om voorkennis te toetsen. Deze toets bestond uit 26 meerkeuzevragen. 18 hiervan hadden tot doel om expliciete kennis te toetsen over begrippen die in het spel gebruikt werden, over stappen in het kennismanagement model en over relaties tussen interventies en indicatoren. Acht items waren gericht op het toetsen van impliciete kennis. Bij deze opgaven werd een situatie geschetst en werd een interventie beschreven. Daaronder stond een grafiek weergegeven met drie lijnen. Vervolgens werd gevraagd om aan te geven hoe de betreffende indicator zich zou ontwikkelen en welke lijn bij de betreffende situatie past. Na de voortoets speelden de spelers het spel in een aantal sessies. Nadat ze het spel beëindigd hadden, volgde een natoets die dezelfde was als de voortoets. Vervolgens kreeg men een transfertoets die thuis gemaakt mocht worden. Deze toets bestond uit een case 134 Is it all in the game? beschrijving van een ander type bedrijf met een aantal gebeurtenissen. Spelers moesten deze gebeurtenissen analyseren en aangeven hoe ze hierop zouden reageren als kennismanager van het betreffende bedrijf. Het cijfer dat op deze toets behaald werd, telde mee in de beoordeling voor het vak. De score op de voor en natoets niet. Tijdens het spelen werden allerlei gegevens vastgelegd in een logfile zodat naderhand nagegaan kon worden welke elementen in het spel door de spelers geraadpleegd waren en wat de status van de indicatoren in het simulatiemodel was in de verschillende kwartalen. Uit de testresultaten bleek dat beide groepen een significante leerwinst hadden geboekt, maar dat er geen verschillen waren tussen de scores van beide groepen op de natoets en de transfer toets. Ook werden er geen significante verschillen tussen beide groepen gevonden wanneer gekeken werd naar de hoogte van een set van indicatoren uit het business simulatie model aan het eind van het spel. Uit de logfiles viel op te maken of de extra opdrachten ook daadwerkelijk gebruikt werden. Daaruit bleek dat vijf van de 16 studenten in deze conditie, nooit een “lesson learned” had geformuleerd en dat vier nooit een vraag hadden beantwoord. Wanneer een vergelijking werd gemaakt tussen degenen die de vragen en opdrachten regelmatig gebruikt hadden en degenen die dat niet hadden gedaan, bleek dat de eersten significant lager scoorden op de natoets. De extra opdrachten bleken contraproductief te zijn. Een verklaring hiervoor zou kunnen zijn dat de spelers zich door deze opdrachten en vragen extra gingen richten op het behalen van de doelen van het spel en minder op de onderliggende ideeën en op het kennismanagement model. Nadere analyse van de gegevens in de logfiles bracht aan het licht dat vier informatiebronnen frequent gebruikt werden: feedback, advies, de visualisaties en het interventie handboek. Advies bleek, gemiddeld genomen, in 83% van de gevallen dat het aanwezig was ook daadwerkelijk “geopend” te worden. De andere drie bronnen werden ongeveer in helft van alle kwartalen geraadpleegd. Alle andere beschikbare informatiebronnen werden slechts zelden aangeboord. Er waren geen significante verschillen in gebruik van de bronnen tussen de studenten in de twee condities. Wanneer een vergelijking gemaakt werd tussen studenten met een hoge en een lage leerwinst, bleek dat de eerste groep de informatiebronnen meer frequent gebruikte (behalve het advies) en dat het verschil in gebruik van feedback zelfs significant was. Dit was de aanleiding om te onderzoeken of de frequentie waarmee bepaalde informatiebronnen werden gebruikt, samenhing met de hoogte van de testscores en met de hoogte van de indicatoren in het simulatiemodel. Bij deze analyses werden de studenten uit de twee condities samengenomen omdat er tussen deze toch geen verschillen bestonden en werden de spelers opnieuw ingedeeld in drie groepen op basis van de frequentie van gebruik. Er moet wel voorzichtigheid betracht worden bij het trekken van conclusies uit deze analyses, omdat de mogelijkheid bestaat dat intermediërende variabelen, die niet gemeten zijn, een rol spelen. Zo zou het kunnen zijn dat het gebruik van bepaalde bronnen samenhangt met bepaalde persoonlijkheidseigenschappen of met intelligentieniveau. Dit zou er toe kunnen leiden dat geconcludeerd wordt dat er een relatie is tussen het gebruik van feedback en de leerwinst die is behaald, terwijl er in werkelijkheid sprake is van een relatie tussen intelligentieniveau en leerwinst. Verder is het zo dat de groepen, die op basis van het gebruik van verschillende bronnen onderscheiden worden, niet geheel onafhankelijk van elkaar zijn. Het zou kunnen zijn dat degenen die feedback regelmatig raadplegen ook het interventie handboek regelmatig gebruiken. Het is dan moeilijk om eventuele verschillen toe te schrijven aan het gebruik van de ene of de andere informatiebron. Een correlatie analyse bracht aan het licht dat gebruik van feedback en interventiehandboek inderdaad met elkaar correleerden. De andere correlaties waren niet significant. Samenvatting
  
  Het gebruik van feedback bleek samen te hangen met de score op de items die expliciete kennis beoogden te meten. Met name het verschil tussen degenen die feedback raadpleegden in 2/3 van de kwartalen of meer en degenen die dat deden in 1/3 of minder was significant. Waarbij de eerste groep hoger scoorde. Bij de game indicatoren was er tussen deze twee groepen een verschil in de hoogte van de “Product quality index” en het competentieniveau in de R&D afdeling. Degenen die feedback vaak raadpleegden hadden hogere scores. Wat betreft het gebruik van het interventie handboek is het beeld hetzelfde bij de testscores en bij de game indicatoren was er een verschil bij de “Customer satisfaction index”. Zoals gezegd, werd het advies, wanneer dit beschikbaar was, zeer frequent geraadpleegd. Het is dan ook moeilijk een vergelijking te maken op basis van frequentie van gebruik omdat bepaalde groepjes erg klein waren. Desondanks bleek dat degenen die het advies in minder dan 33% van de gevallen dat het aanwezig was, raadpleegden op een aantal indicatoren in het spel, significant lagere waardes hadden dan degenen die advies vaker raadpleegden. Aangaande het gebruik van de visualisaties werden er geen verbanden gevonden met de hoogte van de testscores. Wel was er een verband tussen de hoogte van het marktaandeel en visualisatie gebruik. Degenen die de visualisaties weinig gebruikten hadden een lagere score dan de andere twee groepen. De conclusie is dat het gebruik van extra opdrachten niet tot meer expliciete kennis heeft geleid. Wel zijn er aanwijzingen dat frequent gebruik van informatiebronnen zoals feedback en het interventie handboek samenhangt met een winst in expliciete kennis. De winst in dit type kennis zit met name in kennis over concepten die in het spel gebruikt worden, en slechts in beperkte mate in kennis over de relatie tussen interventies en indicatoren. Desondanks weten de meeste spelers de hoogte van indicatoren in het spel substantieel te verhogen. Dit zou kunnen duiden op het gebruik van impliciete kennis. Op de tests is echter geen sprake van een significante winst in impliciete kennis. Het zou kunnen zijn dat spelers toch succesvol zijn in het spel doordat ze de informatie die beschikbaar is in bronnen zoals advies, feedback en het interventiehandboek direct toepassen zonder deze te interpreteren en te waarderen. Dit laatste zou er de reden van kunnen zijn dat de toename in expliciete kennis niet heel erg hoog is. Sinds het advies de bron is die het meest geraadpleegd wordt, en dit ook de meest directe aanwijzingen bevat aangaande de selectie van relevante informatie, is het interessant om te onderzoeken of het verwijderen van deze bron leidt tot andere leerresultaten of een andere manier van spelen. Dit werd onderzocht in het tweede onderzoek.
  
  Het tweede onderzoek
  
  In het tweede onderzoek werden twee versies van KM Quest met elkaar vergeleken. Eén die vergelijkbaar is met de versie zonder extra opdrachten uit het eerste onderzoek, en één waarin dezelfde informatiebronnen aanwezig waren, behalve het advies. Advies in KM Quest is sowieso, niet altijd beschikbaar, maar alleen wanneer bepaalde indicatoren onder een drempelwaarde komen. Er begint dan een icoontje te knipperen en wanneer spelers daarop klikken met de muis, dan verschijnt een waarschuwing met de namen van de indicatoren die onder de drempelwaarde terecht zijn gekomen. Wanneer ze vervolgens op de naam van de indicator klikken, verschijnt er een tekst waarin, onder andere, verwezen wordt naar categorieën van interventies die gebruikt zouden kunnen worden om de waarde van de betreffende indicator te beïnvloeden. De veronderstelling is dat advies er voor zorgt dat spelers essentiële informatie niet over het hoofd zien en hen helpt bij het selecteren van, en focussen op informatie die belangrijk is. Op deze manier kan het een selectieve en reflectieve manier van informatie verwerken ondersteunen, wat zou moeten leiden tot meer expliciete kennis. Aan de andere kant zou het er ook toe kunnen leiden dat spelers 136 it all in the game? juist minder reflectief te werk gaan omdat de waarschuwingen en hints, die in het advies gepresenteerd worden, de spelers al op het goede spoor zetten zonder dat ze zelf actief informatie hoeven te zoeken en zonder dat ze zelf hoeven in te schatten of bepaalde informatie, onder de gegeven omstandigheden, relevant is of niet. De opzet van het onderzoek was dezelfde als bij het eerste onderzoek, De tests werden op enkele punten aangepast, maar waren in grote lijnen dezelfde. Aan het onderzoek werd deelgenomen door 29 studenten van de opleiding Toegepaste Communicatiewetenschappen van de Universiteit Twente. Voor deze studenten was deelname aan het spel een verplicht onderdeel van een master cursus Kennismanagement in een lerende organisatie. Uit de toetsresultaten bleek dat beide groepen een significante leerwinst hadden geboekt op de expliciete kennisopgaven en dat de Geen-advies groep ook een significante winst had bij de impliciete kennisopgaven, terwijl de Advies-groep daar geen winst boekte. Het verschil in score tussen beide groepen op de impliciete kennis items van de natoets is bijna significant (p=0.051). Wanneer gekeken wordt naar de hoogte van de indicatoren in het simulatie model zijn er aan het eind van het spel nauwelijks verschillen tussen de twee groepen te vinden. Verder bleek dat er niemand was, in de Advies groep, die het advies niet gebruikte. Gemiddeld was er advies beschikbaar in 9.3 van de twaalf kwartalen en werd het geraadpleegd in 7.1 kwartalen. Dat betekent dat het zeer frequent geraadpleegd werd, net als in het eerste onderzoek. Verder bleek dat net als in dat onderzoek feedback, het interventie handboek en de visualisaties door beide groepen frequent gebruikt werden en dat het Indicator handboek significant vaker werd geraadpleegd door de Geen-advies groep. Een vergelijking tussen de spelers met een hoge leerwinst en een lage leerwinst leverde een ander beeld op dan bij het eerste onderzoek. In dit geval gebruikten de genen met een lage leerwinst de verschillende informatiebronnen, over het geheel genomen, meer dan degenen met een hoge leerwinst. Dit verschil werd met name veroorzaakt door de spelers in de Advies groep. Daar waren degenen met een lage leerwinst zeer frequente gebruikers. Net als bij het eerste onderzoek werden analyses uitgevoerd waarbij werd nagegaan of er een verband was tussen de frequentie waarmee bepaalde informatiebronnen werden gebruikt, en de hoogte van testscores en game indicatoren. Bij deze analyses werden de twee experimentele groepen samengevoegd en werden de spelers opnieuw in drie groepen ingedeeld op basis van de frequentie waarmee bepaalde bronnen werden aangeboord. Zoals hiervoor opgemerkt moet de nodige voorzichtigheid in acht worden genomen bij het trekken van conclusies uit deze analyses, mede omdat de groepsindelingen niet onafhankelijk zijn van elkaar. In het tweede onderzoek bestonden er significante correlaties tussen het gebruik van de verschillende informatiebronnen. Alleen het gebruik van het indicator handboek bleek niet met het gebruik van de andere bronnen te correleren. De analyses bevestigden de resultaten van het eerste onderzoek niet. Er werd geen verband gevonden tussen de frequentie waarmee feedback geraadpleegd werd en de hoogte van toetsscores en/of indicatoren in het spel. Voor het gebruik van het interventiehand boek gold hetzelfde. Het gebruik van het indicator handboek bleek samen te hangen met de score op de items die expliciete kennis beoogden te meten en met de totaalscore op de natoets. Met name het verschil tussen degenen die het indicator handboek raadpleegden in 2/3 van de kwartalen of meer, en degenen die dat deden in 1/3 of minder, was significant. Waarbij de eerste groep hoger scoorde. Aangaande het gebruik van de visualisaties werden dezelfde verbanden gevonden. Hierbij was echter het verschil tussen de groep die visualisaties raadpleegde in 5-8 kwartalen en de groep die dat deed in 0-4 kwartalen significant (in het voordeel van de eerste groep). Voor de totaalscore op de natoets was ook het verschil tussen de 137 Samenvatting groep die visualisaties raadpleegde in 9-12 kwartalen en de groep die dat deed in 0-4 kwartalen significant. De hypothese dat advies een reflectieve manier van informatieverwerking ondersteunt en daardoor leidt tot meer expliciete kennis kon niet bevestigd worden. Opmerkelijk is dat de Geen-advies groep een leerwinst boekte op de impliciete kennisopgaven en de Advies groep niet. Gezien de assumptie dat impliciete kennis met name wordt verworven wanneer een onselectieve ervarende manier van informatie verwerken wordt gebruikt, lijkt dit er op te duiden dat de spelers in de Geen-advies groep deze manier van informatie verwerken regelmatig gebruikten. Het feit dat de Advies groep geen toename in impliciete kennis liet zien, kan er op duiden dat in deze groep deze manier van informatie verwerken minder gebruikt wordt. Het kaner op te duiden dat deze spelers een reflectieve manier gebruikten, maar dat deze niet effectief was, gezien het feit dat ze niet meer expliciete kennis hebben verworven. Het zou kunnen dat de effectiviteit laag was, omdat spelers minder cognitieve inspanning leverden, en zich in hoge mate lieten leiden door de waarschuwingen en hints die in het advies gegeven werden. Er zijn aanwijzingen dat spelers die zelf actief op zoek gingen naar informatie die niet direct is verbonden met het advies, bijvoorbeeld in het indicator handboek, meer expliciete kennis verwierven. Dit leidt tot de vraag of een andere vorm van advies waarin bijvoorbeeld geen hints werden gegeven, tot andere resultaten zou leiden. Dit werd onderzocht in het derde onderzoek. Het derde onderzoek
  
  Het derde onderzoek was in feite een replicatie van het tweede met een derde conditie, waarin een andere vorm van advies werd gegeven. Het advies in deze conditie bestond wel uit de waarschuwingen dat bepaalde indicatoren onder een drempelwaarde zijn terechtgekomen (zoals beschreven bij het tweede onderzoek), maar gaf vervolgens geen hints aangaande bepaalde categorieën van interventies die geïmplementeerd zouden kunnen worden. In plaats daarvan, werd een lijst met een aantal vragen weergegeven die de spelers aan het denken zouden moeten zetten. De lijst met indicatoren waarop de waarschuwingen betrekking hadden, verschilde elk kwartaal. De lijst met vragen was telkens dezelfde. De veronderstelling was dat deze vorm van advies een reflectieve manier van informatie verwerken beter zou ondersteunen, doordat het ervoor zorgt dat essentiële informatie niet gemist wordt en de spelers aanzet tot reflectie door middel van de vragen, wat zal leiden tot meer expliciete kennis dan bij de andere twee groepen. Verwacht werd dat het “traditionele” advies, zoals ook gebruikt in onderzoek 2, zou leiden tot hogere waarden op de game indicatoren als gevolg van de waarschuwingen en hints die beschikbaar zijn. Tenslotte werd verwacht dat de Geen-advies groep meer impliciete kennis zou vergaren dan de andere twee groepen (zoals het geval was bij het tweede onderzoek). Aan het onderzoek werd deelgenomen door 286 studenten Bedrijfswetenschap van de Radboud Universiteit in Nijmegen. Deelname aan het spel was een verplicht onderdeel van een bachelor cursus Kennismanagement. De algemene set-up was dezelfde als die bij onderzoek twee, op twee punten na. De spelers speelden acht in plaats van twaalf kwartalen, en de transfer test werd niet afgenomen. Verder werd de grote groep opgedeeld in drie subgroepen, die ieder in verschillende tijdsperioden (achter elkaar) het spel konden spelen. De reden hiervoor was, dat er geen ervaringen waren met dergelijk grote groepen spelers, en de kans groot geacht werd dat er systeem crashes op zouden treden wanneer alle personen tegelijk zouden spelen. Gevolg van het spelen in drie tijdsperioden is wel dat de tijdspanne tussen het spelen van het spel en de afname van de natoets niet voor iedereen dezelfde was. Aangezien de spelers binnen elke conditie verdeeld waren over de drie tijdsperiodes werd verondersteld dat de invloed hiervan voor alle drie de condities dezelfde zou zijn. Uit de analyses van de logfiles bleek dat het advies over het geheel genomen frequent gebruikt werd, maar dat ongeveer 10% van de spelers het advies icoon nooit heeft aangeklikt, hoewel er wel advies beschikbaar was. Omdat deze spelers geen gebruik konden maken van de steun die het advies hen kon bieden, zijn zij buiten de analyses gelaten. Hun gegevens werden in een aparte paragraaf besproken. Ook in dit onderzoek bleek dat alle groepen een significante leerwinst hebben geboekt. In onderzoek 2 bleek dat alleen de Geen-advies groep een leerwinst boekte op de impliciete kennisopgaven. In dit derde onderzoek werd dit gegeven niet gerepliceerd. Alle drie de groepen boekten een kleine, maar significante, leerwinst op deze items. Over het geheel genomen werden er geen significante verschillen gevonden tussen de drie condities op de scores op de natoets. Zoals gezegd, was de tijdspanne, tussen natoets afname en het spelen van het spel, niet voor iedereen dezelfde. Toen de resultaten van de drie groepen uit de drie verschillende tijdsperiodes met elkaar vergeleken werden, bleek dat in de Geenadvies conditie, de groep met de langste tijdspanne, een significant kleinere leerwinst boekte dan de groepen in de andere tijdsperioden. Het verschil met de Alternatieveadvies groep in dezelfde tijdsperiode was ook significant. Kennisretentie lijkt dus minder wanneer er geen advies beschikbaar is.