Automated essay scoring
स्वचालित निबंध स्कोरिंग (एईएस) एक शैक्षिक परिवेश में लिखे गए निबंधों को ग्रेड निर्धारित करने के लिए विशेष कंप्यूटर कार्यक्रमों का उपयोग है। यह शैक्षिक मूल्यांकन का एक रूप है और प्राकृतिक भाषा प्रसंस्करण का एक अनुप्रयोग है। इसका उद्देश्य पाठ्य संस्थाओं के एक बड़े समूह को अलग-अलग श्रेणियों की एक छोटी संख्या में वर्गीकृत करना है, जो संभावित श्रेणियों के अनुरूप है, उदाहरण के लिए, संख्या 1 से 6। इसलिए, इसे सांख्यिकीय वर्गीकरण की समस्या माना जा सकता है। कई कारकों ने एईएस में बढ़ती रुचि में योगदान दिया है। इनमें लागत, जवाबदेही, मानक और प्रौद्योगिकी शामिल हैं। शिक्षा की बढ़ती लागत ने शिक्षा प्रणाली पर मानकों को लागू करके परिणामों के लिए जवाबदेह ठहराने का दबाव डाला है। सूचना प्रौद्योगिकी की प्रगति कम लागत पर शैक्षिक उपलब्धि को मापने का वादा करती है। शिक्षा में उच्च-दांव परीक्षण के लिए एईएस के उपयोग ने महत्वपूर्ण प्रतिक्रिया उत्पन्न की है, विरोधियों ने शोध की ओर इशारा किया है कि कंप्यूटर अभी तक लेखन को सटीक रूप से ग्रेड नहीं कर सकते हैं और तर्क दिया है कि इस तरह के उद्देश्यों के लिए उनका उपयोग शिक्षण लेखन को कम करने वाले तरीकों से बढ़ावा देता है (यानी। परीक्षा के लिए शिक्षण)। इतिहास एईएस के अधिकांश ऐतिहासिक सारांश इस क्षेत्र की उत्पत्ति का पता एलिस बैटन पेज के काम से लगाते हैं। 1966 में, उन्होंने कंप्यूटर द्वारा निबंधों को स्कोर करने की संभावना के लिए तर्क दिया, और 1968 में उन्होंने प्रोजेक्ट एसे ग्रेड (पी. ई. जी.) नामक एक कार्यक्रम के साथ अपने सफल काम को प्रकाशित किया। उस समय की तकनीक का उपयोग करते हुए, कम्प्यूटरीकृत निबंध स्कोरिंग लागत प्रभावी नहीं होती, इसलिए पेज ने लगभग दो दशकों तक अपने प्रयासों को कम कर दिया। आखिरकार, पेज ने पी. ई. जी. को मेजरमेंट इंकॉर्पोरेटेड को बेच दिया 1990 तक, डेस्कटॉप कंप्यूटर इतने शक्तिशाली और इतने व्यापक हो गए थे कि एईएस एक व्यावहारिक संभावना थी। 1982 की शुरुआत में, राइटर वर्कबेंच नामक एक यूनिक्स कार्यक्रम विराम चिह्न, वर्तनी और व्याकरण सलाह देने में सक्षम था। कई कंपनियों (विशेष रूप से शैक्षिक परीक्षण सेवा) के सहयोग से, पेज ने पी. ई. जी. को अद्यतन किया और 1990 के दशक की शुरुआत में कुछ सफल परीक्षण चलाए। पीटर फोल्ट्ज़ और थॉमस लैंडाउर ने एक स्कोरिंग इंजन का उपयोग करके एक प्रणाली विकसित की जिसे बुद्धिमान निबंध मूल्यांकनकर्ता (आई. ई. ए.) कहा जाता है। आई. ई. ए. का उपयोग पहली बार 1997 में उनके स्नातक पाठ्यक्रमों के लिए निबंध स्कोर करने के लिए किया गया था। यह अब पियर्सन एजुकेशनल टेक्नोलॉजीज का एक उत्पाद है और इसका उपयोग कई वाणिज्यिक उत्पादों और राज्य और राष्ट्रीय परीक्षाओं में अंक प्राप्त करने के लिए किया जाता है। इंटेलीमेट्रिक वेंटेज लर्निंग का एईएस इंजन है। इसका विकास 1996 में शुरू हुआ। इसे पहली बार 1998 में निबंध स्कोर करने के लिए व्यावसायिक रूप से उपयोग किया गया था। शैक्षिक परीक्षण सेवा "ई-रेटर" प्रदान करती है, जो एक स्वचालित निबंध स्कोरिंग कार्यक्रम है। इसका पहली बार फरवरी 1999 में व्यावसायिक रूप से उपयोग किया गया था। जिल बर्स्टीन इसके विकास में टीम लीडर थीं। ई. टी. एस. की मानदंड ऑनलाइन लेखन मूल्यांकन सेवा अंक और लक्षित प्रतिक्रिया दोनों प्रदान करने के लिए ई-रेटर इंजन का उपयोग करती है। लॉरेंस रुडनर ने बेयेशियन स्कोरिंग के साथ कुछ काम किया है, और बेट्सी (बेयेशियन एस्से टेस्ट स्कोरिंग सिस्टम) नामक एक प्रणाली विकसित की है। उनके कुछ परिणाम प्रिंट या ऑनलाइन में प्रकाशित किए गए हैं, लेकिन अभी तक किसी भी व्यावसायिक प्रणाली में बेट्सी को शामिल नहीं किया गया है। हावर्ड मिट्ज़ेल और सू लॉट्रिज के नेतृत्व में, पैसिफिक मेट्रिक्स ने एक निर्मित प्रतिक्रिया स्वचालित स्कोरिंग इंजन, क्रेज़ विकसित किया। वर्तमान में शिक्षा के कई राज्य विभागों और अमेरिकी शिक्षा विभाग द्वारा वित्त पोषित उन्नत मूल्यांकन अनुदान में उपयोग किया जाता है, प्रशांत मेट्रिक्स की तकनीक का उपयोग 2007 से बड़े पैमाने पर रचनात्मक और सारांशात्मक मूल्यांकन वातावरण में किया गया है। मेजरमेंट इंक. ने 2002 में पी. ई. जी. के अधिकार हासिल कर लिए और इसे विकसित करना जारी रखा है। 2012 में, हेवलेट फाउंडेशन ने कैगल पर एक प्रतियोगिता को प्रायोजित किया जिसे स्वचालित छात्र मूल्यांकन पुरस्कार (ए. एस. ए. पी.) कहा जाता है। 201 चुनौती प्रतिभागियों ने एईएस का उपयोग करके भविष्यवाणी करने का प्रयास किया, जो मानव मूल्यांकनकर्ता आठ अलग-अलग संकेतों पर लिखे गए हजारों निबंधों को अंक देंगे। इसका उद्देश्य यह प्रदर्शित करना था कि एईएस मानव मूल्यांकनकर्ताओं के रूप में विश्वसनीय हो सकता है, या उससे भी अधिक। प्रतियोगिता ने एएसएपी डेटा के सबसेट पर नौ एईएस विक्रेताओं के बीच एक अलग प्रदर्शन की भी मेजबानी की। हालांकि जांचकर्ताओं ने बताया कि स्वचालित निबंध स्कोरिंग मानव स्कोरिंग के रूप में विश्वसनीय थी, इस दावे की पुष्टि किसी भी सांख्यिकीय परीक्षण द्वारा नहीं की गई थी क्योंकि कुछ विक्रेताओं को आवश्यक था कि उनकी भागीदारी के लिए पूर्व शर्त के रूप में ऐसा कोई परीक्षण नहीं किया जाए। इसके अलावा, यह दावा कि हेवलेट अध्ययन ने प्रदर्शित किया कि एईएस मानव मूल्यांकनकर्ताओं के रूप में विश्वसनीय हो सकता है, तब से इसका कड़ा विरोध किया गया है, जिसमें शैक्षिक परीक्षण सेवा में मूल्यांकन नवाचार में नॉर्मन ओ. फ्रेडरिक्सन अध्यक्ष रैंडी ई. बेनेट भी शामिल हैं। अध्ययन की कुछ प्रमुख आलोचनाएँ यह रही हैं कि आठ में से पांच डेटासेट में निबंधों के बजाय पैराग्राफ शामिल थे, आठ में से चार डेटा सेट को मानव पाठकों द्वारा लेखन क्षमता के बजाय केवल सामग्री के लिए वर्गीकृत किया गया था, और यह कि मानव पाठकों और एईएस मशीनों को "सही अंक", दो पाठकों के अंकों के औसत के खिलाफ मापने के बजाय, अध्ययन ने एक कृत्रिम निर्माण, "हल किए गए अंक" को नियोजित किया, जिसमें चार डेटासेट में दो मानव अंकों में से अधिक शामिल थे यदि कोई असहमति थी। इस अंतिम अभ्यास ने, विशेष रूप से, मशीनों को इन डेटासेट के लिए गोल करने की अनुमति देकर एक अनुचित लाभ दिया। 1966 में, पेज ने परिकल्पना की कि, भविष्य में, कंप्यूटर-आधारित न्यायाधीश अन्य मानव न्यायाधीशों की तुलना में प्रत्येक मानव न्यायाधीश के साथ बेहतर सहसंबद्ध होंगे। सामान्य रूप से निबंध अंकन के लिए इस दृष्टिकोण की प्रयोज्यता की आलोचना करने के बावजूद, इस परिकल्पना का समर्थन छोटे प्रश्नों के मुफ्त पाठ उत्तरों को चिह्नित करने के लिए किया गया था, जैसे कि ब्रिटिश जीसीएसई प्रणाली की विशिष्टता। पर्यवेक्षित अधिगम के परिणाम दर्शाते हैं कि स्वचालित प्रणालियाँ अच्छा प्रदर्शन करती हैं जब विभिन्न मानव शिक्षकों द्वारा अंकन अच्छी सहमति में होता है। उत्तरों के गैर-पर्यवेक्षित समूह से पता चला कि उत्कृष्ट पेपर और कमजोर पेपर अच्छी तरह से परिभाषित समूह बनाते हैं, और इन समूहों के लिए स्वचालित अंकन नियम अच्छी तरह से काम करता है, जबकि मानव शिक्षकों द्वारा तीसरे समूह ('मिश्रित') के लिए दिए गए अंक विवादास्पद हो सकते हैं, और 'मिश्रित' समूह से कार्यों के किसी भी मूल्यांकन की विश्वसनीयता पर अक्सर सवाल उठाया जा सकता है (मानव और कंप्यूटर दोनों)। निबंध गुणवत्ता के विभिन्न आयाम हाल के एक सर्वेक्षण के अनुसार, आधुनिक एईएस प्रणालियाँ उपयोगकर्ताओं को प्रतिक्रिया प्रदान करने के लिए निबंध की गुणवत्ता के विभिन्न आयामों को प्राप्त करने का प्रयास करती हैं। इन आयामों में निम्नलिखित आइटम शामिल हैंः व्याकरणः निम्नलिखित व्याकरण नियमों का उपयोग, शब्द उपयोग यांत्रिकीः वर्तनी, विराम चिह्न, कैपिटलाइजेशन शैली के लिए निम्नलिखित नियमः शब्द चयन, वाक्य संरचना विविधता प्रासंगिकताः त्वरित संगठन के लिए सामग्री की प्रासंगिकताः निबंध कितनी अच्छी तरह से संरचित है विकासः उदाहरणों के साथ विचारों का विकास सामंजस्यः संक्रमण वाक्यांशों का उचित उपयोग सुसंगतताः विचारों के बीच उपयुक्त संक्रमण थीसिस स्पष्टताः थीसिस की स्पष्टताः प्रमुख तर्क प्रक्रिया की आश्वस्तताः शुरू से ही, एईएस के लिए मूल प्रक्रिया निबंधों के एक प्रशिक्षण सेट के साथ शुरू की गई है जिसे सावधानीपूर्वक हाथ से स्कोर किया गया है। कार्यक्रम प्रत्येक निबंध के पाठ की सतह विशेषताओं का मूल्यांकन करता है, जैसे कि शब्दों की कुल संख्या, अधीनस्थ खंडों की संख्या, या छोटे अक्षरों के लिए बड़े अक्षरों का अनुपात-ऐसी मात्राएँ जिन्हें बिना किसी मानवीय अंतर्दृष्टि के मापा जा सकता है। इसके बाद यह एक गणितीय मॉडल का निर्माण करता है जो इन मात्राओं को निबंधों द्वारा प्राप्त अंकों से संबंधित करता है। फिर उसी मॉडल को नए निबंधों के अंकों की गणना करने के लिए लागू किया जाता है। हाल ही में ऐसा ही एक गणितीय मॉडल इसाक पर्सिंग और विंसेंट एनजी द्वारा बनाया गया था। जो न केवल उपरोक्त विशेषताओं पर निबंधों का मूल्यांकन करता है, बल्कि उनकी तर्क शक्ति पर भी मूल्यांकन करता है। यह निबंध की विभिन्न विशेषताओं का मूल्यांकन करता है, जैसे कि लेखक के समझौते का स्तर और उसके कारण, प्रॉम्प्ट के विषय का पालन, तर्क घटकों के स्थान (प्रमुख दावा, दावा, आधार), तर्कों में त्रुटियां, विभिन्न अन्य विशेषताओं के बीच तर्कों में सामंजस्य। ऊपर वर्णित अन्य मॉडलों के विपरीत, यह मॉडल निबंधों को श्रेणीबद्ध करते समय मानव अंतर्दृष्टि को दोहराने में करीब है। गहन तंत्रिका नेटवर्क की बढ़ती लोकप्रियता के कारण, स्वचालित निबंध स्कोरिंग के लिए गहन शिक्षण दृष्टिकोण अपनाए गए हैं, जो आम तौर पर बेहतर परिणाम प्राप्त करते हैं, जो अक्सर अंतर-मानव समझौते के स्तरों को पार कर जाते हैं। विभिन्न एईएस कार्यक्रम इस बात में भिन्न होते हैं कि वे किस विशिष्ट सतह विशेषताओं को मापते हैं, प्रशिक्षण सेट में कितने निबंधों की आवश्यकता होती है, और सबसे महत्वपूर्ण रूप से गणितीय मॉडलिंग तकनीक में। प्रारंभिक प्रयासों में रैखिक प्रतिगमन का उपयोग किया गया था। आधुनिक प्रणालियाँ रैखिक प्रतिगमन या अन्य मशीन सीखने की तकनीकों का उपयोग कर सकती हैं जो अक्सर अन्य सांख्यिकीय तकनीकों जैसे अव्यक्त शब्दार्थ विश्लेषण और बायेसियन अनुमान के साथ संयोजन में होती हैं। मशीन लर्निंग मॉडल का उपयोग करके क्रॉस-डोमेन सेटिंग में स्वचालित निबंध स्कोरिंग कार्य का भी अध्ययन किया गया है, जहां मॉडल को एक प्रॉम्प्ट (विषय) के लिए लिखे गए निबंधों पर प्रशिक्षित किया जाता है और दूसरे प्रॉम्प्ट के लिए लिखे गए निबंधों पर परीक्षण किया जाता है। क्रॉस-डोमेन परिदृश्य में सफल दृष्टिकोण गहरे तंत्रिका नेटवर्क या मॉडल पर आधारित होते हैं जो गहरी और उथली विशेषताओं को जोड़ते हैं। सफलता के लिए मानदंड मूल्यांकन की किसी भी विधि को वैधता, निष्पक्षता और विश्वसनीयता के आधार पर आंका जाना चाहिए। एक उपकरण वैध है यदि यह वास्तव में उस विशेषता को मापता है जिसे वह मापने का इरादा रखता है। यदि यह वास्तव में किसी एक वर्ग के लोगों को दंडित या विशेषाधिकार नहीं देता है तो यह उचित है। यह विश्वसनीय है यदि इसका परिणाम दोहराया जा सकता है, तब भी जब अप्रासंगिक बाहरी कारकों को बदल दिया जाता है। कंप्यूटर के चित्र में प्रवेश करने से पहले, उच्च-दांव वाले निबंधों को आम तौर पर दो प्रशिक्षित मानव मूल्यांकनकर्ताओं द्वारा अंक दिए जाते थे। यदि अंक एक से अधिक अंकों से भिन्न होते हैं, तो एक अधिक अनुभवी तीसरा रेटर असहमति का निपटारा करेगा। इस प्रणाली में, विश्वसनीयता को मापने का एक आसान तरीका हैः अंतर-रेटर समझौते द्वारा। यदि मूल्यांकनकर्ता एक बिंदु के भीतर लगातार सहमत नहीं होते हैं, तो उनके प्रशिक्षण में गलती हो सकती है। यदि एक रेटर लगातार इस बात से असहमत है कि अन्य रेटर एक ही निबंध को कैसे देखते हैं, तो उस रेटर को शायद अतिरिक्त प्रशिक्षण की आवश्यकता होती है। अंतर-क्षेत्रीय समझौते को मापने के लिए विभिन्न आंकड़ों का प्रस्ताव किया गया है। इनमें प्रतिशत समझौता, स्कॉट का π, कोहेन का κ, क्रिपेंडॉर्फ का α, पियर्सन का सहसंबंध गुणांक r, स्पीयरमैन का श्रेणी सहसंबंध गुणांक ρ और लिन का समन्वय सहसंबंध गुणांक शामिल हैं। प्रतिशत समझौता एक सरल आँकड़ा है जो 1 से n तक के अंकों के साथ ग्रेडिंग स्केल पर लागू होता है, जहाँ आमतौर पर 4 ≤ n ≤ 6 होता है। इसे तीन अंकों के रूप में बताया गया है, प्रत्येक अंक प्राप्त किए गए निबंधों की कुल संख्या का एक प्रतिशत हैः सटीक समझौता (दोनों मूल्यांकनकर्ताओं ने निबंध को एक ही अंक दिया), आसन्न समझौता (मूल्यांकनकर्ताओं में अधिक से अधिक एक बिंदु से अंतर; इसमें सटीक समझौता शामिल है), और अत्यधिक असहमति (मूल्यांकनकर्ताओं में दो से अधिक अंकों का अंतर)। विशेषज्ञ मानव ग्रेडरों को सभी निबंधों के 53 प्रतिशत से 81 प्रतिशत पर सटीक सहमति प्राप्त करने के लिए पाया गया, और 97 प्रतिशत से 100% पर आसन्न सहमति। कंप्यूटर के प्रदर्शन को मापने के लिए अब अंतर-रेटर समझौते को लागू किया जा सकता है। दो मानव मूल्यांकनकर्ताओं और एक एईएस कार्यक्रम को निबंधों का एक सेट दिया जाता है। यदि कंप्यूटर द्वारा निर्धारित अंक मानव मूल्यांकनकर्ताओं में से किसी एक से सहमत हैं और साथ ही मूल्यांकनकर्ता एक दूसरे से सहमत हैं, तो एईएस कार्यक्रम को विश्वसनीय माना जाता है। वैकल्पिक रूप से, प्रत्येक निबंध को दो मानव मूल्यांकनकर्ताओं के अंकों का औसत लेकर "सही अंक" दिया जाता है, और दोनों मनुष्यों और कंप्यूटर की तुलना सही अंक के साथ उनके समझौते के आधार पर की जाती है। कुछ शोधकर्ताओं ने बताया है कि उनकी एईएस प्रणाली वास्तव में एक इंसान से बेहतर कर सकती है। पेज ने 1994 में पी. ई. जी. के लिए यह दावा किया था। स्कॉट इलियट ने 2003 में कहा कि इंटेलीमेट्रिक ने आम तौर पर मानव स्कोरर से बेहतर प्रदर्शन किया। हालाँकि, एईएस मशीनें किसी भी प्रकार के जटिल लेखन परीक्षण के लिए मानव पाठकों की तुलना में कम विश्वसनीय प्रतीत होती हैं। वर्तमान व्यवहार में, जी. एम. ए. टी. जैसे उच्च-दांव मूल्यांकन हमेशा कम से कम एक व्यक्ति द्वारा प्राप्त किए जाते हैं। एईएस का उपयोग दूसरे रेटर के स्थान पर किया जाता है। एक मानव रेटर एक से अधिक बिंदुओं की किसी भी असहमति को हल करता है। विभिन्न आधारों पर ए. ई. एस. की आलोचना की गई है। यांग एट अल। "प्रतिक्रियाओं की सतह की विशेषताओं पर अत्यधिक निर्भरता, प्रतिक्रियाओं की सामग्री और रचनात्मकता के प्रति असंवेदनशीलता, और नए प्रकार की धोखाधड़ी और परीक्षण-लेने की रणनीतियों के प्रति भेद्यता" का उल्लेख करें। कई आलोचकों को चिंता है कि छात्रों की प्रेरणा कम हो जाएगी यदि वे जानते हैं कि कोई भी व्यक्ति उनके लेखन को नहीं पढ़ेगा। सबसे अधिक बताने वाली आलोचनाओं में जानबूझकर घटिया निबंधों को उच्च अंक दिए जाने की रिपोर्टें हैं। HumanReaders.Org याचिका 12 मार्च 2013 को, HumanReaders.Org ने एक ऑनलाइन याचिका शुरू की, "उच्च-दांव मूल्यांकन में छात्र निबंधों के मशीन स्कोरिंग के खिलाफ पेशेवर"। हफ्तों के भीतर, याचिका को नोम चॉम्स्की सहित हजारों हस्ताक्षर प्राप्त हुए, और द न्यूयॉर्क टाइम्स सहित कई समाचार पत्रों और कई शिक्षा और प्रौद्योगिकी ब्लॉगों पर इसका हवाला दिया गया। याचिका में उच्च-दांव परीक्षण के लिए एईएस के उपयोग को "तुच्छ", "कम करने वाला", "गलत", "निदानहीन", "अनुचित" और "गुप्त" बताया गया है। एईएस पर शोध के एक विस्तृत सारांश में, याचिका साइट नोट करती है, "शोध निष्कर्ष बताते हैं कि कोई भी-छात्र, माता-पिता, शिक्षक, नियोक्ता, प्रशासक, विधायक-निबंधों के मशीन स्कोरिंग पर भरोसा नहीं कर सकते हैं। और वह मशीन स्कोरिंग मापन नहीं करता है, और इसलिए लेखन के प्रामाणिक कार्यों को बढ़ावा नहीं देता है।" याचिका विशेष रूप से उच्च-दांव परीक्षण के लिए एईएस के उपयोग को संबोधित करती है और अन्य संभावित उपयोगों के बारे में कुछ नहीं कहती है। सॉफ्टवेयर स्वचालित निबंध स्कोरिंग के लिए अधिकांश संसाधन स्वामित्व वाले हैं। ई-रेटर-शैक्षिक परीक्षण सेवा इंटेलीमेट्रिक द्वारा प्रकाशित-वेंटेज लर्निंग प्रोजेक्ट एसे ग्रेड द्वारा-मापन, इंक द्वारा। संदर्भ कम्प्यूटेशनल भाषाविज्ञान शैक्षिक मूल्यांकन विधियाँ प्राकृतिक भाषा प्रसंस्करण सांख्यिकीय वर्गीकरण निबंध प्राकृतिक भाषा प्रसंस्करण के कार्य