Automated essay scoring
સ્વચાલિત નિબંધ સ્કોરિંગ (એઇએસ) એ શૈક્ષણિક સેટિંગમાં લખાયેલા નિબંધોને ગ્રેડ સોંપવા માટે વિશિષ્ટ કમ્પ્યુટર પ્રોગ્રામનો ઉપયોગ છે. તે શૈક્ષણિક મૂલ્યાંકનનું એક સ્વરૂપ છે અને કુદરતી ભાષા પ્રક્રિયાનો ઉપયોગ છે. તેનો ઉદ્દેશ લખાણના ઘટકોના મોટા સમૂહને નાની સંખ્યામાં અલગ શ્રેણીઓમાં વર્ગીકૃત કરવાનો છે, જે સંભવિત શ્રેણીઓને અનુરૂપ છે, ઉદાહરણ તરીકે, સંખ્યા 1 થી 6. તેથી, તેને આંકડાકીય વર્ગીકરણની સમસ્યા ગણી શકાય. એઇએસમાં રસ વધારવામાં કેટલાંક પરિબળોએ ફાળો આપ્યો છે. તેમાં ખર્ચ, જવાબદારી, ધોરણો અને ટેકનોલોજીનો સમાવેશ થાય છે. શિક્ષણના વધતા ખર્ચને કારણે ધોરણો લાદીને પરિણામો માટે શિક્ષણ પ્રણાલીને જવાબદાર ઠેરવવાનું દબાણ વધ્યું છે. માહિતી ટેકનોલોજીની પ્રગતિ ઓછા ખર્ચે શૈક્ષણિક સિદ્ધિને માપવાનું વચન આપે છે. શિક્ષણમાં ઉચ્ચ દાવાના પરીક્ષણ માટે એઇએસના ઉપયોગથી નોંધપાત્ર પ્રતિક્રિયા પેદા થઈ છે, વિરોધીઓ સંશોધન તરફ ધ્યાન દોરે છે કે કમ્પ્યુટર્સ હજુ સુધી લેખનને સચોટ રીતે ગ્રેડ કરી શકતા નથી અને એવી દલીલ કરે છે કે આવા હેતુઓ માટે તેનો ઉપયોગ શિક્ષણ લેખનને ઘટાડવાની રીતોમાં પ્રોત્સાહન આપે છે (એટલે કે. પરીક્ષા સુધી શિક્ષણ). ઇતિહાસ એઇએસના મોટાભાગના ઐતિહાસિક સારાંશો આ ક્ષેત્રની ઉત્પત્તિ એલિસ બેટન પેજના કાર્યમાં શોધી કાઢે છે. 1966માં તેમણે કોમ્પ્યુટર દ્વારા નિબંધો મેળવવાની શક્યતા માટે દલીલ કરી હતી અને 1968માં તેમણે પ્રોજેક્ટ એસે ગ્રેડ (પીઇજી) નામના કાર્યક્રમ સાથે તેમનું સફળ કાર્ય પ્રકાશિત કર્યું હતું. તે સમયની તકનીકનો ઉપયોગ કરીને, કોમ્પ્યુટરાઈઝ્ડ નિબંધ સ્કોરિંગ ખર્ચ-અસરકારક ન હોત, તેથી પેજે લગભગ બે દાયકા સુધી તેમના પ્રયત્નોને ઘટાડ્યા. આખરે, પેજે PEG ને મેઝરમેન્ટ ઇન્કૉર્પોરેટેડને વેચી દીધું 1990 સુધીમાં, ડેસ્કટોપ કમ્પ્યુટર્સ એટલા શક્તિશાળી અને એટલા વ્યાપક બની ગયા હતા કે AES એક વ્યવહારુ શક્યતા હતી. 1982 ની શરૂઆતમાં, રાઈટર્સ વર્કબેન્ચ નામનો યુનિક્સ પ્રોગ્રામ વિરામચિહ્નો, જોડણી અને વ્યાકરણની સલાહ આપવા સક્ષમ હતો. કેટલીક કંપનીઓ (ખાસ કરીને શૈક્ષણિક પરીક્ષણ સેવા) ના સહયોગથી, પેજે PEG ને અપડેટ કર્યું અને 1990 ના દાયકાની શરૂઆતમાં કેટલાક સફળ પરીક્ષણો ચલાવ્યા. પીટર ફોલ્ટ્ઝ અને થોમસ લેન્ડૌરએ ઇન્ટેલિજન્ટ એસે એસેસર (IEA) નામના સ્કોરિંગ એન્જિનનો ઉપયોગ કરીને એક પ્રણાલી વિકસાવી હતી. આઈ. ઈ. એ. નો ઉપયોગ સૌપ્રથમ 1997 માં તેમના સ્નાતક અભ્યાસક્રમો માટે નિબંધો મેળવવા માટે કરવામાં આવ્યો હતો. તે હવે પીઅર્સન એજ્યુકેશનલ ટેક્નોલોજીસનું ઉત્પાદન છે અને તેનો ઉપયોગ સંખ્યાબંધ વ્યાપારી ઉત્પાદનો અને રાજ્ય અને રાષ્ટ્રીય પરીક્ષાઓમાં ગુણ મેળવવા માટે થાય છે. ઇન્ટેલીમેટ્રિક એ વેન્ટેજ લર્નિંગનું એઇએસ એન્જિન છે. તેનો વિકાસ 1996માં શરૂ થયો હતો. તેનો સૌપ્રથમ વ્યાવસાયિક ઉપયોગ 1998માં નિબંધો બનાવવા માટે કરવામાં આવ્યો હતો. શૈક્ષણિક પરીક્ષણ સેવા "ઇ-રેટર", એક સ્વચાલિત નિબંધ સ્કોરિંગ પ્રોગ્રામ પ્રદાન કરે છે. તેનો પ્રથમ વખત ફેબ્રુઆરી 1999માં વ્યાવસાયિક રીતે ઉપયોગ કરવામાં આવ્યો હતો. તેના વિકાસમાં જિલ બર્સ્ટીન ટીમના નેતા હતા. ઇ. ટી. એસ. ની માપદંડ ઓનલાઇન લેખન મૂલ્યાંકન સેવા સ્કોર અને લક્ષિત પ્રતિસાદ બંને પ્રદાન કરવા માટે ઇ-રેટર એન્જિનનો ઉપયોગ કરે છે. લોરેન્સ રુડનેરે બાયેસિયન સ્કોરિંગ સાથે કેટલાક કામ કર્યા છે, અને બેટ્સી (બાયેસિયન એસે ટેસ્ટ સ્કોરિંગ સિસ્ટમ) નામની સિસ્ટમ વિકસાવી છે. તેમના કેટલાક પરિણામો પ્રિન્ટ અથવા ઓનલાઇન પ્રકાશિત કરવામાં આવ્યા છે, પરંતુ હજુ સુધી કોઈ વ્યાપારી પ્રણાલીમાં બેટ્સીનો સમાવેશ કરવામાં આવ્યો નથી. હોવર્ડ મિટ્ઝેલ અને સુ લોટરીજના નેતૃત્વ હેઠળ, પેસિફિક મેટ્રિક્સે એક કન્સ્ટ્રક્ટ રિસ્પોન્સ ઓટોમેટેડ સ્કોરિંગ એન્જિન, ક્રેઝ વિકસાવ્યું. હાલમાં રાજ્યના ઘણા શિક્ષણ વિભાગો દ્વારા અને યુ. એસ. ડિપાર્ટમેન્ટ ઓફ એજ્યુકેશન દ્વારા ભંડોળ પૂરું પાડવામાં આવેલ એન્હાન્સડ એસેસમેન્ટ ગ્રાન્ટમાં ઉપયોગમાં લેવાતી, પેસિફિક મેટ્રિક્સની તકનીકનો ઉપયોગ 2007 થી મોટા પાયે રચનાત્મક અને સારાંશ મૂલ્યાંકન વાતાવરણમાં કરવામાં આવે છે. મેઝરમેન્ટ ઇન્કે 2002માં પીઇજીના અધિકારો હસ્તગત કર્યા હતા અને તેનો વિકાસ કરવાનું ચાલુ રાખ્યું છે. 2012 માં, હ્યુવલેટ ફાઉન્ડેશને કેગલ પર ઓટોમેટેડ સ્ટુડન્ટ એસેસમેન્ટ પ્રાઇઝ (એએસએપી) નામની સ્પર્ધાને પ્રાયોજિત કરી હતી. 201 પડકાર સહભાગીઓએ એઇએસનો ઉપયોગ કરીને આગાહી કરવાનો પ્રયાસ કર્યો, જે માનવ મૂલ્યાંકનકર્તાઓ આઠ જુદા જુદા પ્રોમ્પ્ટ્સ પર લખાયેલા હજારો નિબંધોને સ્કોર આપશે. તેનો ઉદ્દેશ એ દર્શાવવાનો હતો કે AES માનવ રેટર્સ જેટલું જ વિશ્વસનીય હોઈ શકે છે, અથવા વધુ. આ સ્પર્ધામાં એએસએપી ડેટાના સબસેટ પર નવ એઇએસ વિક્રેતાઓ વચ્ચે એક અલગ પ્રદર્શનનું પણ આયોજન કરવામાં આવ્યું હતું. જોકે તપાસકર્તાઓએ અહેવાલ આપ્યો હતો કે સ્વચાલિત નિબંધ સ્કોરિંગ માનવ સ્કોરિંગ જેટલું જ વિશ્વસનીય હતું, આ દાવાને કોઈપણ આંકડાકીય પરીક્ષણો દ્વારા સમર્થન આપવામાં આવ્યું ન હતું કારણ કે કેટલાક વિક્રેતાઓએ તેમની ભાગીદારી માટે પૂર્વશરત તરીકે આવા કોઈ પરીક્ષણો કરવાની જરૂર નહોતી. વધુમાં, હ્યુવલેટ અભ્યાસે દર્શાવ્યું હતું કે એઇએસ માનવ મૂલ્યાંકનકર્તાઓ જેટલું જ વિશ્વસનીય હોઈ શકે છે તે દાવાનો ત્યારથી સખત વિરોધ કરવામાં આવ્યો છે, જેમાં શૈક્ષણિક પરીક્ષણ સેવામાં મૂલ્યાંકન નવીનીકરણમાં નોર્મન ઓ. ફ્રેડરિક્સન અધ્યક્ષ રેન્ડી ઇ. બેનેટનો સમાવેશ થાય છે. અભ્યાસની કેટલીક મુખ્ય ટીકાઓ એ રહી છે કે આઠમાંથી પાંચ ડેટાસેટ્સમાં નિબંધોને બદલે ફકરાઓનો સમાવેશ થતો હતો, આઠમાંથી ચાર ડેટા સેટ્સને માનવ વાચકો દ્વારા લેખન ક્ષમતાને બદલે માત્ર સામગ્રી માટે વર્ગીકૃત કરવામાં આવ્યા હતા, અને તે કે માનવ વાચકો અને એઇએસ મશીનોને "સાચા સ્કોર", બે વાચકોના સ્કોર્સની સરેરાશ સામે માપવાને બદલે, અભ્યાસમાં એક કૃત્રિમ રચનાનો ઉપયોગ કરવામાં આવ્યો હતો, "ઉકેલાયેલા સ્કોર", જે ચાર ડેટાસેટ્સમાં બે માનવ સ્કોર્સમાંથી ઉચ્ચનો સમાવેશ થતો હતો જો કોઈ અસંમતિ હોય. આ છેલ્લી પ્રથા, ખાસ કરીને, મશીનોને આ ડેટાસેટ્સ માટે રાઉન્ડ અપ કરવાની મંજૂરી આપીને અયોગ્ય લાભ આપ્યો. 1966 માં, પેજે ધારણા કરી હતી કે, ભવિષ્યમાં, કમ્પ્યુટર આધારિત ન્યાયાધીશ અન્ય માનવ ન્યાયાધીશોની તુલનામાં દરેક માનવ ન્યાયાધીશ સાથે વધુ સારી રીતે સહસંબંધિત હશે. સામાન્ય રીતે નિબંધ માર્કિંગ માટે આ અભિગમની લાગુ થવાની ટીકા કરવા છતાં, આ પૂર્વધારણાને બ્રિટિશ જી. સી. એસ. ઈ. પ્રણાલીની લાક્ષણિકતા જેવા ટૂંકા પ્રશ્નોના મફત લખાણ જવાબોને ચિહ્નિત કરવા માટે સમર્થન આપવામાં આવ્યું હતું. નિરીક્ષણ કરેલ શિક્ષણના પરિણામો દર્શાવે છે કે જ્યારે વિવિધ માનવ શિક્ષકો દ્વારા ગુણાંકન કરવામાં આવે ત્યારે સ્વચાલિત પ્રણાલીઓ સારી કામગીરી કરે છે. જવાબોની દેખરેખ વગરની ક્લસ્ટરિંગ દર્શાવે છે કે ઉત્તમ કાગળો અને નબળા કાગળો સારી રીતે વ્યાખ્યાયિત ક્લસ્ટરોની રચના કરે છે, અને આ ક્લસ્ટરો માટે સ્વચાલિત માર્કિંગ નિયમ સારી રીતે કામ કરે છે, જ્યારે કે માનવ શિક્ષકો દ્વારા ત્રીજા ક્લસ્ટર ('મિશ્ર') માટે આપવામાં આવતા ગુણ વિવાદાસ્પદ હોઈ શકે છે, અને 'મિશ્ર' ક્લસ્ટરમાંથી કાર્યોના કોઈપણ મૂલ્યાંકનની વિશ્વસનીયતા પર ઘણીવાર સવાલ ઉઠાવી શકાય છે (માનવ અને કમ્પ્યુટર આધારિત બંને). નિબંધની ગુણવત્તાના વિવિધ પરિમાણો તાજેતરના એક સર્વેક્ષણ અનુસાર, આધુનિક એઇએસ પ્રણાલીઓ વપરાશકર્તાઓને પ્રતિસાદ આપવા માટે નિબંધની ગુણવત્તાના વિવિધ પરિમાણો મેળવવાનો પ્રયાસ કરે છે. આ પરિમાણોમાં નીચેની વસ્તુઓનો સમાવેશ થાય છેઃ વ્યાકરણની સ્પષ્ટતાઃ નીચેના વ્યાકરણના નિયમોનો ઉપયોગઃ ઉપયોગ, શબ્દ ઉપયોગ મિકેનિક્સઃ જોડણી, વિરામચિહ્નો, કેપિટલાઇઝેશન શૈલી માટે નીચેના નિયમોઃ શબ્દ પસંદગી, વાક્ય માળખાની વિવિધતા સુસંગતતાઃ પ્રોમ્પ્ટ ઓર્ગેનાઇઝેશન માટે સામગ્રી કેટલી સુસંગત છેઃ નિબંધ કેટલો સારી રીતે સંરચિત છે વિકાસઃ ઉદાહરણો સાથે વિચારોનો વિકાસ સુસંગતતાઃ વિચારો વચ્ચે યોગ્ય સંક્રમણો થીસીસ સ્પષ્ટતાઃ થીસીસ સમજાવટની સ્પષ્ટતાઃ મુખ્ય દલીલની ખાતરી પ્રક્રિયા શરૂઆતથી, એઇએસ માટેની મૂળભૂત પ્રક્રિયા નિબંધોના તાલીમ સમૂહ સાથે શરૂ થવાની છે જે કાળજીપૂર્વક હાથથી સ્કોર કરવામાં આવ્યા છે. આ કાર્યક્રમ દરેક નિબંધના લખાણની સપાટીની લાક્ષણિકતાઓનું મૂલ્યાંકન કરે છે, જેમ કે શબ્દોની કુલ સંખ્યા, ગૌણ કલમોની સંખ્યા, અથવા મોટા અક્ષરો અને નાના અક્ષરોના ગુણોત્તર-એવી માત્રાઓ કે જેને કોઈપણ માનવીય સમજ વિના માપી શકાય છે. તે પછી તે એક ગાણિતિક મોડેલ બનાવે છે જે આ જથ્થાને નિબંધો પ્રાપ્ત કરેલા સ્કોર્સ સાથે સંબંધિત કરે છે. તે જ મોડેલ પછી નવા નિબંધોના ગુણની ગણતરી કરવા માટે લાગુ કરવામાં આવે છે. તાજેતરમાં, આવા એક ગાણિતિક મોડેલ આઇઝેક પર્સિંગ અને વિન્સેન્ટ એનજી દ્વારા બનાવવામાં આવ્યું હતું. જે માત્ર ઉપરોક્ત વિશેષતાઓ પરના નિબંધોનું મૂલ્યાંકન કરતું નથી, પરંતુ તેમની દલીલની શક્તિ પર પણ મૂલ્યાંકન કરે છે. તે નિબંધની વિવિધ વિશેષતાઓનું મૂલ્યાંકન કરે છે, જેમ કે લેખકના કરારનું સ્તર અને તેના કારણો, પ્રોમ્પ્ટના વિષયનું પાલન, દલીલના ઘટકોનું સ્થાન (મુખ્ય દાવો, દાવો, આધાર), દલીલોમાં ભૂલો, દલીલોમાં સુસંગતતા વિવિધ અન્ય વિશેષતાઓ વચ્ચે. ઉપર ઉલ્લેખિત અન્ય મોડેલોથી વિપરીત, આ મોડેલ નિબંધોનું વર્ગીકરણ કરતી વખતે માનવ અંતર્દૃષ્ટિની નકલ કરવામાં વધુ નજીક છે. ડીપ ન્યુરલ નેટવર્ક્સની વધતી જતી લોકપ્રિયતાને કારણે, સ્વચાલિત નિબંધ સ્કોરિંગ માટે ઊંડા શિક્ષણના અભિગમો અપનાવવામાં આવ્યા છે, જે સામાન્ય રીતે શ્રેષ્ઠ પરિણામો પ્રાપ્ત કરે છે, જે ઘણીવાર આંતર-માનવ કરારના સ્તરને વટાવી જાય છે. વિવિધ એઇએસ કાર્યક્રમો તેઓ કયા ચોક્કસ સપાટીના લક્ષણોને માપે છે, તાલીમ સમૂહમાં કેટલા નિબંધો જરૂરી છે અને સૌથી નોંધપાત્ર રીતે ગાણિતિક મોડેલિંગ તકનીકમાં અલગ પડે છે. પ્રારંભિક પ્રયાસોમાં રેખીય પ્રતિગમનનો ઉપયોગ કરવામાં આવ્યો હતો. આધુનિક પ્રણાલીઓ રેખીય રીગ્રેસન અથવા અન્ય મશીન લર્નિંગ તકનીકોનો ઉપયોગ ઘણીવાર અન્ય આંકડાકીય તકનીકો જેમ કે સુપ્ત સિમેન્ટીક વિશ્લેષણ અને બાયેસિયન અનુમાન સાથે સંયોજનમાં કરી શકે છે. મશીન લર્નિંગ મોડેલનો ઉપયોગ કરીને ક્રોસ-ડોમેન સેટિંગમાં સ્વચાલિત નિબંધ સ્કોરિંગ કાર્યનો પણ અભ્યાસ કરવામાં આવ્યો છે, જ્યાં મોડેલોને એક પ્રોમ્પ્ટ (વિષય) માટે લખાયેલા નિબંધો પર તાલીમ આપવામાં આવે છે અને બીજા પ્રોમ્પ્ટ માટે લખાયેલા નિબંધો પર પરીક્ષણ કરવામાં આવે છે. ક્રોસ-ડોમેન દૃશ્યમાં સફળ અભિગમો ઊંડા ન્યુરલ નેટવર્ક્સ અથવા મોડેલ્સ પર આધારિત છે જે ઊંડા અને છીછરા લક્ષણોને જોડે છે. સફળતા માટેના માપદંડ મૂલ્યાંકનની કોઈપણ પદ્ધતિનો નિર્ણય માન્યતા, નિષ્પક્ષતા અને વિશ્વસનીયતાના આધારે થવો જોઈએ. એક સાધન માન્ય છે જો તે ખરેખર તે લક્ષણને માપે છે જે તે માપવા માંગે છે. જો તે અસરકારક રીતે કોઈ એક વર્ગના લોકોને દંડ કે વિશેષાધિકાર ન આપે તો તે યોગ્ય છે. અપ્રસ્તુત બાહ્ય પરિબળોમાં ફેરફાર કરવામાં આવે ત્યારે પણ તેનું પરિણામ પુનરાવર્તિત થાય તો તે વિશ્વસનીય છે. કોમ્પ્યુટર ચિત્રમાં પ્રવેશે તે પહેલાં, ઉચ્ચ દાવાના નિબંધોને સામાન્ય રીતે બે પ્રશિક્ષિત માનવ મૂલ્યાંકનકારો દ્વારા ગુણ આપવામાં આવતા હતા. જો સ્કોર એક કરતાં વધુ પોઈન્ટથી અલગ હોય, તો વધુ અનુભવી ત્રીજો રેટર અસંમતિનું સમાધાન કરશે. આ પ્રણાલીમાં, વિશ્વસનીયતાને માપવાની એક સરળ રીત છેઃ આંતર-રેટર કરાર દ્વારા. જો રેટર્સ એક બિંદુની અંદર સતત સંમત ન થાય, તો તેમની તાલીમમાં ભૂલ હોઈ શકે છે. જો રેટર સતત અન્ય રેટર સમાન નિબંધોને કેવી રીતે જુએ છે તેની સાથે અસંમત હોય, તો તે રેટરને કદાચ વધારાની તાલીમની જરૂર છે. આંતર-પ્રાદેશિક સમજૂતીને માપવા માટે વિવિધ આંકડાઓની દરખાસ્ત કરવામાં આવી છે. તેમાં ટકાવારી કરાર, સ્કોટનો π, કોહેનનો κ, ક્રિપેનડોર્ફનો α, પિયર્સનનો સહસંબંધ ગુણાંક r, સ્પીયરમેનનો ક્રમ સહસંબંધ ગુણાંક ρ અને લિનનો સુસંગતતા સહસંબંધ ગુણાંક સામેલ છે. ટકા કરાર એ એક સરળ આંકડા છે જે 1 થી n સુધીના ગુણાંક સાથે ગ્રેડિંગ સ્કેલને લાગુ પડે છે, જ્યાં સામાન્ય રીતે 4 ≤ n ≤ 6 હોય છે. તે ત્રણ આંકડાઓ તરીકે નોંધવામાં આવે છે, દરેક અંક મેળવેલા નિબંધોની કુલ સંખ્યાના ટકાવારીઃ ચોક્કસ સમજૂતી (બે મૂલ્યાંકનકારોએ નિબંધને સમાન અંક આપ્યો હતો), સંલગ્ન સમજૂતી (મૂલ્યાંકનકારોમાં મહત્તમ એક બિંદુથી તફાવત હતો; તેમાં ચોક્કસ સમજૂતીનો સમાવેશ થાય છે), અને ભારે અસંમતિ (મૂલ્યાંકનકારોમાં બેથી વધુ મુદ્દાઓ દ્વારા તફાવત હતો). નિષ્ણાત માનવ ગ્રેડરોએ તમામ નિબંધોના 53 ટકાથી 81 ટકા પર ચોક્કસ સમજૂતી પ્રાપ્ત કરી હોવાનું જાણવા મળ્યું હતું, અને 97 ટકાથી 100% પર સંલગ્ન સમજૂતી પ્રાપ્ત કરી હતી. કમ્પ્યુટરની કામગીરીને માપવા માટે હવે આંતર-રેટર કરાર લાગુ કરી શકાય છે. નિબંધોનો સમૂહ બે માનવ મૂલ્યાંકનકર્તાઓ અને એક એઇએસ કાર્યક્રમને આપવામાં આવે છે. જો કોમ્પ્યુટર દ્વારા સોંપાયેલ સ્કોર્સ માનવ રેટર્સમાંના એક સાથે સંમત થાય છે તેમજ રેટર્સ એકબીજા સાથે સંમત થાય છે, તો એઇએસ પ્રોગ્રામને વિશ્વસનીય માનવામાં આવે છે. વૈકલ્પિક રીતે, દરેક નિબંધને બે માનવ મૂલ્યાંકનકારોના ગુણની સરેરાશ લઈને "સાચો ગુણ" આપવામાં આવે છે, અને બે મનુષ્યો અને કમ્પ્યુટરની સરખામણી સાચા ગુણ સાથે તેમના કરારના આધારે કરવામાં આવે છે. કેટલાક સંશોધકોએ નોંધ્યું છે કે તેમની એઇએસ પ્રણાલીઓ હકીકતમાં માનવ કરતાં વધુ સારી રીતે કામ કરી શકે છે. પેજે 1994માં પીઇજી માટે આ દાવો કર્યો હતો. સ્કોટ ઇલિયટે 2003માં કહ્યું હતું કે ઇન્ટેલીમેટ્રિક સામાન્ય રીતે માનવ સ્કોરરોને પાછળ છોડી દે છે. જોકે, કોઈ પણ પ્રકારની જટિલ લેખન કસોટી માટે એઇએસ મશીનો માનવ વાચકો કરતાં ઓછા વિશ્વસનીય હોવાનું જણાય છે. વર્તમાન વ્યવહારમાં, જી. એમ. એ. ટી. જેવા ઉચ્ચ દાવાના મૂલ્યાંકનો હંમેશા ઓછામાં ઓછા એક માણસ દ્વારા મેળવવામાં આવે છે. બીજા રેટરની જગ્યાએ એઇએસનો ઉપયોગ થાય છે. માનવ રેટર એકથી વધુ મુદ્દાઓની કોઈપણ અસંમતિનું નિરાકરણ કરે છે. વિવિધ આધારો પર એઇએસની ટીકાની ટીકા કરવામાં આવી છે. યાંગ એટ અલ. "પ્રતિક્રિયાઓની સપાટીની લાક્ષણિકતાઓ પર વધુ પડતી નિર્ભરતા, પ્રતિક્રિયાઓની સામગ્રી અને સર્જનાત્મકતા પ્રત્યેની અસંવેદનશીલતા અને નવી પ્રકારની છેતરપિંડી અને પરીક્ષણ-લેવાની વ્યૂહરચનાઓ પ્રત્યેની નબળાઈ" નો ઉલ્લેખ કરો. કેટલાક ટીકાકારોને ચિંતા છે કે જો તેઓ જાણતા હોય કે કોઈ માણસ તેમનું લેખન વાંચશે નહીં તો વિદ્યાર્થીઓની પ્રેરણા ઓછી થઈ જશે. સૌથી વધુ કહેવાતી વિવેચકોમાં ઇરાદાપૂર્વકના મૂર્ખતાપૂર્ણ નિબંધોને ઉચ્ચ ગુણ આપવામાં આવ્યા હોવાના અહેવાલો છે. HumanReaders.Org પિટિશન 12 માર્ચ 2013ના રોજ, HumanReaders.Org એ ઓનલાઇન પિટિશન શરૂ કરી, "પ્રોફેશનલ્સ અગેન્સ્ટ મશીન સ્કોરિંગ ઓફ સ્ટુડન્ટ એસેઝ ઇન હાઈ-સ્ટેક એસેસમેન્ટ". અઠવાડિયાઓની અંદર, અરજીને નોઆમ ચોમ્સ્કી સહિત હજારો સહીઓ મળી, અને ધ ન્યૂ યોર્ક ટાઇમ્સ સહિત સંખ્યાબંધ અખબારોમાં અને સંખ્યાબંધ શિક્ષણ અને તકનીકી બ્લોગ્સ પર ટાંકવામાં આવી હતી. અરજીમાં ઉચ્ચ દાવાના પરીક્ષણ માટે એઇએસના ઉપયોગને "તુચ્છ", "ઘટાડનાર", "અચોક્કસ", "નિદાન ન કરનાર", "અયોગ્ય" અને "ગુપ્ત" તરીકે વર્ણવવામાં આવ્યો છે. એઇએસ પરના સંશોધનના વિગતવાર સારાંશમાં, પિટિશન સાઇટ નોંધે છે, "સંશોધનની શોધ દર્શાવે છે કે કોઈ પણ-વિદ્યાર્થીઓ, માતાપિતા, શિક્ષકો, નોકરીદાતાઓ, વહીવટકર્તાઓ, ધારાસભ્યો-નિબંધોના મશીન સ્કોરિંગ પર આધાર રાખી શકે નહીં. અને તે મશીન સ્કોરિંગ માપન કરતું નથી, અને તેથી લેખનની અધિકૃત ક્રિયાઓને પ્રોત્સાહન આપતું નથી". આ અરજી ખાસ કરીને ઉચ્ચ દાવાના પરીક્ષણ માટે એઇએસના ઉપયોગને સંબોધિત કરે છે અને અન્ય સંભવિત ઉપયોગો વિશે કંઇ કહેતી નથી. સોફ્ટવેર સ્વચાલિત નિબંધ સ્કોરિંગ માટેના મોટાભાગના સંસાધનો માલિકીના છે. ઇ-રેટર-શૈક્ષણિક પરીક્ષણ સેવા ઇન્ટેલિમેટ્રિક દ્વારા પ્રકાશિત-વેન્ટેજ લર્નિંગ પ્રોજેક્ટ નિબંધ ગ્રેડ દ્વારા-માપન, ઇન્ક દ્વારા. સંદર્ભો કોમ્પ્યુટેશનલ ભાષાશાસ્ત્ર શૈક્ષણિક મૂલ્યાંકન પદ્ધતિઓ કુદરતી ભાષા પ્રક્રિયા આંકડાકીય વર્ગીકરણ નિબંધો કુદરતી ભાષા પ્રક્રિયાના કાર્યો