Automated essay scoring
தானியங்கி கட்டுரை மதிப்பெண் (AES) என்பது ஒரு கல்வி அமைப்பில் எழுதப்பட்ட கட்டுரைகளுக்கு தரங்களை ஒதுக்க சிறப்பு கணினி நிரல்களைப் பயன்படுத்துவதாகும். இது கல்வி மதிப்பீட்டின் ஒரு வடிவம் மற்றும் இயற்கையான மொழி செயலாக்கத்தின் பயன்பாடு ஆகும். இதன் நோக்கம் ஒரு பெரிய உரை நிறுவனங்களை ஒரு சிறிய எண்ணிக்கையிலான தனித்துவமான பிரிவுகளாக வகைப்படுத்துவதாகும், இது சாத்தியமான தரங்களுடன் தொடர்புடையது, எடுத்துக்காட்டாக, 1 முதல் 6 வரையிலான எண்கள். எனவே, இது புள்ளிவிவர வகைப்பாட்டின் ஒரு சிக்கலாகக் கருதப்படலாம். AES மீது ஆர்வம் அதிகரிக்க பல காரணிகள் பங்களித்துள்ளன. அவற்றில் செலவு, பொறுப்புக்கூறல், தரநிலைகள் மற்றும் தொழில்நுட்பம் ஆகியவை அடங்கும். உயரும் கல்விச் செலவுகள் தரங்களை திணிப்பதன் மூலம் முடிவுகளுக்கு கல்வி முறையை பொறுப்பேற்க வைக்கும் அழுத்தத்திற்கு வழிவகுத்துள்ளன. தகவல் தொழில்நுட்பத்தின் முன்னேற்றம் குறைந்த செலவில் கல்வி சாதனையை அளவிடுவதாக உறுதியளிக்கிறது. கல்வியில் உயர் பங்குகள் கொண்ட சோதனைக்கு AES ஐப் பயன்படுத்துவது குறிப்பிடத்தக்க பின்னடைவை ஏற்படுத்தியுள்ளது, எதிர்ப்பாளர்கள் கணினிகளால் இன்னும் எழுத்தை துல்லியமாக தரப்படுத்த முடியாது என்ற ஆராய்ச்சியை சுட்டிக்காட்டி, அத்தகைய நோக்கங்களுக்காக அவற்றின் பயன்பாடு கற்பித்தல் எழுத்தை குறைக்கும் வழிகளில் ஊக்குவிக்கிறது என்று வாதிடுகின்றனர் (அதாவது. சோதனைக்கு கற்பித்தல்). AES இன் பெரும்பாலான வரலாற்றுச் சுருக்கங்கள் இந்தத் துறையின் தோற்றத்தை எல்லிஸ் பேட்டன் பேஜின் படைப்புகளிலிருந்து கண்டறிகின்றன. 1966 ஆம் ஆண்டில், அவர் கணினி மூலம் கட்டுரைகளை மதிப்பெண் பெறுவதற்கான சாத்தியக்கூறுகள் குறித்து வாதிட்டார், மேலும் 1968 ஆம் ஆண்டில் அவர் ப்ராஜெக்ட் எஸ்ஸே கிரேடு (பி. இ. ஜி) என்ற திட்டத்துடன் தனது வெற்றிகரமான படைப்பை வெளியிட்டார். அந்தக் காலத்தின் தொழில்நுட்பத்தைப் பயன்படுத்தி, கணினிமயமாக்கப்பட்ட கட்டுரை மதிப்பெண் செலவு குறைந்ததாக இருந்திருக்காது, எனவே பேஜ் சுமார் இரண்டு தசாப்தங்களாக தனது முயற்சிகளைக் குறைத்தார். இறுதியில், பேஜ் PEG ஐ மெஷர்மென்ட் இன்கார்பரேட்டட் நிறுவனத்திற்கு விற்றது 1990 வாக்கில், டெஸ்க்டாப் கணினிகள் மிகவும் சக்திவாய்ந்ததாகவும் பரவலாகவும் மாறின, இதனால் AES ஒரு நடைமுறை சாத்தியமாக இருந்தது. 1982 ஆம் ஆண்டிலேயே, ரைட்டர்ஸ் வொர்க்பெஞ்ச் என்ற யுனிக்ஸ் திட்டத்தால் நிறுத்தற்குறி, எழுத்துப்பிழை மற்றும் இலக்கண ஆலோசனைகளை வழங்க முடிந்தது. பல நிறுவனங்களுடன் (குறிப்பாக கல்வி சோதனை சேவை) இணைந்து, பேஜ் PEG ஐ புதுப்பித்தது மற்றும் 1990 களின் முற்பகுதியில் சில வெற்றிகரமான சோதனைகளை நடத்தியது. பீட்டர் ஃபோல்ட்ஸ் மற்றும் தாமஸ் லாண்டாவர் ஆகியோர் இன்டெலிஜென்ட் எஸ்ஸே அஸ்ஸெஸர் (ஐ. இ. ஏ) எனப்படும் ஸ்கோரிங் என்ஜினைப் பயன்படுத்தி ஒரு அமைப்பை உருவாக்கினர். 1997 ஆம் ஆண்டில் அவர்களின் இளங்கலை படிப்புகளுக்கு கட்டுரைகளை மதிப்பெண் பெற ஐ. இ. ஏ முதன்முதலில் பயன்படுத்தப்பட்டது. இது இப்போது பியர்சன் எஜுகேஷனல் டெக்னாலஜிஸின் ஒரு தயாரிப்பு மற்றும் பல வணிக தயாரிப்புகள் மற்றும் மாநில மற்றும் தேசிய தேர்வுகளில் மதிப்பெண் பெற பயன்படுத்தப்படுகிறது. இன்டெல்லிமெட்ரிக் என்பது வன்டேஜ் கற்றலின் ஏ. இ. எஸ் இயந்திரமாகும். அதன் வளர்ச்சி 1996 இல் தொடங்கியது. இது முதன்முதலில் 1998 ஆம் ஆண்டில் கட்டுரைகளை மதிப்பெண் பெற வணிக ரீதியாக பயன்படுத்தப்பட்டது. கல்வி சோதனை சேவை "இ-ரேட்டர்" என்ற தானியங்கி கட்டுரை மதிப்பெண் திட்டத்தை வழங்குகிறது. இது முதன்முதலில் பிப்ரவரி 1999 இல் வணிக ரீதியாக பயன்படுத்தப்பட்டது. ஜில் பர்ஸ்டீன் அதன் வளர்ச்சியில் அணியின் தலைவராக இருந்தார். ETS இன் அளவுகோல் ஆன்லைன் எழுத்து மதிப்பீட்டு சேவை மதிப்பெண்கள் மற்றும் இலக்கு பின்னூட்டம் ஆகிய இரண்டையும் வழங்க மின்-ரேட்டர் இயந்திரத்தைப் பயன்படுத்துகிறது. லாரன்ஸ் ருட்னர் பேய்சியன் மதிப்பெண்ணுடன் சில வேலைகளைச் செய்துள்ளார், மேலும் பெட்ஸி (பேய்சியன் எஸ்ஸே டெஸ்ட் ஸ்கோரிங் சிஸ்டம்) என்ற அமைப்பை உருவாக்கியுள்ளார். அவரது சில முடிவுகள் அச்சு அல்லது ஆன்லைனில் வெளியிடப்பட்டுள்ளன, ஆனால் எந்த வணிக அமைப்பும் இன்னும் பெட்ஸை இணைக்கவில்லை. ஹோவர்ட் மிட்செல் மற்றும் சூ லோட்ரிட்ஜ் ஆகியோரின் தலைமையின் கீழ், பசிபிக் மெட்ரிக்ஸ் ஒரு கட்டமைக்கப்பட்ட மறுமொழி தானியங்கி ஸ்கோரிங் இயந்திரமான CRASE ஐ உருவாக்கியது. தற்போது பல மாநில கல்வித் துறைகள் மற்றும் அமெரிக்க கல்வித் துறையின் நிதியுதவியுடன் மேம்படுத்தப்பட்ட மதிப்பீட்டு மானியத்தில் பயன்படுத்தப்படுகிறது, பசிபிக் அளவீடுகளின் தொழில்நுட்பம் 2007 முதல் பெரிய அளவிலான உருவாக்கம் மற்றும் சுருக்க மதிப்பீட்டு சூழல்களில் பயன்படுத்தப்படுகிறது. மெஷர்மென்ட் இன்க் 2002 ஆம் ஆண்டில் PEG இன் உரிமைகளைப் பெற்றது, மேலும் அதை தொடர்ந்து உருவாக்கி வருகிறது. 2012 ஆம் ஆண்டில், ஹெவ்லெட் அறக்கட்டளை தானியங்கி மாணவர் மதிப்பீட்டு பரிசு (ஏ. எஸ். ஏ. பி) என்று அழைக்கப்படும் காக்கில் ஒரு போட்டிக்கு நிதியுதவி செய்தது. 201 சவால் பங்கேற்பாளர்கள் எட்டு வெவ்வேறு அறிவுறுத்தல்களுக்கு எழுதப்பட்ட ஆயிரக்கணக்கான கட்டுரைகளுக்கு மனித மதிப்பீட்டாளர்கள் கொடுக்கும் மதிப்பெண்களை AES ஐப் பயன்படுத்தி கணிக்க முயன்றனர். மனித மதிப்பீட்டாளர்களைப் போலவே AES நம்பகமானதாக இருக்க முடியும் என்பதை நிரூபிப்பதே இதன் நோக்கமாக இருந்தது. ஏ. எஸ். ஏ. பி தரவுகளின் துணைக்குழுவில் ஒன்பது ஏ. இ. எஸ் விற்பனையாளர்களிடையே ஒரு தனி ஆர்ப்பாட்டத்தையும் இந்த போட்டி நடத்தியது. தானியங்கி கட்டுரை மதிப்பெண் மனித மதிப்பெண்ணைப் போலவே நம்பகமானது என்று புலனாய்வாளர்கள் தெரிவித்திருந்தாலும், இந்த கூற்று எந்த புள்ளிவிவர சோதனைகளாலும் உறுதிப்படுத்தப்படவில்லை, ஏனெனில் சில விற்பனையாளர்கள் தங்கள் பங்கேற்புக்கு ஒரு முன்நிபந்தனையாக அத்தகைய சோதனைகள் எதுவும் செய்யப்படக்கூடாது என்று கோரினர். மேலும், மனித மதிப்பீட்டாளர்களைப் போலவே AES நம்பகமானதாக இருக்க முடியும் என்பதை ஹெவ்லெட் ஆய்வு நிரூபித்தது என்ற கூற்று பின்னர் கடுமையாக எதிர்த்தது, இதில் கல்வி சோதனை சேவையில் மதிப்பீட்டு கண்டுபிடிப்பில் நார்மன் ஓ. ஃப்ரெடெரிக்சன் தலைவர் ராண்டி ஈ. பென்னட் உட்பட. எட்டு தரவுத்தொகுப்புகளில் ஐந்து கட்டுரைகளை விட பத்திகளைக் கொண்டிருந்தன, எட்டு தரவுத் தொகுப்புகளில் நான்கு மனித வாசகர்களால் எழுதும் திறனைக் காட்டிலும் உள்ளடக்கத்திற்காக மட்டுமே தரப்படுத்தப்பட்டன, மேலும் மனித வாசகர்கள் மற்றும் AES இயந்திரங்களை "உண்மையான மதிப்பெண்", இரண்டு வாசகர்களின் மதிப்பெண்களின் சராசரிக்கு எதிராக அளவிடுவதற்குப் பதிலாக, ஆய்வு ஒரு செயற்கை கட்டமைப்பைப் பயன்படுத்தியது, "தீர்க்கப்பட்ட மதிப்பெண்", இது நான்கு தரவுத்தொகுப்புகளில் ஒரு கருத்து வேறுபாடு இருந்தால் இரண்டு மனித மதிப்பெண்களில் அதிகமாக இருந்தது. இந்த கடைசி நடைமுறை, குறிப்பாக, இந்த தரவுத்தொகுப்புகளைச் சுற்றி வளைக்க அனுமதிப்பதன் மூலம் இயந்திரங்களுக்கு நியாயமற்ற நன்மையைக் கொடுத்தது. 1966 ஆம் ஆண்டில், பேஜ், எதிர்காலத்தில், கணினி அடிப்படையிலான நீதிபதி மற்ற மனித நீதிபதிகளை விட ஒவ்வொரு மனித நீதிபதியுடனும் நன்கு தொடர்புபடுத்தப்படுவார் என்று கருதுகிறார். பொதுவாக கட்டுரை குறிப்புக்கு இந்த அணுகுமுறையின் பொருந்தக்கூடிய தன்மையை விமர்சித்த போதிலும், பிரிட்டிஷ் ஜி. சி. எஸ். இ முறையின் வழக்கமான குறுகிய கேள்விகளுக்கு இலவச உரை பதில்களைக் குறிக்க இந்த கருதுகோள் ஆதரிக்கப்பட்டது. மேற்பார்வையிடப்பட்ட கற்றல் முடிவுகள் வெவ்வேறு மனித ஆசிரியர்களால் குறிக்கும் போது தானியங்கி அமைப்புகள் நன்றாக செயல்படுகின்றன என்பதை நிரூபிக்கின்றன. மேற்பார்வையிடப்படாத பதில்களின் தொகுப்பு, சிறந்த தாள்கள் மற்றும் பலவீனமான தாள்கள் நன்கு வரையறுக்கப்பட்ட கிளஸ்டர்களை உருவாக்கியது என்பதைக் காட்டியது, மேலும் இந்த கிளஸ்டர்களுக்கான தானியங்கி மதிப்பெண் விதி நன்றாக வேலை செய்தது, அதேசமயம் மூன்றாவது கிளஸ்டருக்கு ('கலப்பு') மனித ஆசிரியர்களால் வழங்கப்படும் மதிப்பெண்கள் சர்ச்சைக்குரியதாக இருக்கலாம், மேலும் 'கலப்பு' கிளஸ்டரில் இருந்து படைப்புகளின் எந்தவொரு மதிப்பீட்டின் நம்பகத்தன்மையும் பெரும்பாலும் கேள்விக்குள்ளாக்கப்படலாம் (மனித மற்றும் கணினி அடிப்படையிலானவை). கட்டுரையின் தரத்தின் வெவ்வேறு பரிமாணங்கள் சமீபத்திய கணக்கெடுப்பின்படி, நவீன AES அமைப்புகள் பயனர்களுக்கு கருத்துக்களை வழங்குவதற்காக ஒரு கட்டுரையின் தரத்தின் வெவ்வேறு பரிமாணங்களை மதிப்பெண் பெற முயற்சிக்கின்றன. இந்த பரிமாணங்களில் பின்வரும் உருப்படிகள் அடங்கும்ஃ இலக்கணத் தன்மைஃ பின்வரும் இலக்கண விதிகள் பயன்பாடுஃ முன்மொழிவுகளைப் பயன்படுத்துதல், சொல் பயன்பாட்டு இயக்கவியல்ஃ எழுத்துப்பிழை, நிறுத்தற்குறிப்பு, மூலதனமாக்கல் பாணிக்கான பின்வரும் விதிகள்ஃ சொல் தேர்வு, வாக்கியக் கட்டமைப்பு பல்வேறு தொடர்புடையதுஃ உடனடி அமைப்புக்கு உள்ளடக்கம் எவ்வளவு பொருத்தமானதுஃ கட்டுரை எவ்வளவு நன்கு கட்டமைக்கப்பட்டுள்ளது வளர்ச்சிஃ எடுத்துக்காட்டுகளுடன் கருத்துக்களின் வளர்ச்சி ஒத்திசைவுஃ மாற்றம் சொற்றொடர்களின் சரியான பயன்பாடு ஒத்திசைவுஃ கருத்துக்களுக்கு இடையில் பொருத்தமான மாற்றங்கள் பகுப்பாய்வு தெளிவுஃ ஆய்வறிக்கையின் தெளிவான தன்மைஃ முக்கிய வாத செயல்முறையின் நம்பகத்தன்மை ஆரம்பத்தில் இருந்தே, AES க்கான அடிப்படை செயல்முறை கவனமாக கையால் மதிப்பெண் பெற்ற கட்டுரைகளின் பயிற்சி தொகுப்புடன் தொடங்குவதாகும். ஒவ்வொரு கட்டுரையின் உரையின் மேற்பரப்பு அம்சங்களை நிரல் மதிப்பீடு செய்கிறது, அதாவது மொத்த சொற்களின் எண்ணிக்கை, கீழ்நிலை உட்பிரிவுகளின் எண்ணிக்கை அல்லது பெரிய எழுத்துக்கள் மற்றும் சிறிய எழுத்துக்களின் விகிதம்-எந்த மனித நுண்ணறிவும் இல்லாமல் அளவிடக்கூடிய அளவுகள். இது பின்னர் ஒரு கணித மாதிரியை உருவாக்குகிறது, இது இந்த அளவுகளை கட்டுரைகள் பெற்ற மதிப்பெண்களுடன் தொடர்புபடுத்துகிறது. புதிய கட்டுரைகளின் மதிப்பெண்களைக் கணக்கிட அதே மாதிரி பயன்படுத்தப்படுகிறது. சமீபத்தில், அத்தகைய ஒரு கணித மாதிரி ஐசக் பெர்சிங் மற்றும் வின்சென்ட் என்ஜி ஆகியோரால் உருவாக்கப்பட்டது. இது மேற்கூறிய அம்சங்கள் குறித்த கட்டுரைகளை மதிப்பீடு செய்வது மட்டுமல்லாமல், அவற்றின் வாத வலிமையையும் மதிப்பீடு செய்கிறது. இது கட்டுரையின் பல்வேறு அம்சங்களை மதிப்பீடு செய்கிறது, அதாவது ஆசிரியரின் ஒப்பந்த நிலை மற்றும் அதற்கான காரணங்கள், அறிவுறுத்தலின் தலைப்பைப் பின்பற்றுதல், வாதக் கூறுகளின் இருப்பிடங்கள் (முக்கிய உரிமை கோரல், உரிமை கோரல், முன்மாதிரி), வாதங்களில் பிழைகள், வாதங்களில் ஒத்திசைவு போன்ற பல்வேறு அம்சங்கள். மேலே குறிப்பிடப்பட்ட மற்ற மாதிரிகளுக்கு மாறாக, இந்த மாதிரி கட்டுரைகளை தரப்படுத்தும்போது மனித நுண்ணறிவை நகலெடுப்பதில் நெருக்கமாக உள்ளது. ஆழமான நரம்பியல் நெட்வொர்க்குகளின் வளர்ந்து வரும் புகழ் காரணமாக, தானியங்கி கட்டுரை மதிப்பெண்ணுக்கு ஆழமான கற்றல் அணுகுமுறைகள் ஏற்றுக்கொள்ளப்பட்டுள்ளன, பொதுவாக உயர்ந்த முடிவுகளைப் பெறுகின்றன, பெரும்பாலும் மனிதர்களுக்கிடையேயான ஒப்பந்த நிலைகளை மிஞ்சுகின்றன. பல்வேறு AES திட்டங்கள் அவை எந்த குறிப்பிட்ட மேற்பரப்பு அம்சங்களை அளவிடுகின்றன, பயிற்சி தொகுப்பில் எத்தனை கட்டுரைகள் தேவைப்படுகின்றன மற்றும் மிக முக்கியமாக கணித மாடலிங் நுட்பத்தில் வேறுபடுகின்றன. ஆரம்பகால முயற்சிகள் நேரியல் பின்னடைவைப் பயன்படுத்தின. நவீன அமைப்புகள் நேரியல் பின்னடைவு அல்லது பிற இயந்திர கற்றல் நுட்பங்களைப் பயன்படுத்தலாம், பெரும்பாலும் மறைந்த சொற்பொருள் பகுப்பாய்வு மற்றும் பேய்சியன் அனுமானம் போன்ற பிற புள்ளிவிவர நுட்பங்களுடன் இணைந்து பயன்படுத்தப்படலாம். தானியங்கி கட்டுரை மதிப்பெண் பணி இயந்திர கற்றல் மாதிரிகளைப் பயன்படுத்தி குறுக்கு-கள அமைப்பில் ஆய்வு செய்யப்பட்டுள்ளது, அங்கு மாதிரிகள் ஒரு தூண்டுதலுக்காக (தலைப்பு) எழுதப்பட்ட கட்டுரைகளில் பயிற்சி அளிக்கப்படுகின்றன, மேலும் மற்றொரு தூண்டுதலுக்காக எழுதப்பட்ட கட்டுரைகளில் சோதிக்கப்படுகின்றன. குறுக்கு-கள சூழ்நிலையில் வெற்றிகரமான அணுகுமுறைகள் ஆழமான நரம்பியல் நெட்வொர்க்குகள் அல்லது ஆழமான மற்றும் ஆழமற்ற அம்சங்களை இணைக்கும் மாதிரிகளை அடிப்படையாகக் கொண்டவை. வெற்றிக்கான அளவுகோல்கள் எந்தவொரு மதிப்பீட்டு முறையும் செல்லுபடியாகும் தன்மை, நேர்மை மற்றும் நம்பகத்தன்மை ஆகியவற்றின் அடிப்படையில் தீர்மானிக்கப்பட வேண்டும். ஒரு கருவி உண்மையில் அளவிட விரும்பும் பண்புகளை அளவிட்டால் அது செல்லுபடியாகும். அது, நடைமுறையில், எந்தவொரு ஒரு வர்க்க மக்களையும் தண்டிக்கவோ அல்லது சலுகை அளிக்கவோ இல்லையென்றால் அது நியாயமானது. பொருத்தமற்ற வெளிப்புற காரணிகள் மாற்றப்பட்டாலும் கூட, அதன் விளைவு மீண்டும் மீண்டும் நிகழக்கூடியதாக இருந்தால் அது நம்பகமானது. கணினிகள் படத்தில் நுழைவதற்கு முன்பு, உயர் பங்குகள் கொண்ட கட்டுரைகளுக்கு பொதுவாக இரண்டு பயிற்சி பெற்ற மனித மதிப்பீட்டாளர்களால் மதிப்பெண்கள் வழங்கப்பட்டன. மதிப்பெண்கள் ஒன்றுக்கு மேற்பட்ட புள்ளிகளால் வேறுபட்டால், அதிக அனுபவம் வாய்ந்த மூன்றாவது பந்துவீச்சாளர் கருத்து வேறுபாட்டைத் தீர்ப்பார். இந்த அமைப்பில், நம்பகத்தன்மையை அளவிட ஒரு எளிதான வழி உள்ளதுஃ நாடுகளுக்கு இடையேயான ஒப்பந்தத்தின் மூலம். மதிப்பீட்டாளர்கள் ஒரு புள்ளிக்குள் தொடர்ந்து உடன்படவில்லை என்றால், அவர்களின் பயிற்சி தவறாக இருக்கலாம். அதே கட்டுரைகளை மற்ற மதிப்பீட்டாளர்கள் எப்படிப் பார்க்கிறார்கள் என்பதில் ஒரு ரேட்டர் தொடர்ந்து உடன்படவில்லை என்றால், அந்த ரேட்டருக்கு கூடுதல் பயிற்சி தேவைப்படலாம். நாடுகளுக்கு இடையேயான ஒப்பந்தத்தை அளவிட பல்வேறு புள்ளிவிவரங்கள் முன்மொழியப்பட்டுள்ளன. அவற்றில் சதவீதம் உடன்பாடு, ஸ்காட் π, கோஹன் κ, கிரிப்பெண்டோர்ஃப் α, பியர்சனின் தொடர்பு குணகம் r, ஸ்பியர்மேனின் தரவரிசை தொடர்பு குணகம் ρ மற்றும் லினின் இணக்க தொடர்பு குணகம் ஆகியவை அடங்கும். சதவீதம் ஒப்பந்தம் என்பது 1 முதல் n வரையிலான மதிப்பெண்களுடன் தரப்படுத்தல் அளவுகோல்களுக்கு பொருந்தக்கூடிய ஒரு எளிய புள்ளிவிவரமாகும், இதில் பொதுவாக 4 ≤ n ≤ 6 ஆகும். இது மூன்று எண்களாக அறிவிக்கப்பட்டுள்ளது, ஒவ்வொன்றும் மதிப்பெண் பெற்ற கட்டுரைகளின் மொத்த எண்ணிக்கையில் ஒரு சதவீதமாகும்ஃ சரியான உடன்பாடு (இரண்டு மதிப்பீட்டாளர்கள் கட்டுரைக்கு ஒரே மதிப்பெண்ணைக் கொடுத்தனர்), அருகிலுள்ள உடன்பாடு (மதிப்பீட்டாளர்கள் அதிகபட்சம் ஒரு புள்ளியால் வேறுபடுகிறார்கள்; இதில் சரியான உடன்பாடு அடங்கும்), மற்றும் தீவிர கருத்து வேறுபாடு (மதிப்பீட்டாளர்கள் இரண்டுக்கும் மேற்பட்ட புள்ளிகளால் வேறுபடுகிறார்கள்). நிபுணத்துவ மனித தரப்படுத்துபவர்கள் அனைத்து கட்டுரைகளிலும் 53 சதவீதம் முதல் 81 சதவீதம் வரை சரியான உடன்பாட்டை அடைவது கண்டறியப்பட்டது, மேலும் 97 சதவீதம் முதல் 100% வரை அருகிலுள்ள உடன்பாடு கண்டறியப்பட்டது. கணினியின் செயல்திறனை அளவிடுவதற்கு இன்டர்-ரேட்டர் ஒப்பந்தத்தை இப்போது பயன்படுத்தலாம். இரண்டு மனித மதிப்பீட்டாளர்களுக்கும் ஒரு AES திட்டத்திற்கும் கட்டுரைகளின் தொகுப்பு வழங்கப்படுகிறது. கணினியால் ஒதுக்கப்பட்ட மதிப்பெண்கள் மனித மதிப்பீட்டாளர்களில் ஒருவருடன் உடன்பட்டால், மதிப்பீட்டாளர்கள் ஒருவருக்கொருவர் உடன்பட்டால், AES நிரல் நம்பகமானதாகக் கருதப்படுகிறது. மாற்றாக, ஒவ்வொரு கட்டுரையும் இரண்டு மனித மதிப்பீட்டாளர்களின் மதிப்பெண்களின் சராசரியை எடுத்துக்கொள்வதன் மூலம் ஒரு "உண்மையான மதிப்பெண்" வழங்கப்படுகிறது, மேலும் இரண்டு மனிதர்களும் கணினியும் உண்மையான மதிப்பெண்ணுடன் அவர்களின் உடன்பாட்டின் அடிப்படையில் ஒப்பிடப்படுகின்றன. சில ஆராய்ச்சியாளர்கள் தங்கள் AES அமைப்புகள் உண்மையில் ஒரு மனிதனை விட சிறப்பாக செயல்பட முடியும் என்று தெரிவித்துள்ளனர். பேஜ் 1994 இல் PEG க்காக இந்த உரிமைகோரலை முன்வைத்தார். 2003 ஆம் ஆண்டில் ஸ்காட் எலியட் இன்டெல்லிமெட்ரிக் பொதுவாக மனித மதிப்பெண்களை விட சிறப்பாக செயல்படுவதாகக் கூறினார். எவ்வாறாயினும், எந்தவொரு சிக்கலான எழுத்து சோதனையிலும் மனித வாசகர்களை விட AES இயந்திரங்கள் குறைவான நம்பகத்தன்மையுடன் இருப்பதாகத் தெரிகிறது. தற்போதைய நடைமுறையில், GMAT போன்ற உயர்-பங்கு மதிப்பீடுகள் எப்போதும் குறைந்தபட்சம் ஒரு மனிதனால் மதிப்பெண் பெறப்படுகின்றன. இரண்டாவது ரேட்டருக்கு பதிலாக AES பயன்படுத்தப்படுகிறது. ஒரு மனித ரேட்டர் ஒன்றுக்கு மேற்பட்ட புள்ளிகளின் எந்தவொரு கருத்து வேறுபாடுகளையும் தீர்க்கிறார். ஏ. இ. எஸ் விமர்சனம் பல்வேறு காரணங்களுக்காக விமர்சிக்கப்பட்டுள்ளது. யாங் மற்றும் பலர். "பதில்களின் மேற்பரப்பு அம்சங்களில் அதிக நம்பகத்தன்மை, பதில்களின் உள்ளடக்கம் மற்றும் படைப்பாற்றலுக்கான உணர்ச்சியற்ற தன்மை மற்றும் புதிய வகையான மோசடி மற்றும் சோதனை எடுக்கும் உத்திகளுக்கான பாதிப்பு" ஆகியவற்றைக் குறிப்பிடவும். மனிதர்கள் யாரும் தங்கள் எழுத்துக்களைப் படிக்க மாட்டார்கள் என்று தெரிந்தால் மாணவர்களின் உந்துதல் குறையும் என்று பல விமர்சகர்கள் கவலைப்படுகிறார்கள். மிகவும் சொல்லக்கூடிய விமர்சனங்களில், வேண்டுமென்றே மோசமான கட்டுரைகளுக்கு அதிக மதிப்பெண்கள் வழங்கப்பட்டதாக அறிக்கைகள் உள்ளன. HumanReaders.Org மனு 12 மார்ச் 2013 அன்று, HumanReaders.Org "உயர் பங்குகள் மதிப்பீட்டில் மாணவர் கட்டுரைகளின் இயந்திர மதிப்பெண்ணுக்கு எதிரான தொழில் வல்லுநர்கள்" என்ற ஆன்லைன் மனுவைத் தொடங்கியது. சில வாரங்களுக்குள், இந்த மனு நோம் சோம்ஸ்கி உட்பட ஆயிரக்கணக்கான கையொப்பங்களைப் பெற்றது, மேலும் தி நியூயார்க் டைம்ஸ் உட்பட பல செய்தித்தாள்களிலும், பல கல்வி மற்றும் தொழில்நுட்ப வலைப்பதிவுகளிலும் மேற்கோள் காட்டப்பட்டது. உயர் பங்குகள் கொண்ட சோதனைக்கு AES இன் பயன்பாடு "அற்பமானது", "குறைப்பு", "தவறானது", "கண்டறியப்படாதது", "நியாயமற்றது" மற்றும் "ரகசியமானது" என்று மனுவில் விவரிக்கப்பட்டுள்ளது. AES பற்றிய ஆராய்ச்சியின் விரிவான சுருக்கத்தில், மனுவின் தளம் குறிப்பிடுகிறது, "மாணவர்கள், பெற்றோர்கள், ஆசிரியர்கள், முதலாளிகள், நிர்வாகிகள், சட்டமன்ற உறுப்பினர்கள் என எவரும் கட்டுரைகளின் இயந்திர மதிப்பெண்ணை நம்ப முடியாது என்பதை ஆராய்ச்சி கண்டுபிடிப்புகள் காட்டுகின்றன. மேலும் இயந்திர மதிப்பெண் அளவிடுவதில்லை, எனவே உண்மையான எழுத்துக்களை ஊக்குவிக்காது". மனுவில் குறிப்பாக உயர் பங்குகள் சோதனைக்கு AES இன் பயன்பாட்டைக் குறிப்பிடுகிறது மற்றும் பிற சாத்தியமான பயன்பாடுகளைப் பற்றி எதுவும் கூறவில்லை. மென்பொருள் தானியங்கி கட்டுரை மதிப்பெண்களுக்கான பெரும்பாலான வளங்கள் தனியுரிமம் கொண்டவை. eRater-வெளியிடப்பட்டது கல்வி சோதனை சேவை நுண்ணறிவு-மூலம் வன்டேஜ் கற்றல் திட்ட கட்டுரை தரம்-மூலம் அளவீட்டு, இன்க். குறிப்புகள் கணக்கீட்டு மொழியியல் கல்வி மதிப்பீட்டு முறைகள் இயற்கை மொழி செயலாக்கம் புள்ளிவிவர வகைப்பாடு கட்டுரைகள் இயற்கை மொழி செயலாக்கத்தின் பணிகள்