Automated essay scoring
স্বয়ংক্রিয় প্রবন্ধ স্কোরিং (এইএস) হল একটি শিক্ষামূলক পরিবেশে লেখা প্রবন্ধগুলিতে গ্রেড বরাদ্দ করার জন্য বিশেষায়িত কম্পিউটার প্রোগ্রামগুলির ব্যবহার। এটি শিক্ষামূলক মূল্যায়নের একটি রূপ এবং প্রাকৃতিক ভাষা প্রক্রিয়াকরণের একটি প্রয়োগ। এর উদ্দেশ্য হল পাঠ্য সত্তাগুলির একটি বড় সেটকে সম্ভাব্য গ্রেডের সাথে সামঞ্জস্য রেখে অল্প সংখ্যক বিচ্ছিন্ন বিভাগে শ্রেণীবদ্ধ করা, উদাহরণস্বরূপ, 1 থেকে 6 সংখ্যা। অতএব, এটিকে পরিসংখ্যানগত শ্রেণিবিন্যাসের একটি সমস্যা হিসাবে বিবেচনা করা যেতে পারে। বেশ কয়েকটি কারণ এইএস-এর প্রতি ক্রমবর্ধমান আগ্রহের ক্ষেত্রে অবদান রেখেছে। এর মধ্যে রয়েছে খরচ, জবাবদিহিতা, মান এবং প্রযুক্তি। ক্রমবর্ধমান শিক্ষা ব্যয় মান আরোপের মাধ্যমে শিক্ষা ব্যবস্থাকে ফলাফলের জন্য দায়বদ্ধ রাখার চাপ সৃষ্টি করেছে। তথ্যপ্রযুক্তির অগ্রগতি কম খরচে শিক্ষাগত সাফল্য পরিমাপের প্রতিশ্রুতি দেয়। শিক্ষায় উচ্চ-স্তরের পরীক্ষার জন্য এইএস-এর ব্যবহার উল্লেখযোগ্য প্রতিক্রিয়া সৃষ্টি করেছে, বিরোধীরা গবেষণার দিকে ইঙ্গিত করে যে কম্পিউটার এখনও সঠিকভাবে লেখার গ্রেড দিতে পারে না এবং যুক্তি দেয় যে এই উদ্দেশ্যে তাদের ব্যবহার শিক্ষামূলক উপায়ে লেখার প্রচার করে (অর্থাৎ। পরীক্ষা পর্যন্ত শেখানো)। ইতিহাস এইএস-এর বেশিরভাগ ঐতিহাসিক সারসংক্ষেপ এলিস ব্যাটেন পেজের কাজের মাধ্যমে এই ক্ষেত্রের উৎপত্তি চিহ্নিত করে। 1966 সালে, তিনি কম্পিউটারের মাধ্যমে প্রবন্ধ স্কোর করার সম্ভাবনার পক্ষে যুক্তি দিয়েছিলেন এবং 1968 সালে তিনি প্রজেক্ট এসে গ্রেড (পি. ই. জি) নামে একটি প্রোগ্রামের মাধ্যমে তাঁর সফল কাজ প্রকাশ করেছিলেন। সেই সময়ের প্রযুক্তি ব্যবহার করে, কম্পিউটারাইজড প্রবন্ধ স্কোরিং সাশ্রয়ী হত না, তাই পেজ প্রায় দুই দশক ধরে তার প্রচেষ্টা বন্ধ করে দিয়েছিলেন। অবশেষে, পেজ পি. ই. জি-কে মেজারমেন্ট ইনকর্পোরেটেড-এর কাছে বিক্রি করে দেয় 1990 সালের মধ্যে, ডেস্কটপ কম্পিউটারগুলি এত শক্তিশালী এবং এত ব্যাপক হয়ে উঠেছিল যে এইএস একটি ব্যবহারিক সম্ভাবনা ছিল। 1982 সালের গোড়ার দিকে, রাইটার্স ওয়ার্কবেঞ্চ নামে একটি ইউনিক্স প্রোগ্রাম বিরামচিহ্ন, বানান এবং ব্যাকরণ পরামর্শ দিতে সক্ষম হয়েছিল। বেশ কয়েকটি সংস্থার (বিশেষত এডুকেশনাল টেস্টিং সার্ভিস) সহযোগিতায়, পেজ পি. ই. জি-কে হালনাগাদ করেছে এবং 1990-এর দশকের গোড়ার দিকে কিছু সফল পরীক্ষা চালিয়েছে। পিটার ফোল্টজ এবং থমাস ল্যান্ডাউয়ার ইন্টেলিজেন্ট এসে অ্যাসেসর (আইইএ) নামে একটি স্কোরিং ইঞ্জিন ব্যবহার করে একটি সিস্টেম তৈরি করেছিলেন। আই. ই. এ প্রথম তাদের স্নাতক কোর্সের জন্য 1997 সালে প্রবন্ধ স্কোর করতে ব্যবহৃত হয়েছিল। এটি এখন পিয়ারসন এডুকেশনাল টেকনোলজিসের একটি পণ্য এবং বেশ কয়েকটি বাণিজ্যিক পণ্য এবং রাজ্য ও জাতীয় পরীক্ষায় স্কোর করার জন্য ব্যবহৃত হয়। ইন্টেলিমেট্রিক হল ভ্যানটেজ লার্নিং-এর এইএস ইঞ্জিন। 1996 সালে এর উন্নয়ন শুরু হয়। 1998 সালে প্রবন্ধ লেখার জন্য এটি প্রথম বাণিজ্যিকভাবে ব্যবহৃত হয়। এডুকেশনাল টেস্টিং সার্ভিস "ই-রেটার", একটি স্বয়ংক্রিয় প্রবন্ধ স্কোরিং প্রোগ্রাম প্রদান করে। 1999 সালের ফেব্রুয়ারিতে এটি প্রথম বাণিজ্যিকভাবে ব্যবহৃত হয়। এর বিকাশে দলের নেতা ছিলেন জিল বারস্টাইন। ই. টি. এস-এর মানদণ্ড অনলাইন লেখার মূল্যায়ন পরিষেবা স্কোর এবং লক্ষ্যযুক্ত প্রতিক্রিয়া উভয়ই প্রদান করতে ই-রেটার ইঞ্জিন ব্যবহার করে। লরেন্স রুডনার বায়েসিয়ান স্কোরিং নিয়ে কিছু কাজ করেছেন এবং বেটসি (বায়েসিয়ান এসে টেস্ট স্কোরিং সিস্টেম) নামে একটি সিস্টেম তৈরি করেছেন। তাঁর কিছু ফলাফল মুদ্রিত বা অনলাইনে প্রকাশিত হয়েছে, তবে এখনও পর্যন্ত কোনও বাণিজ্যিক ব্যবস্থায় বেটসিকে অন্তর্ভুক্ত করা হয়নি। হাওয়ার্ড মিটজেল এবং সু লটরিজের নেতৃত্বে, প্যাসিফিক মেট্রিক্স একটি নির্মিত প্রতিক্রিয়া স্বয়ংক্রিয় স্কোরিং ইঞ্জিন, ক্রেজ তৈরি করেছে। বর্তমানে বেশ কয়েকটি রাষ্ট্রীয় শিক্ষা বিভাগ এবং মার্কিন শিক্ষা বিভাগের অর্থায়নে বর্ধিত মূল্যায়ন অনুদান, প্যাসিফিক মেট্রিক্স প্রযুক্তি 2007 সাল থেকে বড় আকারের গঠনমূলক এবং সংক্ষিপ্ত মূল্যায়ন পরিবেশে ব্যবহৃত হচ্ছে। মেজারমেন্ট ইনকর্পোরেটেড 2002 সালে পি. ই. জি-র অধিকার অর্জন করে এবং এটির উন্নয়ন অব্যাহত রেখেছে। 2012 সালে হিউলেট ফাউন্ডেশন ক্যাগলের উপর অটোমেটেড স্টুডেন্ট অ্যাসেসমেন্ট প্রাইজ (এএসএপি) নামে একটি প্রতিযোগিতার পৃষ্ঠপোষকতা করে। 201 জন চ্যালেঞ্জ অংশগ্রহণকারীরা এইএস ব্যবহার করে ভবিষ্যদ্বাণী করার চেষ্টা করেছিলেন, যে স্কোরগুলি মানব রেটাররা আটটি ভিন্ন প্রম্পটগুলিতে লেখা হাজার হাজার প্রবন্ধকে দেবে। উদ্দেশ্যটি ছিল এটি প্রদর্শন করা যে এইএস মানব রেটারের মতো নির্ভরযোগ্য হতে পারে, বা আরও বেশি। প্রতিযোগিতাটি এএসএপি তথ্যের একটি উপসেটে নয়জন এইএস বিক্রেতার মধ্যে একটি পৃথক প্রদর্শনীরও আয়োজন করেছিল। যদিও তদন্তকারীরা জানিয়েছেন যে স্বয়ংক্রিয় প্রবন্ধের স্কোরিং মানুষের স্কোরিংয়ের মতোই নির্ভরযোগ্য ছিল, তবে এই দাবিটি কোনও পরিসংখ্যানগত পরীক্ষার দ্বারা প্রমাণিত হয়নি কারণ কিছু বিক্রেতার প্রয়োজন ছিল যে তাদের অংশগ্রহণের পূর্বশর্ত হিসাবে এই জাতীয় কোনও পরীক্ষা করা হবে না। উপরন্তু, হিউলেট স্টাডি দেখিয়েছে যে এইএস মানব রেটারের মতো নির্ভরযোগ্য হতে পারে এই দাবিটি তখন থেকে তীব্রভাবে প্রতিদ্বন্দ্বিতা করা হয়েছে, যার মধ্যে রয়েছে র্যান্ডি ই. বেনেট, এডুকেশনাল টেস্টিং সার্ভিসের অ্যাসেসমেন্ট ইনোভেশনের নরম্যান ও. ফ্রেডেরিকসেন চেয়ার। গবেষণার কিছু প্রধান সমালোচনা হল যে আটটি ডেটাসেটের মধ্যে পাঁচটি প্রবন্ধের পরিবর্তে অনুচ্ছেদ নিয়ে গঠিত, আটটি ডেটা সেটের মধ্যে চারটি মানব পাঠকদের দ্বারা লেখার দক্ষতার পরিবর্তে কেবল বিষয়বস্তুর জন্য শ্রেণীবদ্ধ করা হয়েছিল এবং মানব পাঠক এবং এইএস মেশিনগুলিকে "প্রকৃত স্কোর", দুই পাঠকের স্কোরের গড়ের বিরুদ্ধে পরিমাপ করার পরিবর্তে, গবেষণাটি একটি কৃত্রিম গঠন, "সমাধানকৃত স্কোর" নিযুক্ত করেছিল, যা চারটি ডেটাসেটের মধ্যে দুটি মানব স্কোরের মধ্যে উচ্চতর ছিল যদি কোনও মতবিরোধ থাকে। এই শেষ অনুশীলনটি, বিশেষত, মেশিনগুলিকে এই ডেটাসেটগুলির জন্য একত্রিত করার অনুমতি দিয়ে একটি অন্যায্য সুবিধা দিয়েছে। 1966 সালে, পেজ অনুমান করেছিলেন যে, ভবিষ্যতে কম্পিউটার-ভিত্তিক বিচারক অন্যান্য মানব বিচারকদের তুলনায় প্রতিটি মানব বিচারকের সাথে আরও ভাল সম্পর্কযুক্ত হবেন। সাধারণভাবে প্রবন্ধ চিহ্নিতকরণের ক্ষেত্রে এই পদ্ধতির প্রয়োগযোগ্যতার সমালোচনা করা সত্ত্বেও, এই অনুমানটি ব্রিটিশ জি. সি. এস. ই পদ্ধতির মতো সংক্ষিপ্ত প্রশ্নের বিনামূল্যে পাঠ্য উত্তর চিহ্নিত করার জন্য সমর্থিত ছিল। তত্ত্বাবধানে শেখার ফলাফলগুলি দেখায় যে বিভিন্ন মানব শিক্ষকদের দ্বারা চিহ্নিত করার সময় স্বয়ংক্রিয় ব্যবস্থা ভাল কাজ করে। উত্তরগুলির তত্ত্বাবধানহীন ক্লাস্টারিং দেখায় যে চমৎকার কাগজপত্র এবং দুর্বল কাগজপত্রগুলি সুনির্দিষ্ট ক্লাস্টার গঠন করে এবং এই ক্লাস্টারগুলির জন্য স্বয়ংক্রিয় চিহ্নিতকরণের নিয়ম ভাল কাজ করে, যেখানে তৃতীয় ক্লাস্টারের ('মিশ্র') জন্য মানব শিক্ষকদের দেওয়া নম্বরগুলি বিতর্কিত হতে পারে এবং 'মিশ্র' ক্লাস্টার থেকে কাজের যে কোনও মূল্যায়নের নির্ভরযোগ্যতা প্রায়শই প্রশ্নবিদ্ধ হতে পারে (মানব এবং কম্পিউটার উভয় ভিত্তিক)। প্রবন্ধের মানের বিভিন্ন মাত্রা সাম্প্রতিক একটি সমীক্ষা অনুসারে, আধুনিক এইএস পদ্ধতি ব্যবহারকারীদের প্রতিক্রিয়া জানানোর জন্য একটি প্রবন্ধের মানের বিভিন্ন মাত্রা স্কোর করার চেষ্টা করে। এই মাত্রাগুলির মধ্যে নিম্নলিখিত বিষয়গুলি অন্তর্ভুক্ত রয়েছেঃ ব্যাকরণগততাঃ নিম্নলিখিত ব্যাকরণের নিয়মের ব্যবহার, শব্দ ব্যবহারের যান্ত্রিকতাঃ বানান, বিরামচিহ্ন, বড় হাতের শৈলীর জন্য নিম্নলিখিত নিয়মঃ শব্দ নির্বাচন, বাক্যের কাঠামোর বৈচিত্র্য প্রাসঙ্গিকতাঃ প্রম্পট সংগঠনের সাথে বিষয়বস্তুর কতটা প্রাসঙ্গিকঃ প্রবন্ধটি কতটা ভালভাবে কাঠামোগত বিকাশঃ উদাহরণ সহ ধারণাগুলির বিকাশ সংহতিঃ রূপান্তর বাক্যাংশগুলির যথাযথ ব্যবহার সঙ্গতিঃ ধারণাগুলির মধ্যে উপযুক্ত রূপান্তর থিসিস স্পষ্টতাঃ থিসিস প্ররোচনার স্পষ্টতাঃ প্রধান যুক্তির বিশ্বাসযোগ্যতা প্রক্রিয়া শুরু থেকেই, এইএস-এর প্রাথমিক পদ্ধতিটি প্রবন্ধগুলির একটি প্রশিক্ষণ সেট দিয়ে শুরু করা হয়েছে যা যত্ন সহকারে হাতে স্কোর করা হয়েছে। প্রোগ্রামটি প্রতিটি প্রবন্ধের পাঠ্যের পৃষ্ঠ বৈশিষ্ট্যগুলি মূল্যায়ন করে, যেমন শব্দের মোট সংখ্যা, অধস্তন ধারাগুলির সংখ্যা, বা বড় হাতের থেকে ছোট হাতের অক্ষরের অনুপাত-যে পরিমাণগুলি কোনও মানুষের অন্তর্দৃষ্টি ছাড়াই পরিমাপ করা যেতে পারে। এরপরে এটি একটি গাণিতিক মডেল তৈরি করে যা এই পরিমাণগুলিকে প্রবন্ধগুলি প্রাপ্ত স্কোরের সাথে সম্পর্কিত করে। একই মডেল তারপর নতুন প্রবন্ধের স্কোর গণনা করতে প্রয়োগ করা হয়। সম্প্রতি, আইজাক পার্সিং এবং ভিনসেন্ট এনজি এই ধরনের একটি গাণিতিক মডেল তৈরি করেছেন। যা শুধুমাত্র উপরের বৈশিষ্ট্যগুলির উপর প্রবন্ধগুলির মূল্যায়ন করে না, বরং তাদের যুক্তির শক্তির উপরও মূল্যায়ন করে। এটি প্রবন্ধের বিভিন্ন বৈশিষ্ট্যের মূল্যায়ন করে, যেমন লেখকের চুক্তির স্তর এবং তার কারণ, প্রম্পটটির বিষয় মেনে চলা, যুক্তির উপাদানগুলির অবস্থান (প্রধান দাবি, দাবি, ভিত্তি), যুক্তিতে ত্রুটি, যুক্তিতে সংহতি অন্যান্য বিভিন্ন বৈশিষ্ট্যের মধ্যে। উপরে উল্লিখিত অন্যান্য মডেলগুলির বিপরীতে, এই মডেলটি প্রবন্ধগুলিকে শ্রেণীবদ্ধ করার সময় মানুষের অন্তর্দৃষ্টি নকল করার ক্ষেত্রে আরও কাছাকাছি। গভীর স্নায়বিক নেটওয়ার্কগুলির ক্রমবর্ধমান জনপ্রিয়তার কারণে, স্বয়ংক্রিয় প্রবন্ধ স্কোরিংয়ের জন্য গভীর শিক্ষার পদ্ধতি গ্রহণ করা হয়েছে, সাধারণত উচ্চতর ফলাফল অর্জন করে, প্রায়শই আন্তঃ-মানব চুক্তির মাত্রা অতিক্রম করে। বিভিন্ন এইএস প্রোগ্রামগুলি কোন নির্দিষ্ট পৃষ্ঠ বৈশিষ্ট্যগুলি পরিমাপ করে, প্রশিক্ষণ সেটে কতগুলি প্রবন্ধ প্রয়োজন এবং সবচেয়ে উল্লেখযোগ্যভাবে গাণিতিক মডেলিং কৌশলে পৃথক হয়। প্রাথমিক প্রচেষ্টাগুলিতে রৈখিক রিগ্রেশন ব্যবহার করা হয়েছিল। আধুনিক পদ্ধতিগুলি প্রায়শই অন্যান্য পরিসংখ্যানগত কৌশল যেমন সুপ্ত শব্দার্থগত বিশ্লেষণ এবং বায়েসিয়ান অনুমানের সংমিশ্রণে রৈখিক প্রতিগমন বা অন্যান্য মেশিন লার্নিং কৌশল ব্যবহার করতে পারে। স্বয়ংক্রিয় প্রবন্ধ স্কোরিং কাজটি মেশিন লার্নিং মডেল ব্যবহার করে ক্রস-ডোমেন সেটিংয়েও অধ্যয়ন করা হয়েছে, যেখানে মডেলদের একটি প্রম্পট (বিষয়)-এর জন্য লেখা প্রবন্ধের উপর প্রশিক্ষণ দেওয়া হয় এবং অন্য প্রম্পট-এর জন্য লেখা প্রবন্ধের উপর পরীক্ষা করা হয়। ক্রস-ডোমেইন দৃশ্যে সফল পন্থা গভীর স্নায়বিক নেটওয়ার্ক বা মডেলের উপর ভিত্তি করে যা গভীর এবং অগভীর বৈশিষ্ট্যগুলিকে একত্রিত করে। সাফল্যের মানদণ্ড মূল্যায়নের যে কোনও পদ্ধতি অবশ্যই বৈধতা, ন্যায্যতা এবং নির্ভরযোগ্যতার ভিত্তিতে বিচার করা উচিত। একটি যন্ত্র বৈধ যদি এটি প্রকৃতপক্ষে যে বৈশিষ্ট্যটি পরিমাপ করতে চায় তা পরিমাপ করে। এটি কার্যকরভাবে যদি কোনও একটি শ্রেণীর মানুষকে শাস্তি বা বিশেষাধিকার না দেয় তবে এটি ন্যায্য। অপ্রাসঙ্গিক বাহ্যিক কারণগুলি পরিবর্তিত হলেও এর ফলাফল পুনরাবৃত্তিযোগ্য হলে এটি নির্ভরযোগ্য। কম্পিউটার ছবিটিতে প্রবেশ করার আগে, উচ্চ-ঝুঁকিপূর্ণ প্রবন্ধগুলিকে সাধারণত দুইজন প্রশিক্ষিত মানব রেটার দ্বারা স্কোর দেওয়া হত। যদি স্কোরগুলি একাধিক পয়েন্টের দ্বারা পৃথক হয়, তবে আরও অভিজ্ঞ তৃতীয় রেটার মতবিরোধ নিষ্পত্তি করবে। এই ব্যবস্থায়, নির্ভরযোগ্যতা পরিমাপের একটি সহজ উপায় রয়েছেঃ আন্তঃদেশীয় চুক্তির মাধ্যমে। যদি রেটাররা ধারাবাহিকভাবে একটি পয়েন্টের মধ্যে একমত না হয়, তবে তাদের প্রশিক্ষণ ভুল হতে পারে। যদি কোনও রেটার ধারাবাহিকভাবে অন্য রেটাররা একই প্রবন্ধগুলি কীভাবে দেখেন তার সাথে একমত না হন, তবে সেই রেটারের সম্ভবত অতিরিক্ত প্রশিক্ষণের প্রয়োজন। আন্তঃদেশীয় চুক্তি পরিমাপের জন্য বিভিন্ন পরিসংখ্যানের প্রস্তাব দেওয়া হয়েছে। এগুলির মধ্যে রয়েছে শতাংশ চুক্তি, স্কটের π, কোহেনের κ, ক্রিপেনডর্ফের α, পিয়ারসনের পারস্পরিক সম্পর্ক সহগ r, স্পিয়ারম্যানের র্যাঙ্ক পারস্পরিক সম্পর্ক সহগ ρ এবং লিনের পারস্পরিক সম্পর্ক সহগ। শতাংশ চুক্তি একটি সাধারণ পরিসংখ্যান যা 1 থেকে n পর্যন্ত স্কোর সহ গ্রেডিং স্কেলের ক্ষেত্রে প্রযোজ্য, যেখানে সাধারণত 4 ≤ n ≤ 6। এটি তিনটি সংখ্যা হিসাবে রিপোর্ট করা হয়েছে, প্রতিটি স্কোর করা মোট প্রবন্ধের সংখ্যার শতাংশঃ সঠিক চুক্তি (দুই রেটার প্রবন্ধটিকে একই স্কোর দিয়েছেন), সংলগ্ন চুক্তি (রেটাররা সর্বাধিক একটি বিন্দুতে ভিন্ন; এর মধ্যে সঠিক চুক্তি অন্তর্ভুক্ত), এবং চরম মতবিরোধ (রেটাররা দুটির বেশি পয়েন্ট দ্বারা পৃথক)। বিশেষজ্ঞ মানব গ্রেডাররা সমস্ত প্রবন্ধের 53 শতাংশ থেকে 81 শতাংশের মধ্যে সঠিক চুক্তি অর্জন করতে এবং 97 শতাংশ থেকে 100%-এর মধ্যে সংলগ্ন চুক্তি অর্জন করতে দেখা গেছে। কম্পিউটারের কার্যকারিতা পরিমাপের জন্য এখন আন্তঃদেশীয় চুক্তি প্রয়োগ করা যেতে পারে। দুইজন মানব রেটার এবং একটি এইএস প্রোগ্রামকে প্রবন্ধের একটি সেট দেওয়া হয়। যদি কম্পিউটার-নির্ধারিত স্কোরগুলি মানব রেটারদের মধ্যে একজনের সাথে একমত হয় এবং রেটাররা একে অপরের সাথে একমত হয়, তবে এইএস প্রোগ্রামটি নির্ভরযোগ্য বলে বিবেচিত হয়। বিকল্পভাবে, প্রতিটি প্রবন্ধে দুটি মানব রেটারের স্কোরের গড় নিয়ে একটি "প্রকৃত স্কোর" দেওয়া হয় এবং দুটি মানুষ এবং কম্পিউটারকে প্রকৃত স্কোরের সাথে তাদের চুক্তির ভিত্তিতে তুলনা করা হয়। কিছু গবেষক জানিয়েছেন যে তাদের এইএস সিস্টেম আসলে মানুষের চেয়ে ভাল কাজ করতে পারে। পেজ 1994 সালে পি. ই. জি-র জন্য এই দাবি করেছিলেন। স্কট ইলিয়ট 2003 সালে বলেছিলেন যে ইন্টেলিমেট্রিক সাধারণত মানব স্কোরারদের ছাড়িয়ে যায়। যাইহোক, এইএস মেশিনগুলি যে কোনও ধরনের জটিল লেখার পরীক্ষার জন্য মানব পাঠকদের তুলনায় কম নির্ভরযোগ্য বলে মনে হয়। বর্তমান অনুশীলনে, জিএমএটি-র মতো উচ্চ-অংশীদারিত্বের মূল্যায়নগুলি সর্বদা কমপক্ষে একজন মানুষের দ্বারা স্কোর করা হয়। দ্বিতীয় রেটারের জায়গায় এইএস ব্যবহার করা হয়। একজন মানব রেটার একাধিক পয়েন্টের যে কোনও মতবিরোধের সমাধান করে। এইএস-এর সমালোচনা বিভিন্ন কারণে সমালোচিত হয়েছে। ইয়াং এবং অন্যান্য। "প্রতিক্রিয়াগুলির পৃষ্ঠের বৈশিষ্ট্যগুলির উপর অতিরিক্ত নির্ভরতা, প্রতিক্রিয়াগুলির বিষয়বস্তু এবং সৃজনশীলতার প্রতি অসংবেদনশীলতা এবং নতুন ধরনের প্রতারণা এবং পরীক্ষা-গ্রহণের কৌশলগুলির প্রতি দুর্বলতা" উল্লেখ করুন। বেশ কয়েকজন সমালোচক উদ্বিগ্ন যে শিক্ষার্থীদের প্রেরণা হ্রাস পাবে যদি তারা জানে যে কোনও মানুষ তাদের লেখা পড়বে না। সবচেয়ে বেশি বলা সমালোচনাগুলির মধ্যে রয়েছে ইচ্ছাকৃতভাবে নোংরা প্রবন্ধগুলিকে উচ্চ নম্বর দেওয়ার প্রতিবেদন। HumanReaders.Org পিটিশন 2013 সালের 12ই মার্চ, HumanReaders.Org একটি অনলাইন পিটিশন চালু করে, যার নাম "প্রফেশনালস অ্যাগেইনস্ট মেশিন স্কোরিং অফ স্টুডেন্ট এসেজ ইন হাই-স্টেকস অ্যাসেসমেন্ট"। কয়েক সপ্তাহের মধ্যে, পিটিশনটি নোম চমস্কি সহ হাজার হাজার স্বাক্ষর অর্জন করে এবং দ্য নিউ ইয়র্ক টাইমস সহ বেশ কয়েকটি সংবাদপত্রে এবং বেশ কয়েকটি শিক্ষা ও প্রযুক্তি ব্লগে উদ্ধৃত করা হয়। আবেদনে উচ্চ-ঝুঁকির পরীক্ষার জন্য এইএস-এর ব্যবহারকে "তুচ্ছ", "হ্রাসকারী", "ভুল", "অ-নির্ণায়ক", "অন্যায্য" এবং "গোপনীয়" হিসাবে বর্ণনা করা হয়েছে। এইএস-এর উপর গবেষণার একটি বিশদ সারাংশে পিটিশন সাইটটি উল্লেখ করেছে, "গবেষণা ফলাফল দেখায় যে কেউ-শিক্ষার্থী, অভিভাবক, শিক্ষক, নিয়োগকর্তা, প্রশাসক, বিধায়ক-প্রবন্ধের মেশিন স্কোরিংয়ের উপর নির্ভর করতে পারে না। এবং সেই মেশিন স্কোরিং পরিমাপ করে না, এবং তাই লেখার খাঁটি কাজকে প্রচার করে না।" পিটিশনটি বিশেষভাবে উচ্চ-ঝুঁকিপূর্ণ পরীক্ষার জন্য এইএসের ব্যবহারকে সম্বোধন করে এবং অন্যান্য সম্ভাব্য ব্যবহার সম্পর্কে কিছুই বলে না। সফ্টওয়্যার স্বয়ংক্রিয় প্রবন্ধ স্কোরিংয়ের জন্য বেশিরভাগ সম্পদ মালিকানাধীন। ই-রেটার-এডুকেশনাল টেস্টিং সার্ভিস ইন্টেলিমেট্রিক দ্বারা প্রকাশিত-ভ্যানটেজ লার্নিং প্রজেক্ট এসে গ্রেড দ্বারা-পরিমাপ, ইনকর্পোরেটেড দ্বারা। তথ্যসূত্র গণনামূলক ভাষাবিজ্ঞান শিক্ষামূলক মূল্যায়ন পদ্ধতি প্রাকৃতিক ভাষা প্রক্রিয়াকরণ পরিসংখ্যানগত শ্রেণিবিন্যাস প্রাকৃতিক ভাষা প্রক্রিয়াকরণের কাজ