METEOR
میٹر (میٹرک فار ایویلیوایشن آف ٹرانسلیشن ود ایکسپلیسیٹ آرڈرنگ) مشین ٹرانسلیشن آؤٹ پٹ کی تشخیص کے لیے ایک میٹرک ہے۔ میٹرک یونیگرام صحت سے متعلق اور یاد کرنے کے ہارمونک اوسط پر مبنی ہے، جس میں یاد کرنے کا وزن درستگی سے زیادہ ہے۔ اس میں کئی ایسی خصوصیات بھی ہیں جو دیگر میٹرکس میں نہیں پائی جاتی ہیں، جیسے کہ معیاری عین مطابق لفظ کے ملاپ کے ساتھ اسٹیمنگ اور مترادف ملاپ۔ میٹرک کو زیادہ مقبول بی ایل ای یو میٹرک میں پائے جانے والے کچھ مسائل کو حل کرنے کے لیے ڈیزائن کیا گیا تھا، اور جملے یا حصے کی سطح پر انسانی فیصلے کے ساتھ اچھا ارتباط بھی پیدا کرتا ہے۔ یہ بی ایل ای یو میٹرک سے اس لحاظ سے مختلف ہے کہ بی ایل ای یو کارپس کی سطح پر ارتباط چاہتا ہے۔ نتائج پیش کیے گئے ہیں جو کارپس کی سطح پر انسانی فیصلے کے ساتھ 0.964 تک کا ارتباط دیتے ہیں، اسی ڈیٹا سیٹ پر BLEU کے 0.817 کے حصول کے مقابلے میں۔ سزا کی سطح پر، حاصل کردہ انسانی فیصلے کے ساتھ زیادہ سے زیادہ ارتباط 0.403 تھا۔ الگورتھم جیسا کہ BLEU کے ساتھ ہے، تشخیص کی بنیادی اکائی جملہ ہے، الگورتھم پہلے دو جملوں، امیدوار ترجمہ سٹرنگ، اور حوالہ ترجمہ سٹرنگ کے درمیان ایک صف بندی (عکاسی دیکھیں) بناتا ہے۔ صف بندی یونیگرام کے درمیان نقشہ سازی کا ایک مجموعہ ہے۔ نقشہ سازی کو ایک تار میں یونیگرام اور دوسرے تار میں یونیگرام کے درمیان کی لکیر کے طور پر سوچا جا سکتا ہے۔ رکاوٹیں مندرجہ ذیل ہیں ؛ امیدوار کے ترجمہ میں ہر یونیگرام کو حوالہ میں صفر یا ایک یونیگرام کا نقشہ بنانا چاہیے۔ نقشوں کا انتخاب صف بندی پیدا کرنے کے لیے کیا جاتا ہے جیسا کہ اوپر بیان کیا گیا ہے۔ اگر نقشوں کی ایک ہی تعداد کے ساتھ دو صف بندی ہیں، تو صف بندی کا انتخاب سب سے کم کراس کے ساتھ کیا جاتا ہے، یعنی دو نقشوں کے کم چوراہوں کے ساتھ۔ دکھائے گئے دو صفوں میں سے، صف بندی (a) کو اس مقام پر منتخب کیا جائے گا۔ مراحل لگاتار چلائے جاتے ہیں اور ہر مرحلہ صرف صف بندی میں ان یونیگراموں کا اضافہ کرتا ہے جن کا پچھلے مراحل میں موازنہ نہیں کیا گیا ہے۔ ایک بار حتمی صف بندی کا حساب لگانے کے بعد، اسکور کا حساب اس طرح کیا جاتا ہے: یونیگرام درستگی کا حساب اس طرح کیا جاتا ہے: امیدوار کے ترجمے میں یونیگرام کی تعداد کہاں ہے جو حوالہ ترجمہ میں بھی پائی جاتی ہے، اور امیدوار کے ترجمے میں یونیگرام کی تعداد کہاں ہے۔ یونیگرام ریکل کا حساب اس طرح لگایا جاتا ہے: جہاں اوپر کے طور پر ہے، اور حوالہ ترجمہ میں یونیگرام کی تعداد ہے۔ درستگی اور یاد کو مندرجہ ذیل انداز میں ہم آہنگ معنی کا استعمال کرتے ہوئے ملایا جاتا ہے، جس میں یاد کا وزن درستگی سے 9 گنا زیادہ ہوتا ہے: اب تک جو اقدامات متعارف کرائے گئے ہیں وہ صرف ایک لفظ کے حوالے سے ہم آہنگی کا سبب بنتے ہیں لیکن بڑے حصوں کے حوالے سے نہیں جو حوالہ اور امیدوار کے جملے دونوں میں ظاہر ہوتے ہیں۔ ان کو مدنظر رکھنے کے لیے، صف بندی کے لیے جرمانے کا حساب لگانے کے لیے طویل این-گرام میچ استعمال کیے جاتے ہیں۔ جتنے زیادہ نقشے ہوں گے جو حوالہ اور امیدوار کے جملے میں ملحقہ نہیں ہوں گے، جرمانہ اتنا ہی زیادہ ہوگا۔ اس جرمانے کا حساب لگانے کے لیے، یونیگرام کو کم سے کم ممکنہ حصوں میں تقسیم کیا جاتا ہے، جہاں ایک ٹکڑے کو یونیگرام کے ایک سیٹ کے طور پر بیان کیا جاتا ہے جو مفروضے اور حوالہ میں ملحقہ ہوتے ہیں۔ امیدوار اور حوالہ کے درمیان ملحقہ نقشے جتنے لمبے ہوں گے، اتنے ہی کم حصے ہوں گے۔ حوالہ سے ملتا جلتا ترجمہ صرف ایک حصہ دے گا۔ جرمانے کا حساب اس طرح کیا جاتا ہے، جہاں c حصوں کی تعداد ہے، اور ان یونیگراموں کی تعداد ہے جن کا نقشہ بنایا گیا ہے۔ کسی حصے کے لیے حتمی اسکور کا حساب ذیل میں کیا جاتا ہے۔ اگر کوئی بگ رام یا طویل میچ نہ ہوں تو جرمانے میں 50 فیصد تک کمی کا اثر پڑتا ہے۔ پورے کارپس، یا حصوں کے مجموعے پر اسکور کا حساب لگانے کے لیے، اور کے لیے مجموعی اقدار لی جاتی ہیں اور پھر اسی فارمولے کا استعمال کرتے ہوئے ملا دی جاتی ہیں۔ الگورتھم ایک سے زیادہ حوالہ جات کے ترجمے کے مقابلے میں امیدوار کے ترجمے کا موازنہ کرنے کے لیے بھی کام کرتا ہے۔ اس صورت میں الگورتھم امیدوار کا موازنہ ہر حوالہ جات سے کرتا ہے اور سب سے زیادہ اسکور کا انتخاب کرتا ہے۔ مثال کے طور پر BLEU F-پیمائش NIST (میٹرک) ROUGE (میٹرک) لفظ کی غلطی کی شرح (WER) LEPOR اسم-فقرہ چنکنگ نوٹس بنرجی، S. اور لاوی، A. بھی دیکھیں۔ (2005) حوالہ جات بنرجی، ایس۔ اور لاوی، اے۔ (2005) ایسوسی ایشن آف کمپیوٹیشنل لنگوسٹکس (اے سی ایل-2005)، این آربر، مشی گن، جون 2005 لاوی، اے۔، ساگے، کے۔ اور جیارمن، ایس۔ (2004) کی 43 ویں سالانہ میٹنگ میں ایم ٹی اور/یا خلاصہ کے لیے اندرونی اور بیرونی تشخیص کے اقدامات پر ورکشاپ کی کارروائی میں "میٹر: انسانی فیصلوں کے ساتھ بہتر ارتباط کے ساتھ ایم ٹی تشخیص کے لیے ایک خودکار میٹرک" اے ایم ٹی اے 2004، واشنگٹن ڈی سی کی کارروائی میں "ایم ٹی تشخیص کے لیے خودکار پیمائش میں یاد کرنے کی اہمیت"۔ ستمبر 2004 بیرونی روابط میٹیور آٹومیٹک مشین ٹرانسلیشن ایویلیوایشن سسٹم (بشمول ڈاؤن لوڈ کے لیے لنک) قدرتی زبان کی پروسیسنگ مشین ترجمہ کی تشخیص