Discounted cumulative gain
رعایتی مجموعی فائدہ (ڈی سی جی) کسی دیئے گئے استفسار کے لیے درجہ بندی کے معیار کی پیمائش ہے ؛ نارملائزڈ ڈی سی جی (این ڈی سی جی یا این ڈی سی جی) مخصوص استفسار سے آزاد درجہ بندی کے معیار کی پیمائش ہے۔ معلومات کی بازیافت میں، وہ اکثر سرچ انجن الگورتھم اور متعلقہ ایپلی کیشنز کی تاثیر کی پیمائش کے لیے استعمال ہوتے ہیں۔ سرچ انجن رزلٹ سیٹ میں دستاویزات کے درجہ بند مطابقت پیمانے کا استعمال کرتے ہوئے، ڈی سی جی نتیجہ کی فہرست میں اس کی پوزیشن کی بنیاد پر کسی دستاویز کی افادیت، یا فائدہ کی پیمائش کرتا ہے۔ فائدہ نتیجہ کی فہرست کے اوپری حصے سے نیچے تک جمع کیا جاتا ہے، جس میں ہر نتیجے کے فائدہ کو نچلی صفوں میں چھوٹ دی جاتی ہے۔ معمول کا ورژن اس حقیقت کو درست کرتا ہے کہ مختلف سوالات میں متعلقہ نتائج کی مختلف تعداد ہو سکتی ہے۔ جائزہ ڈی سی جی اور اس سے متعلق اقدامات کے استعمال میں دو مفروضے بنائے جاتے ہیں۔ انتہائی متعلقہ دستاویزات زیادہ مفید ہوتی ہیں جب سرچ انجن کے نتائج کی فہرست میں پہلے ظاہر ہوتی ہیں (اعلی درجے کی ہوتی ہیں) انتہائی متعلقہ دستاویزات معمولی طور پر متعلقہ دستاویزات سے زیادہ مفید ہوتی ہیں، جو بدلے میں غیر متعلقہ دستاویزات سے زیادہ مفید ہوتی ہیں۔ مجموعی فائدہ ڈی سی جی آسان پیمائش، مجموعی فائدہ (سی جی) کی اصلاح ہے۔ مجموعی فائدہ تلاش کے نتائج کی فہرست میں تمام نتائج کی درجہ بند مطابقت کی اقدار کا مجموعہ ہے۔ سی جی نتیجہ کی فہرست میں نتیجہ کے درجہ (پوزیشن) کو مدنظر نہیں رکھتا ہے۔ کسی خاص رینک کی پوزیشن پر سی جی کی تعریف اس طرح کی جاتی ہے: پوزیشن پر نتیجہ کی درجہ بند مطابقت کہاں ہے۔ سی جی فنکشن کے ساتھ شمار شدہ قدر تلاش کے نتائج کی ترتیب میں ہونے والی تبدیلیوں سے متاثر نہیں ہوتی ہے۔ یعنی، ایک انتہائی متعلقہ دستاویز کو اعلی درجہ، کم متعلقہ، دستاویز سے اوپر منتقل کرنے سے سی جی (فرض کرتے ہوئے) کے لیے کمپیوٹیڈ ویلیو میں تبدیلی نہیں آتی ہے۔ تلاش کے نتائج کی افادیت کے بارے میں اوپر کیے گئے دو مفروضوں کی بنیاد پر، (این) ڈی سی جی کو عام طور پر سی جی پر ترجیح دی جاتی ہے۔ مجموعی فائدہ کو بعض اوقات درجہ بند درستگی کہا جاتا ہے۔ ڈسکاؤنٹڈ کمولیٹو گین ڈی سی جی کی بنیاد یہ ہے کہ سرچ رزلٹ لسٹ میں کم نظر آنے والے انتہائی متعلقہ دستاویزات کو سزا دی جانی چاہیے کیونکہ درجہ بند مطابقت کی قیمت کو لوگرتھمک طور پر نتیجہ کی پوزیشن کے متناسب طور پر کم کیا جاتا ہے۔ کسی خاص درجہ کی پوزیشن پر جمع ہونے والے ڈی سی جی کے معمول کے فارمولے کی تعریف اس طرح کی جاتی ہے: اس سے پہلے اس حقیقت کے علاوہ کہ یہ ہموار کمی پیدا کرتا ہے، لوگرتھمک کمی عنصر کے استعمال کا کوئی نظریاتی طور پر درست جواز نہیں تھا۔ لیکن وانگ اور دیگر۔ (2013) نے نارملائزڈ ڈی سی جی (این ڈی سی جی) میں لوگرتھمک کمی عنصر کے استعمال کی نظریاتی ضمانت دی۔ مصنفین ظاہر کرتے ہیں کہ کافی حد تک مختلف درجہ بندی کے افعال کے ہر جوڑے کے لیے، این ڈی سی جی یہ فیصلہ کر سکتا ہے کہ کون سا مستقل انداز میں بہتر ہے۔ ڈی سی جی کی ایک متبادل تشکیل متعلقہ دستاویزات کی بازیافت پر زیادہ زور دیتی ہے: مؤخر الذکر فارمولا عام طور پر صنعت میں استعمال ہوتا ہے جس میں بڑی ویب سرچ کمپنیاں اور ڈیٹا سائنس کے مسابقتی پلیٹ فارم جیسے کیگل شامل ہیں۔ ڈی سی جی کی یہ دونوں فارمولیشنز ایک جیسی ہوتی ہیں جب دستاویزات کی مطابقت کی اقدار بائنری ہوتی ہیں۔ نوٹ کریں کہ کروفٹ اور دیگر۔ (2010) اور برجز اور دیگر۔ (2005) بیس ای کے لاگ کے ساتھ دوسرا ڈی سی جی پیش کرتا ہے، جبکہ اوپر ڈی سی جی کے دونوں ورژن بیس 2 کا لاگ استعمال کرتے ہیں۔ ڈی سی جی کی پہلی فارمولیشن کے ساتھ این ڈی سی جی کا حساب لگاتے وقت، لاگ کی بنیاد سے کوئی فرق نہیں پڑتا، لیکن لاگ کی بنیاد دوسری فارمولیشن کے لیے این ڈی سی جی کی قدر کو متاثر کرتی ہے۔ واضح طور پر، لاگ کی بنیاد دونوں فارمولیشن میں ڈی سی جی کی قدر کو متاثر کرتی ہے۔ عام ڈی سی جی تلاش کے نتائج کی فہرستیں استفسار کے لحاظ سے لمبائی میں مختلف ہوتی ہیں۔ سرچ انجن کی کارکردگی کا ایک استفسار سے دوسرے استفسار سے موازنہ کرنا صرف ڈی سی جی کا استعمال کرتے ہوئے مستقل طور پر حاصل نہیں کیا جا سکتا، اس لیے ہر پوزیشن پر منتخب کردہ قدر کے لیے مجموعی فائدہ کو تمام سوالات میں معمول پر لایا جانا چاہیے۔ یہ کارپس میں موجود تمام متعلقہ دستاویزات کو ان کی متعلقہ مطابقت کے مطابق ترتیب دے کر کیا جاتا ہے، جس سے پوزیشن کے ذریعے زیادہ سے زیادہ ممکنہ ڈی سی جی تیار ہوتا ہے، جسے اس پوزیشن کے ذریعے آئیڈیل ڈی سی جی (آئی ڈی سی جی) بھی کہا جاتا ہے۔ کسی استفسار کے لیے، عام رعایتی مجموعی فائدہ، یا این ڈی سی جی، کا حساب اس طرح کیا جاتا ہے:، جہاں آئی ڈی سی جی مثالی رعایتی مجموعی فائدہ ہے، اور پوزیشن پی تک کارپس میں متعلقہ دستاویزات کی فہرست (ان کی مطابقت کے مطابق ترتیب دی گئی) کی نمائندگی کرتا ہے۔ تمام سوالات کے لیے این ڈی سی جی اقدار کو سرچ انجن کے درجہ بندی الگورتھم کی اوسط کارکردگی کی پیمائش حاصل کرنے کے لیے اوسط کیا جا سکتا ہے۔ نوٹ کریں کہ ایک کامل درجہ بندی الگورتھم میں، 1 کی این ڈی سی جی تیار کرنے کے برابر ہوگا۔ اس کے بعد تمام این ڈی سی جی حسابات 0.0 سے 1.0 کے وقفے پر متعلقہ اقدار ہوتے ہیں اور اسی طرح کراس سوال موازنہ ہوتے ہیں۔ این ڈی سی جی کے استعمال میں درپیش بنیادی دشواری نتائج کی مثالی ترتیب کی عدم دستیابی ہے جب صرف جزوی مطابقت کا فیڈ بیک دستیاب ہوتا ہے۔ تلاش کے استفسار کے جواب میں دستاویزات کی فہرست کے ساتھ پیش کردہ مثال، ایک تجربہ کار شریک سے کہا جاتا ہے کہ وہ استفسار میں ہر دستاویز کی مطابقت کا اندازہ کرے۔ ہر دستاویز کا فیصلہ 0-3 کے پیمانے پر کیا جانا چاہیے جس میں 0 کا مطلب متعلقہ نہیں ہے، 3 کا مطلب انتہائی متعلقہ ہے، اور 1 اور 2 کا مطلب "درمیان میں کہیں" ہے۔ درجہ بندی الگورتھم کے ذریعہ آرڈر کردہ دستاویزات کے لیے صارف درج ذیل مطابقت کے اسکور فراہم کرتا ہے: یعنی: دستاویز 1 کی مطابقت 3 ہے، دستاویز 2 کی مطابقت 2 ہے، وغیرہ۔ اس سرچ رزلٹ لسٹنگ کا مجموعی فائدہ یہ ہے کہ: کسی بھی دو دستاویزات کی ترتیب کو تبدیل کرنے سے سی جی پیمائش متاثر نہیں ہوتی ہے۔ اگر اور تبدیل کیے جاتے ہیں، تو سی جی وہی رہتا ہے، 11۔ ڈی سی جی کا استعمال نتائج کی فہرست میں ابتدائی طور پر ظاہر ہونے والے انتہائی متعلقہ دستاویزات پر زور دینے کے لیے کیا جاتا ہے۔ کمی کے لیے لوگرتھمک پیمانے کا استعمال کرتے ہوئے، ترتیب میں ہر نتیجے کے لیے ڈی سی جی یہ ہے: تو اس درجہ بندی کا نتیجہ یہ ہے: اب ایک تبدیلی اور اس کے نتیجے میں ڈی سی جی میں کمی واقع ہوتی ہے کیونکہ درجہ بندی میں کم متعلقہ دستاویز کو زیادہ رکھا جاتا ہے ؛ یعنی، ایک زیادہ متعلقہ دستاویز کو نچلے درجے میں رکھ کر زیادہ رعایت دی جاتی ہے۔ اس استفسار کی دوسرے کے ساتھ کارکردگی اس شکل میں بے مثال ہے کیونکہ دوسرے استفسار کے زیادہ نتائج ہو سکتے ہیں، جس کے نتیجے میں مجموعی طور پر ایک بڑا ڈی سی جی ہو سکتا ہے جو ضروری نہیں کہ بہتر ہو۔ موازنہ کرنے کے لیے، ڈی سی جی اقدار کو معمول پر لانا ضروری ہے۔ ڈی سی جی اقدار کو معمول پر لانے کے لیے، دی گئی استفسار کے لیے ایک مثالی ترتیب کی ضرورت ہے۔ اس مثال کے لیے، یہ ترتیب تمام معروف مطابقت کے فیصلوں کی یکسانیت سے کم ہوتی ہوئی قسم ہوگی۔ اس تجربے کے چھ کے علاوہ، فرض کریں کہ ہم یہ بھی جانتے ہیں کہ اسی استفسار کے لیے مطابقت گریڈ 3 والی دستاویز اور اس استفسار کے لیے مطابقت گریڈ 2 والی دستاویز موجود ہے۔ پھر مثالی ترتیب یہ ہے: درجہ بندی کے تجزیے کی گہرائی سے ملنے کے لیے مثالی درجہ بندی کو دوبارہ لمبائی 6 تک کاٹ دیا جاتا ہے: اس مثالی ترتیب کا ڈی سی جی، یا آئی ڈی سی جی (مثالی ڈی سی جی)، درجہ 6 پر شمار کیا جاتا ہے: اور اس لیے اس استفسار کے لیے این ڈی سی جی اس طرح دیا جاتا ہے: حدود عام ڈی سی جی میٹرک نتیجے میں خراب دستاویزات کے لیے سزا نہیں دیتا ہے۔ مثال کے طور پر، اگر کوئی استفسار بالترتیب اسکور کے ساتھ دو نتائج دیتا ہے، تو دونوں کو یکساں طور پر اچھا سمجھا جائے گا چاہے مؤخر الذکر میں کوئی خراب دستاویز موجود ہو۔ درجہ بندی کے فیصلوں کے لیے کوئی اس کے بجائے عددی اسکور استعمال کر سکتا ہے۔ اگر خراب نتائج واپس آتے ہیں تو یہ اسکور کو کم کرنے کا سبب بنتا ہے، یاد کرنے پر نتائج کی درستگی کو ترجیح دیتا ہے۔ نوٹ کریں کہ اس نقطہ نظر کے نتیجے میں مجموعی طور پر منفی اسکور ہو سکتا ہے جو اسکور کی نچلی حد کو منفی قدر میں منتقل کر دے گا۔ عام کردہ ڈی سی جی نتیجے میں گمشدہ دستاویزات کے لیے سزا نہیں دیتا ہے۔ مثال کے طور پر، اگر کوئی استفسار بالترتیب اسکور کے ساتھ دو نتائج دیتا ہے، تو دونوں کو یکساں طور پر اچھا سمجھا جائے گا، یہ فرض کرتے ہوئے کہ مثالی ڈی سی جی کو سابقہ کے لیے رینک 3 اور مؤخر الذکر کے لیے رینک 5 پر شمار کیا جاتا ہے۔ اس حد کو مدنظر رکھنے کا ایک طریقہ یہ ہے کہ نتیجہ سیٹ کے لیے مقررہ سیٹ سائز کو نافذ کیا جائے اور گمشدہ دستاویزات کے لیے کم از کم اسکور کا استعمال کیا جائے۔ پچھلی مثال میں، ہم اسکور استعمال کریں گے اور این ڈی سی جی کو nDCG@5 کے طور پر حوالہ دیں گے۔ عام کردہ ڈی سی جی ان سوالات کی کارکردگی کی پیمائش کے لیے موزوں نہیں ہو سکتا جن کے اکثر اتنے ہی اچھے نتائج ہو سکتے ہیں۔ یہ خاص طور پر سچ ہے جب یہ میٹرک صرف پہلے چند نتائج تک محدود ہو جیسا کہ عملی طور پر کیا جاتا ہے۔ مثال کے طور پر، "ریستوراں" جیسے سوالات کے لیے nDCG@1 صرف پہلے نتیجے کے لیے ذمہ دار ہوگا اور اس لیے اگر ایک نتیجہ سیٹ میں قریبی علاقے سے صرف 1 ریستوراں ہوتا ہے جبکہ دوسرے میں 5 ہوتے ہیں، تو دونوں کا اسکور ایک جیسا ہوگا حالانکہ مؤخر الذکر زیادہ جامع ہے۔ تشخیص کے اقدامات (معلومات کی بازیافت) حوالہ جات کی معلومات کی بازیافت کی تشخیص کو درجہ بندی کرنا سیکھنا بھی دیکھیں۔