Discounted cumulative gain
रियायती संचयी लाभ (डी. सी. जी.) किसी दिए गए प्रश्न के लिए श्रेणी गुणवत्ता का एक उपाय है; सामान्यीकृत डी. सी. जी. (एन. डी. सी. जी. या एन. डी. सी. जी.) विशेष प्रश्न से स्वतंत्र श्रेणी गुणवत्ता का एक उपाय है। सूचना पुनर्प्राप्ति में, उनका उपयोग अक्सर खोज इंजन एल्गोरिदम और संबंधित अनुप्रयोगों की प्रभावशीलता को मापने के लिए किया जाता है। खोज-इंजन परिणाम समूह में दस्तावेजों की श्रेणीबद्ध प्रासंगिकता पैमाने का उपयोग करके, डी. सी. जी. परिणाम सूची में दस्तावेज़ की स्थिति के आधार पर उसकी उपयोगिता या लाभ को मापता है। लाभ को परिणाम सूची के शीर्ष से नीचे तक जमा किया जाता है, जिसमें प्रत्येक परिणाम के लाभ को निचले रैंक पर छूट दी जाती है। सामान्यीकृत संस्करण इस तथ्य को सही करता है कि अलग-अलग प्रश्नों में प्रासंगिक परिणामों की अलग-अलग संख्या हो सकती है। अवलोकन डी. सी. जी. और उससे संबंधित उपायों का उपयोग करने में दो धारणाएँ की जाती हैं। अत्यधिक प्रासंगिक दस्तावेज़ अधिक उपयोगी होते हैं जब खोज इंजन परिणाम सूची में पहले दिखाई देते हैं (उच्च रैंक वाले) अत्यधिक प्रासंगिक दस्तावेज़ मामूली रूप से प्रासंगिक दस्तावेज़ों की तुलना में अधिक उपयोगी होते हैं, जो बदले में गैर-प्रासंगिक दस्तावेज़ों की तुलना में अधिक उपयोगी होते हैं। संचयी लाभ डी. सी. जी. सरल उपाय संचयी लाभ (सी. जी.) का एक परिष्करण है। संचयी लाभ एक खोज परिणाम सूची में सभी परिणामों के श्रेणीबद्ध प्रासंगिकता मूल्यों का योग है। सी. जी. परिणाम सूची में परिणाम की श्रेणी (स्थिति) को ध्यान में नहीं रखता है। एक विशेष रैंक की स्थिति में सी. जी. को इस प्रकार परिभाषित किया गया हैः जहां स्थिति में परिणाम की श्रेणीबद्ध प्रासंगिकता है। सी. जी. फलन के साथ संगणित मान खोज परिणामों के क्रम में परिवर्तन से अप्रभावित रहता है। अर्थात्, एक अत्यधिक प्रासंगिक दस्तावेज़ को उच्च श्रेणी के, कम प्रासंगिक दस्तावेज़ से ऊपर ले जाने से सी. जी. (मान लेते हुए) के लिए संगणित मूल्य नहीं बदलता है। खोज परिणामों की उपयोगिता के बारे में ऊपर की गई दो धारणाओं के आधार पर, (एन) डी. सी. जी. को आमतौर पर सी. जी. पर प्राथमिकता दी जाती है। संचयी लाभ को कभी-कभी श्रेणीबद्ध परिशुद्धता कहा जाता है। छूट प्राप्त संचयी लाभ डी. सी. जी. का आधार यह है कि खोज परिणाम सूची में कम दिखाई देने वाले अत्यधिक प्रासंगिक दस्तावेजों को दंडित किया जाना चाहिए क्योंकि श्रेणीबद्ध प्रासंगिकता मूल्य परिणाम की स्थिति के आनुपातिक रूप से लघुगणकीय रूप से कम हो जाता है। एक विशेष श्रेणी स्थिति पर संचित डी. सी. जी. के सामान्य सूत्र को इस प्रकार परिभाषित किया गया हैः पहले लॉगरिदमिक रिडक्शन कारक का उपयोग करने के लिए इस तथ्य के अलावा कोई सैद्धांतिक रूप से ठोस औचित्य नहीं था कि यह एक सहज कमी पैदा करता है। लेकिन वांग एट अल। (2013) ने सामान्यीकृत डी. सी. जी. (एन. डी. सी. जी.) में लघुगणक कमी कारक का उपयोग करने के लिए सैद्धांतिक गारंटी दी। लेखकों से पता चलता है कि काफी अलग-अलग रैंकिंग कार्यों की प्रत्येक जोड़ी के लिए, एन. डी. सी. जी. यह तय कर सकता है कि कौन सा एक सुसंगत तरीके से बेहतर है। डी. सी. जी. का एक वैकल्पिक सूत्रीकरण प्रासंगिक दस्तावेजों को पुनः प्राप्त करने पर अधिक जोर देता हैः बाद वाला सूत्र आमतौर पर प्रमुख वेब खोज कंपनियों और कैगल जैसे डेटा विज्ञान प्रतिस्पर्धा प्लेटफार्मों सहित उद्योग में उपयोग किया जाता है। डी. सी. जी. के ये दो सूत्रीकरण समान होते हैं जब दस्तावेजों की प्रासंगिकता मान द्विआधारी होते हैं। ध्यान दें कि क्रॉफ्ट एट अल। (2010) और बर्गेस एट अल। (2005) बेस ई के लॉग के साथ दूसरे डीसीजी को प्रस्तुत करता है, जबकि ऊपर दिए गए डीसीजी के दोनों संस्करण बेस 2 के लॉग का उपयोग करते हैं। डी. सी. जी. के पहले सूत्रीकरण के साथ एन. डी. सी. जी. की गणना करते समय, लॉग का आधार मायने नहीं रखता है, लेकिन लॉग का आधार दूसरे सूत्रीकरण के लिए एन. डी. सी. जी. के मूल्य को प्रभावित करता है। स्पष्ट रूप से, लॉग का आधार दोनों फॉर्मूलेशन में डीसीजी के मूल्य को प्रभावित करता है। सामान्यीकृत डी. सी. जी. खोज परिणाम सूचियाँ प्रश्न के आधार पर लंबाई में भिन्न होती हैं। एक खोज इंजन के प्रदर्शन की तुलना एक प्रश्न से दूसरे प्रश्न से करना अकेले डी. सी. जी. का उपयोग करके लगातार प्राप्त नहीं किया जा सकता है, इसलिए प्रत्येक स्थिति में एक चुने हुए मूल्य के लिए संचयी लाभ को सभी प्रश्नों में सामान्य किया जाना चाहिए। यह कोष में सभी प्रासंगिक दस्तावेजों को उनकी सापेक्ष प्रासंगिकता के आधार पर क्रमबद्ध करके किया जाता है, जिससे उस स्थिति के माध्यम से अधिकतम संभव डी. सी. जी. का उत्पादन होता है, जिसे आदर्श डी. सी. जी. (आई. डी. सी. जी.) भी कहा जाता है। एक प्रश्न के लिए, सामान्यीकृत रियायती संचयी लाभ, या एन. डी. सी. जी. की गणना इस प्रकार की जाती हैः, जहां आई. डी. सी. जी. आदर्श रियायती संचयी लाभ है, और स्थिति पी तक कोष में प्रासंगिक दस्तावेजों (उनकी प्रासंगिकता के अनुसार क्रमबद्ध) की सूची का प्रतिनिधित्व करता है। सभी प्रश्नों के लिए एन. डी. सी. जी. मानों को खोज इंजन के रैंकिंग एल्गोरिदम के औसत प्रदर्शन के माप को प्राप्त करने के लिए औसत किया जा सकता है। ध्यान दें कि एक पूर्ण श्रेणीकरण एल्गोरिथ्म में, यह 1 के एन. डी. सी. जी. के उत्पादन के समान होगा। सभी एन. डी. सी. जी. गणनाएँ 0 से 1 के अंतराल पर सापेक्ष मान हैं और इसलिए क्रॉस-क्वेरी तुलनीय हैं। एन. डी. सी. जी. का उपयोग करने में आने वाली मुख्य कठिनाई परिणामों के एक आदर्श क्रम की अनुपलब्धता है जब केवल आंशिक प्रासंगिकता प्रतिक्रिया उपलब्ध होती है। एक खोज प्रश्न के जवाब में दस्तावेजों की सूची के साथ प्रस्तुत उदाहरण, एक प्रयोग प्रतिभागी को प्रश्न के लिए प्रत्येक दस्तावेज़ की प्रासंगिकता का न्याय करने के लिए कहा जाता है। प्रत्येक दस्तावेज़ को 0-3 के पैमाने पर आंका जाना है जिसमें 0 का अर्थ प्रासंगिक नहीं है, 3 का अर्थ अत्यधिक प्रासंगिक है, और 1 और 2 का अर्थ "बीच में कहीं" है। रैंकिंग एल्गोरिदम द्वारा आदेशित दस्तावेजों के लिए उपयोगकर्ता निम्नलिखित प्रासंगिकता अंक प्रदान करता हैः अर्थात्ः दस्तावेज़ 1 की प्रासंगिकता 3 है, दस्तावेज़ 2 की प्रासंगिकता 2 है, आदि। इस खोज परिणाम सूची का संचयी लाभ यह हैः किसी भी दो दस्तावेजों के क्रम को बदलने से सी. जी. उपाय प्रभावित नहीं होता है। यदि और स्विच किए जाते हैं, तो CG वही रहता है, 11। डी. सी. जी. का उपयोग परिणाम सूची में जल्दी दिखाई देने वाले अत्यधिक प्रासंगिक दस्तावेजों पर जोर देने के लिए किया जाता है। कम करने के लिए लघुगणक पैमाने का उपयोग करते हुए, प्रत्येक परिणाम के लिए क्रम में डी. सी. जी. हैः तो इस श्रेणी का परिणाम हैः अब एक बदलाव और कम डी. सी. जी. में परिणाम क्योंकि एक कम प्रासंगिक दस्तावेज़ को श्रेणी में अधिक रखा जाता है; यानी, एक अधिक प्रासंगिक दस्तावेज़ को कम श्रेणी में रखकर अधिक छूट दी जाती है। इस प्रश्न का दूसरे के लिए प्रदर्शन इस रूप में अतुलनीय है क्योंकि अन्य प्रश्न के अधिक परिणाम हो सकते हैं, जिसके परिणामस्वरूप एक बड़ा समग्र डीसीजी हो सकता है जो आवश्यक रूप से बेहतर नहीं हो सकता है। तुलना करने के लिए, डी. सी. जी. मानों को सामान्य किया जाना चाहिए। डी. सी. जी. मानों को सामान्य करने के लिए, दिए गए प्रश्न के लिए एक आदर्श क्रम की आवश्यकता होती है। इस उदाहरण के लिए, वह क्रम सभी ज्ञात प्रासंगिकता निर्णयों का नीरस रूप से घटता हुआ प्रकार होगा। इस प्रयोग के छह के अलावा, मान लीजिए कि हम यह भी जानते हैं कि एक ही क्वेरी के लिए प्रासंगिकता ग्रेड 3 वाला एक दस्तावेज़ है और उस क्वेरी के लिए प्रासंगिकता ग्रेड 2 वाला एक दस्तावेज़ है। फिर आदर्श क्रम यह हैः श्रेणीकरण के विश्लेषण की गहराई से मेल खाने के लिए आदर्श श्रेणीकरण को फिर से 6 की लंबाई तक काट दिया जाता हैः इस आदर्श श्रेणीकरण के डी. सी. जी. या आई. डी. सी. जी. (आदर्श डी. सी. जी.) की गणना 6 की श्रेणी में की जाती हैः और इसलिए इस प्रश्न के लिए एन. डी. सी. जी. इस प्रकार दी जाती हैः सीमाएं सामान्यीकृत डी. सी. जी. मीट्रिक परिणाम में खराब दस्तावेजों के लिए दंडित नहीं करता है। उदाहरण के लिए, यदि कोई प्रश्न क्रमशः अंकों के साथ दो परिणाम देता है, तो दोनों को समान रूप से अच्छा माना जाएगा, भले ही बाद वाले में एक खराब दस्तावेज़ हो। रैंकिंग निर्णयों के लिए इसके बजाय संख्यात्मक अंकों का उपयोग किया जा सकता है। यदि खराब परिणाम वापस किए जाते हैं, तो यह स्कोर को कम कर देगा, याद करने पर परिणामों की सटीकता को प्राथमिकता देता है। ध्यान दें कि इस दृष्टिकोण के परिणामस्वरूप एक समग्र नकारात्मक अंक हो सकता है जो अंक की निचली सीमा को नकारात्मक मूल्य में बदल देगा। सामान्यीकृत डी. सी. जी. परिणाम में गुम दस्तावेजों के लिए दंडित नहीं करता है। उदाहरण के लिए, यदि कोई प्रश्न क्रमशः अंकों के साथ दो परिणाम देता है, तो दोनों को समान रूप से अच्छा माना जाएगा, यह मानते हुए कि आदर्श डी. सी. जी. की गणना पहले वाले के लिए 3 वें स्थान और बाद वाले के लिए 5 वें स्थान पर की जाती है। इस सीमा को ध्यान में रखने का एक तरीका परिणाम सेट के लिए निश्चित सेट आकार को लागू करना और लापता दस्तावेजों के लिए न्यूनतम अंकों का उपयोग करना है। पिछले उदाहरण में, हम अंकों का उपयोग करेंगे और एन. डी. सी. जी. को nDCG@5 के रूप में उद्धृत करेंगे। सामान्यीकृत डी. सी. जी. उन प्रश्नों के प्रदर्शन को मापने के लिए उपयुक्त नहीं हो सकता है जिनके अक्सर कई समान रूप से अच्छे परिणाम हो सकते हैं। यह विशेष रूप से सच है जब यह मीट्रिक केवल पहले कुछ परिणामों तक सीमित है क्योंकि यह व्यवहार में किया जाता है। उदाहरण के लिए, "रेस्तरां" जैसे प्रश्नों के लिए nDCG@1 केवल पहले परिणाम के लिए जिम्मेदार होगा और इसलिए यदि एक परिणाम सेट में आस-पास के क्षेत्र से केवल 1 रेस्तरां है जबकि दूसरे में 5 हैं, तो दोनों में समान अंक होंगे, भले ही बाद वाला अधिक व्यापक हो। मूल्यांकन उपाय (सूचना पुनर्प्राप्ति) संदर्भ सूचना पुनर्प्राप्ति मूल्यांकन को श्रेणीबद्ध करना सीखना भी देखें।