Discounted cumulative gain
ডিসকাউন্টেড ক্যুমুলেটিভ গেইন (ডিসিজি) একটি প্রদত্ত প্রশ্নের জন্য র্যাঙ্কিং মানের একটি পরিমাপ; নরমালাইজড ডিসিজি (এনডিসিজি বা এনডিসিজি) নির্দিষ্ট প্রশ্নের থেকে স্বাধীন র্যাঙ্কিং মানের একটি পরিমাপ। তথ্য পুনরুদ্ধারে, এগুলি প্রায়শই সার্চ ইঞ্জিন অ্যালগরিদম এবং সম্পর্কিত অ্যাপ্লিকেশনগুলির কার্যকারিতা পরিমাপ করতে ব্যবহৃত হয়। একটি সার্চ ইঞ্জিন ফলাফল সেটের নথির একটি শ্রেণীবদ্ধ প্রাসঙ্গিকতা স্কেল ব্যবহার করে, ডিসিজি ফলাফল তালিকায় তার অবস্থানের উপর ভিত্তি করে একটি নথির উপযোগিতা বা লাভ পরিমাপ করে। লাভটি ফলাফল তালিকার শীর্ষ থেকে নীচে পর্যন্ত জমা হয়, প্রতিটি ফলাফলের লাভ নিম্ন র্যাঙ্কগুলিতে ছাড় দেওয়া হয়। স্বাভাবিক সংস্করণটি এই সত্যের জন্য সংশোধন করে যে বিভিন্ন প্রশ্নের প্রাসঙ্গিক ফলাফলের সংখ্যা ভিন্ন হতে পারে। সংক্ষিপ্ত বিবরণ ডিসিজি এবং এর সম্পর্কিত ব্যবস্থাগুলি ব্যবহারের ক্ষেত্রে দুটি অনুমান করা হয়। একটি সার্চ ইঞ্জিনের ফলাফলের তালিকায় আগে উপস্থিত হওয়ার সময় অত্যন্ত প্রাসঙ্গিক নথিগুলি আরও কার্যকর হয় (উচ্চতর পদমর্যাদার) অত্যন্ত প্রাসঙ্গিক নথিগুলি সামান্য প্রাসঙ্গিক নথির চেয়ে বেশি কার্যকর, যা অপ্রাসঙ্গিক নথির তুলনায় আরও কার্যকর। কিউমুলেটিভ গেইন ডিসিজি হল সহজ পরিমাপ, কিউমুলেটিভ গেইন (সিজি)-এর একটি পরিমার্জন। সঞ্চিত লাভ হল একটি অনুসন্ধান ফলাফল তালিকার সমস্ত ফলাফলের শ্রেণীবদ্ধ প্রাসঙ্গিকতা মানগুলির সমষ্টি। সিজি ফলাফলের তালিকায় ফলাফলের র্যাঙ্ক (অবস্থান) বিবেচনা করে না। একটি নির্দিষ্ট পদমর্যাদার সিজি হিসাবে সংজ্ঞায়িত করা হয়ঃ অবস্থানে ফলাফলের শ্রেণীবদ্ধ প্রাসঙ্গিকতা কোথায়। সিজি ফাংশনের সাথে গণনা করা মানটি অনুসন্ধান ফলাফলের ক্রম পরিবর্তনের দ্বারা প্রভাবিত হয় না। অর্থাৎ, একটি অত্যন্ত প্রাসঙ্গিক নথিকে উচ্চতর, কম প্রাসঙ্গিক নথির উপরে নিয়ে যাওয়া সিজি (ধরে নেওয়া)-র জন্য গণনাকৃত মান পরিবর্তন করে না। অনুসন্ধান ফলাফলের উপযোগিতা সম্পর্কে উপরে করা দুটি অনুমানের উপর ভিত্তি করে, (এন) ডিসিজি সাধারণত সিজির চেয়ে বেশি পছন্দ করা হয়। সঞ্চিত লাভকে কখনও কখনও গ্রেডেড প্রিসিশন বলা হয়। ডিসিসিজির ভিত্তি হল যে অনুসন্ধান ফলাফলের তালিকায় কম প্রদর্শিত অত্যন্ত প্রাসঙ্গিক নথিগুলিকে শাস্তি দেওয়া উচিত কারণ শ্রেণীবদ্ধ প্রাসঙ্গিকতার মান ফলাফলের অবস্থানের সাথে আনুপাতিকভাবে লগারিদমিকভাবে হ্রাস করা হয়। একটি নির্দিষ্ট র্যাঙ্ক অবস্থানে সঞ্চিত ডিসিজি-র স্বাভাবিক সূত্রটি এইভাবে সংজ্ঞায়িত করা হয়ঃ পূর্বে লগারিদমিক হ্রাস ফ্যাক্টর ব্যবহার করার জন্য কোনও তাত্ত্বিকভাবে সঠিক যৌক্তিকতা ছিল না এই সত্য ছাড়া যে এটি একটি মসৃণ হ্রাস তৈরি করে। কিন্তু ওয়াং এবং অন্যান্যরা। (2013) নরমালাইজড ডিসিজি (এনডিসিজি)-তে লগারিদমিক হ্রাস ফ্যাক্টর ব্যবহারের জন্য তাত্ত্বিক নিশ্চয়তা দিয়েছে। লেখকরা দেখিয়েছেন যে উল্লেখযোগ্যভাবে বিভিন্ন র্যাঙ্কিং ফাংশনের প্রতিটি জুটির জন্য, এন. ডি. সি. জি স্থির পদ্ধতিতে সিদ্ধান্ত নিতে পারে যে কোনটি ভাল। ডিসিজির একটি বিকল্প সূত্র প্রাসঙ্গিক নথি পুনরুদ্ধারের উপর আরও জোর দেয়ঃ পরবর্তী সূত্রটি সাধারণত প্রধান ওয়েব অনুসন্ধান সংস্থাগুলি এবং ক্যাগলের মতো ডেটা সায়েন্স প্রতিযোগিতা প্ল্যাটফর্ম সহ শিল্পে ব্যবহৃত হয়। যখন নথির প্রাসঙ্গিকতা মানগুলি বাইনারি হয় তখন ডিসিজির এই দুটি সূত্র একই হয়। লক্ষ্য করুন যে ক্রফ্ট এবং অন্যান্যরা। (2010) এবং বার্জেস এট আল। (2005) বেস ই-এর লগ সহ দ্বিতীয় ডিসিজি উপস্থাপন করে, যেখানে উপরের ডিসিজি-র উভয় সংস্করণই বেস 2-এর লগ ব্যবহার করে। ডিসিজির প্রথম গঠনের সাথে এনডিসিজি গণনা করার সময়, লগের ভিত্তি কোন ব্যাপার না, তবে লগের ভিত্তি দ্বিতীয় গঠনের জন্য এনডিসিজির মানকে প্রভাবিত করে। স্পষ্টতই, লগের ভিত্তি উভয় ফর্মুলেশনে ডিসিজির মানকে প্রভাবিত করে। সাধারণ ডিসিজি অনুসন্ধান ফলাফল তালিকা প্রশ্নের উপর নির্ভর করে দৈর্ঘ্যে পরিবর্তিত হয়। একটি অনুসন্ধান ইঞ্জিনের কার্যকারিতা একটি প্রশ্ন থেকে অন্যটির সাথে তুলনা করা একা ডিসিজি ব্যবহার করে ধারাবাহিকভাবে অর্জন করা যায় না, তাই প্রতিটি অবস্থানে নির্বাচিত মানের জন্য ক্রমবর্ধমান লাভ প্রশ্ন জুড়ে স্বাভাবিক করা উচিত। কর্পাসের সমস্ত প্রাসঙ্গিক নথিকে তাদের আপেক্ষিক প্রাসঙ্গিকতা দ্বারা বাছাই করে, অবস্থানের মাধ্যমে সর্বাধিক সম্ভাব্য ডিসিজি তৈরি করে, যাকে সেই অবস্থানের মাধ্যমে আদর্শ ডিসিজি (আইডিসিজি) বলা হয়। একটি প্রশ্নের জন্য, স্বাভাবিক ছাড়যুক্ত ক্রমবর্ধমান লাভ, বা এন. ডি. সি. জি, হিসাবে গণনা করা হয়ঃ, যেখানে আই. ডি. সি. জি আদর্শ ছাড়যুক্ত ক্রমবর্ধমান লাভ, এবং অবস্থান পি পর্যন্ত কর্পাসের প্রাসঙ্গিক নথির তালিকা (তাদের প্রাসঙ্গিকতা দ্বারা সাজানো) উপস্থাপন করে। সমস্ত প্রশ্নের জন্য এন. ডি. সি. জি মানগুলি একটি সার্চ ইঞ্জিনের র্যাঙ্কিং অ্যালগরিদমের গড় পারফরম্যান্সের পরিমাপ পেতে গড় করা যেতে পারে। লক্ষ্য করুন যে একটি নিখুঁত র্যাঙ্কিং অ্যালগরিদমে, 1-এর একটি এন. ডি. সি. জি উৎপাদনের মতোই হবে। সমস্ত এন. ডি. সি. জি গণনাগুলি 0 থেকে 1 অবধি আপেক্ষিক মান এবং তাই ক্রস-প্রশ্ন তুলনীয়। এন. ডি. সি. জি ব্যবহারের ক্ষেত্রে প্রধান অসুবিধা হল ফলাফলের একটি আদর্শ ক্রমের অনুপলব্ধতা যখন শুধুমাত্র আংশিক প্রাসঙ্গিক প্রতিক্রিয়া পাওয়া যায়। একটি অনুসন্ধান প্রশ্নের জবাবে নথির একটি তালিকা সহ উপস্থাপিত উদাহরণ, একটি পরীক্ষায় অংশগ্রহণকারীকে প্রশ্নের সাথে প্রতিটি নথির প্রাসঙ্গিকতা বিচার করতে বলা হয়। প্রতিটি নথিকে 0-3 স্কেলে বিচার করতে হবে যার মধ্যে 0 মানে প্রাসঙ্গিক নয়, 3 মানে অত্যন্ত প্রাসঙ্গিক এবং 1 এবং 2 মানে "মাঝখানে কোথাও"। র্যাঙ্কিং অ্যালগরিদম দ্বারা অর্ডার করা নথির জন্য ব্যবহারকারী নিম্নলিখিত প্রাসঙ্গিকতা স্কোর সরবরাহ করেঃ অর্থাৎঃ নথি 1-এর প্রাসঙ্গিকতা 3, নথি 2-এর প্রাসঙ্গিকতা 2, ইত্যাদি। এই অনুসন্ধান ফলাফল তালিকার সমষ্টিগত লাভটি হলঃ যে কোনও দুটি নথির ক্রম পরিবর্তন করা সিজি পরিমাপকে প্রভাবিত করে না। যদি এবং পরিবর্তন করা হয়, সিজি একই থাকে, 11। ডিসিজি ফলাফল তালিকার প্রথম দিকে উপস্থিত অত্যন্ত প্রাসঙ্গিক নথির উপর জোর দেওয়ার জন্য ব্যবহৃত হয়। হ্রাসের জন্য লগারিদমিক স্কেল ব্যবহার করে, প্রতিটি ফলাফলের জন্য ডিসিজি ক্রমানুসারে হলঃ সুতরাং এই র্যাঙ্কিংয়ের ফলাফল হলঃ এখন একটি পরিবর্তন এবং একটি হ্রাস ডিসিজি ফলাফল কারণ একটি কম প্রাসঙ্গিক নথি র্যাঙ্কিংয়ে উচ্চতর স্থাপন করা হয়; অর্থাৎ, একটি আরও প্রাসঙ্গিক নথি নিম্ন পদে স্থাপন করে আরও বেশি ছাড় দেওয়া হয়। অন্য প্রশ্নের সাথে এই প্রশ্নের কার্যকারিতা এই আকারে অতুলনীয় কারণ অন্য প্রশ্নের আরও বেশি ফলাফল থাকতে পারে, যার ফলে বৃহত্তর সামগ্রিক ডিসিজি হতে পারে যা অগত্যা আরও ভাল নাও হতে পারে। তুলনা করার জন্য, ডিসিজি মানগুলি অবশ্যই স্বাভাবিক করতে হবে। ডিসিজি মানগুলি স্বাভাবিক করতে, প্রদত্ত প্রশ্নের জন্য একটি আদর্শ ক্রম প্রয়োজন। এই উদাহরণের জন্য, সেই ক্রমটি সমস্ত পরিচিত প্রাসঙ্গিকতা বিচারের একঘেয়েভাবে হ্রাসকারী ধরণের হবে। এই পরীক্ষার ছয়টি ছাড়াও, ধরুন আমরা জানি যে একই প্রশ্নের প্রাসঙ্গিকতা গ্রেড 3 সহ একটি নথি এবং সেই প্রশ্নের প্রাসঙ্গিকতা গ্রেড 2 সহ একটি নথি রয়েছে। তারপরে আদর্শ ক্রমটি হ 'লঃ র্যাঙ্কিংয়ের বিশ্লেষণের গভীরতার সাথে মেলে আদর্শ র্যাঙ্কিংটি আবার দৈর্ঘ্য 6-এ কাটা হয়ঃ এই আদর্শ ক্রমের ডিসিজি, বা আইডিসিজি (আদর্শ ডিসিজি), র্যাঙ্ক 6-এ গণনা করা হয়ঃ এবং তাই এই প্রশ্নের জন্য এনডিসিজি দেওয়া হয়ঃ সীমাবদ্ধতা স্বাভাবিক ডিসিজি মেট্রিক ফলাফলে খারাপ নথির জন্য শাস্তি দেয় না। উদাহরণস্বরূপ, যদি একটি প্রশ্ন যথাক্রমে স্কোর সহ দুটি ফলাফল প্রদান করে, তবে উভয়ই সমানভাবে ভাল বলে বিবেচিত হবে, এমনকি যদি পরেরটিতে একটি খারাপ নথি থাকে। র্যাঙ্কিং বিচারের জন্য এর পরিবর্তে সংখ্যাসূচক স্কোর ব্যবহার করা যেতে পারে। এর ফলে স্কোর কম হবে যদি খারাপ ফলাফল ফিরে আসে, প্রত্যাহারের চেয়ে ফলাফলের নির্ভুলতাকে অগ্রাধিকার দেয়। মনে রাখবেন যে এই পদ্ধতির ফলে সামগ্রিক নেতিবাচক স্কোর হতে পারে যা স্কোরের নিম্ন সীমাটিকে নেতিবাচক মান থেকে স্থানান্তরিত করবে। স্বাভাবিক ডিসিজি ফলাফলে নথি অনুপস্থিতির জন্য শাস্তি দেয় না। উদাহরণস্বরূপ, যদি কোনও প্রশ্ন যথাক্রমে স্কোর সহ দুটি ফলাফল প্রদান করে, তবে উভয়কেই সমানভাবে ভাল হিসাবে বিবেচনা করা হবে, ধরে নেওয়া যায় যে আদর্শ ডিসিজি প্রথমটির জন্য 3য় এবং পরেরটির জন্য 5ম স্থানে গণনা করা হয়। এই সীমাবদ্ধতা বিবেচনা করার একটি উপায় হল ফলাফল সেটের জন্য নির্দিষ্ট সেট আকার প্রয়োগ করা এবং অনুপস্থিত নথির জন্য ন্যূনতম স্কোর ব্যবহার করা। পূর্ববর্তী উদাহরণে, আমরা স্কোরগুলি ব্যবহার করব এবং এন. ডি. সি. জি-কে nDCG@5 হিসাবে উদ্ধৃত করব। সাধারণ ডিসিজি প্রশ্নের কার্যকারিতা পরিমাপের জন্য উপযুক্ত নাও হতে পারে যার প্রায়শই বেশ কয়েকটি সমান ভাল ফলাফল থাকতে পারে। এটি বিশেষভাবে সত্য যখন এই মেট্রিকটি শুধুমাত্র প্রথম কয়েকটি ফলাফলের মধ্যে সীমাবদ্ধ থাকে কারণ এটি বাস্তবে করা হয়। উদাহরণস্বরূপ, "রেস্তোরাঁ"-এর মতো প্রশ্নের জন্য nDCG@1 শুধুমাত্র প্রথম ফলাফলের জন্য দায়ী এবং তাই যদি একটি ফলাফল সেটে নিকটবর্তী এলাকা থেকে শুধুমাত্র 1টি রেস্তোরাঁ থাকে এবং অন্যটিতে 5টি থাকে, তবে উভয়ই একই স্কোর পাবে যদিও পরেরটি আরও ব্যাপক। আরও দেখুন মূল্যায়নের ব্যবস্থা (তথ্য পুনরুদ্ধার) রেফারেন্স তথ্য পুনরুদ্ধারের মূল্যায়ন র্যাঙ্ক করতে শেখা