Ranking (information retrieval)
অনুসন্ধান ইঞ্জিনগুলির পিছনে বৈজ্ঞানিক/প্রকৌশল শাখা তথ্য পুনরুদ্ধারের (আইআর) মৌলিক সমস্যাগুলির মধ্যে একটি হল প্রশ্নের র্যাঙ্কিং। একটি প্রশ্ন এবং প্রশ্নের সাথে মেলে এমন নথির একটি সংগ্রহ দেওয়া হলে, সমস্যাটি হল কিছু মানদণ্ড অনুযায়ী নথিগুলিকে র্যাঙ্ক করা, অর্থাৎ বাছাই করা, যাতে ব্যবহারকারীর কাছে প্রদর্শিত ফলাফল তালিকার প্রথম দিকে "সেরা" ফলাফলগুলি প্রদর্শিত হয়। তথ্য পুনরুদ্ধারের ক্ষেত্রে র্যাঙ্কিং কম্পিউটার বিজ্ঞানের একটি গুরুত্বপূর্ণ ধারণা এবং এটি সার্চ ইঞ্জিন প্রশ্ন এবং সুপারিশকারী ব্যবস্থার মতো বিভিন্ন প্রয়োগে ব্যবহৃত হয়। বেশিরভাগ সার্চ ইঞ্জিন ব্যবহারকারীদের সঠিক এবং প্রাসঙ্গিক ফলাফল প্রদানের জন্য র্যাঙ্কিং অ্যালগরিদম ব্যবহার করে। পৃষ্ঠা র্যাঙ্কের ধারণাটি 1940-এর দশক থেকে শুরু হয় এবং ধারণাটি অর্থনীতির ক্ষেত্রে উদ্ভূত হয়েছিল। 1941 সালে, ওয়াসিলি লিওনটিফ একটি দেশের সম্পদ সরবরাহকারী অন্যান্য ক্ষেত্রের গুরুত্বের উপর ভিত্তি করে একটি দেশের ক্ষেত্রের মূল্যায়নের একটি পুনরাবৃত্তিমূলক পদ্ধতি তৈরি করেছিলেন। 1965 সালে, ক্যালিফোর্নিয়া বিশ্ববিদ্যালয়, সান্তা বার্বারার চার্লস এইচ হাববেল ব্যক্তিদের গুরুত্ব নির্ধারণের জন্য একটি কৌশল প্রকাশ করেছিলেন যারা তাদের সমর্থন করে। গ্যাব্রিয়েল পিনস্কি এবং ফ্রান্সিস নারিন জার্নালগুলিকে র্যাঙ্ক করার একটি পদ্ধতি নিয়ে এসেছিলেন। তাদের নিয়ম ছিল যে একটি জার্নাল গুরুত্বপূর্ণ যদি এটি অন্যান্য গুরুত্বপূর্ণ জার্নালে উদ্ধৃত করা হয়। কর্নেল বিশ্ববিদ্যালয়ের কম্পিউটার বিজ্ঞানী জন ক্লেইনবার্গ পেজ র্যাঙ্কের সাথে প্রায় অভিন্ন পদ্ধতির বিকাশ করেছিলেন যাকে হাইপারটেক্সট ইনডিউসড টপিক সার্চ বা এইচআইটিএস বলা হত এবং এটি ওয়েব পৃষ্ঠাগুলিকে "হাব" এবং "কর্তৃপক্ষ" হিসাবে বিবেচনা করত। গুগলের পেজর্যাঙ্ক অ্যালগরিদম 1998 সালে গুগলের প্রতিষ্ঠাতা সের্গেই ব্রিন এবং ল্যারি পেজ দ্বারা তৈরি করা হয়েছিল এবং এটি অনুসন্ধানের ফলাফলগুলিতে ওয়েব পৃষ্ঠাগুলির র্যাঙ্কিংয়ের গুগলের পদ্ধতির একটি মূল অংশ। উপরের সমস্ত পদ্ধতি কিছুটা একই রকম কারণ এগুলির সবগুলিই সংযোগের কাঠামোকে কাজে লাগায় এবং একটি পুনরাবৃত্তিমূলক পদ্ধতির প্রয়োজন হয়। র্যাঙ্কিং মডেল র্যাঙ্কিং ফাংশনগুলি বিভিন্ন উপায়ে মূল্যায়ন করা হয়; সহজতমগুলির মধ্যে একটি হল কিছু নির্দিষ্ট k-এর জন্য প্রথম k শীর্ষ-র্যাঙ্কিং ফলাফলের নির্ভুলতা নির্ধারণ করা; উদাহরণস্বরূপ, অনেক প্রশ্নের উপর গড়ে প্রাসঙ্গিক শীর্ষ 10 ফলাফলের অনুপাত। আইআর মডেলগুলিকে মোটামুটিভাবে তিন ভাগে ভাগ করা যেতে পারেঃ বুলিয়ান মডেল বা বিআইআর, ভেক্টর স্পেস মডেল এবং সম্ভাব্য মডেল। পুনরুদ্ধারের মডেলগুলির মধ্যে বিভিন্ন তুলনা সাহিত্যে পাওয়া যায় (যেমন,)। বুলিয়ান মডেল বা বি. আই. আর হল একটি সহজ বেসলাইন কোয়েরি মডেল যেখানে প্রতিটি প্রশ্ন বীজগাণিতিক অভিব্যক্তি সহ রিলেশনাল বীজগণিতের অন্তর্নিহিত নীতিগুলি অনুসরণ করে এবং যেখানে নথিগুলি একে অপরের সাথে সম্পূর্ণরূপে মেলে না। যেহেতু প্রশ্নটি হয় নথিটি নিয়ে আসে (1) অথবা নথিটি (0) নিয়ে আসে না, তাই তাদের র্যাঙ্ক করার কোনও পদ্ধতি নেই। ভেক্টর স্পেস মডেল যেহেতু বুলিয়ান মডেল শুধুমাত্র সম্পূর্ণ মিল নিয়ে আসে, তাই এটি নথির আংশিক মিল থাকার সমস্যার সমাধান করে না। ভেক্টর স্পেস মডেল প্রতিটি ওজনের সাথে নির্ধারিত সূচক আইটেমের ভেক্টর প্রবর্তন করে এই সমস্যার সমাধান করে। নথি উপস্থিত থাকলে ওজনগুলি ধনাত্মক (যদি সম্পূর্ণ বা কিছুটা মিলে যায়) থেকে নেতিবাচক (যদি অতুলনীয় বা সম্পূর্ণ বিপরীতভাবে মিলে যায়) পর্যন্ত হয়। টার্ম ফ্রিকোয়েন্সি-ইনভার্স ডকুমেন্ট ফ্রিকোয়েন্সি (টি. এফ-আই. ডি. এফ) হল সবচেয়ে জনপ্রিয় কৌশলগুলির মধ্যে একটি যেখানে ওজন হল পদ (যেমন। শব্দ, মূলশব্দ, বাক্যাংশ ইত্যাদি) এবং মাত্রা হল কর্পাসের ভিতরে শব্দের সংখ্যা। কোসাইনের সাদৃশ্য ব্যবহার করে কোসাইনের ওজন ভেক্টর এবং নথির ওজন ভেক্টরের মধ্যে কোসাইনের মান গণনা করে অনুসন্ধান এবং নথির মধ্যে সাদৃশ্য স্কোর পাওয়া যায়। কাঙ্ক্ষিত নথিগুলি সাদৃশ্য স্কোর এবং শীর্ষ কে নথি অনুযায়ী র্যাঙ্কিং করে আনা যেতে পারে যার সর্বোচ্চ স্কোর রয়েছে বা কোয়েরি ভেক্টরের সাথে সবচেয়ে প্রাসঙ্গিক। সম্ভাব্যতা মডেল সম্ভাব্যতা মডেলে, সম্ভাব্যতা তত্ত্বকে গাণিতিক পরিভাষায় পুনরুদ্ধার প্রক্রিয়া মডেলিংয়ের প্রধান মাধ্যম হিসাবে ব্যবহার করা হয়েছে। তথ্য পুনরুদ্ধারের সম্ভাব্যতা মডেলটি 1960 সালে ম্যারন এবং কুনস দ্বারা প্রবর্তিত হয়েছিল এবং রবারস্টন এবং অন্যান্য গবেষকরা আরও উন্নত করেছিলেন। স্প্যাক জোনস এবং উইলেট (1997)-এর মতেঃ সম্ভাবনাময় ধারণাগুলি প্রবর্তনের যৌক্তিকতা সুস্পষ্টঃ আইআর সিস্টেমগুলি প্রাকৃতিক ভাষার সাথে মোকাবিলা করে এবং কোন নথিটি একটি নির্দিষ্ট প্রশ্নের সাথে প্রাসঙ্গিক হবে তা নিশ্চিত করার জন্য একটি সিস্টেমকে সক্ষম করতে এটি খুব অস্পষ্ট। এই মডেলটি তথ্য পুনরুদ্ধারের ক্ষেত্রে সম্ভাব্যতা তত্ত্ব প্রয়োগ করে (একটি ঘটনার 0 শতাংশ থেকে 100 শতাংশ পর্যন্ত হওয়ার সম্ভাবনা থাকে)। অর্থাৎ, সম্ভাব্যতা মডেলে, প্রাসঙ্গিকতা সম্ভাবনার পরিপ্রেক্ষিতে প্রকাশ করা হয়। এখানে, প্রাসঙ্গিকতার সম্ভাবনা হ্রাস করার ক্রম অনুসারে নথিগুলিকে স্থান দেওয়া হয়েছে। এটি আই. আর প্রক্রিয়ায় অনিশ্চয়তার উপাদান বিবেচনা করে। অর্থাৎ, সিস্টেম দ্বারা পুনরুদ্ধার করা নথিগুলি প্রদত্ত প্রশ্নের সাথে প্রাসঙ্গিক কিনা সে সম্পর্কে অনিশ্চয়তা। সম্ভাব্যতা মডেলটি কিছু পদ্ধতির উপর ভিত্তি করে একটি নথি প্রদত্ত প্রশ্নের সাথে প্রাসঙ্গিক হওয়ার সম্ভাবনা অনুমান এবং গণনা করতে চায়। তথ্য পুনরুদ্ধারের এই প্রসঙ্গে "ঘটনা" একটি প্রশ্ন এবং একটি নথির মধ্যে প্রাসঙ্গিকতার সম্ভাবনাকে বোঝায়। অন্যান্য আইআর মডেলের মতো নয়, সম্ভাব্যতা মডেলটি সঠিক মিস-বা-ম্যাচ পরিমাপ হিসাবে প্রাসঙ্গিকতা বিবেচনা করে না। প্রশ্ন এবং নথির মধ্যে প্রাসঙ্গিকতার সম্ভাবনা নির্ধারণের জন্য মডেলটি বিভিন্ন পদ্ধতি গ্রহণ করে। সম্ভাব্যতা মডেলের প্রাসঙ্গিকতা প্রশ্ন এবং নথির মধ্যে সাদৃশ্য অনুসারে বিচার করা হয়। সাদৃশ্য বিচার আরও মেয়াদী ফ্রিকোয়েন্সির উপর নির্ভরশীল। সুতরাং, শুধুমাত্র একটি শব্দ (বি) নিয়ে গঠিত একটি প্রশ্নের জন্য, একটি নির্দিষ্ট নথি (ডিএম) প্রাসঙ্গিক বলে বিবেচিত হওয়ার সম্ভাবনা হল ব্যবহারকারীদের অনুপাত যারা প্রশ্ন শব্দ (বি) জমা দেয় এবং নথি (ডিএম) কে প্রাসঙ্গিক বলে বিবেচনা করে যারা শব্দ (বি) জমা দেয়। ম্যারন এবং কুনের মডেলে যেমন দেখানো হয়েছে, একটি নির্দিষ্ট প্রশ্ন শব্দ (বি) জমা দেওয়া ব্যবহারকারীরা একটি পৃথক নথিকে (ডিএম) প্রাসঙ্গিক বলে বিচার করার সম্ভাবনা হিসাবে উপস্থাপন করা যেতে পারে। জেরার্ড সল্টন এবং মাইকেল জে ম্যাকগিলের মতে, এই মডেলের সারমর্ম হল যে প্রাসঙ্গিক নথিতে বিভিন্ন পদের উপস্থিতির সম্ভাবনার অনুমান যদি গণনা করা যায়, তবে কোনও নথি পুনরুদ্ধারের সম্ভাবনা, এটি প্রাসঙ্গিক, বা এটি নয়, অনুমান করা যেতে পারে। বেশ কয়েকটি পরীক্ষায় দেখা গেছে যে সম্ভাব্য মডেলটি ভাল ফলাফল দিতে পারে। যাইহোক, এই ধরনের ফলাফল বুলিয়ান বা ভেক্টর স্পেস মডেল ব্যবহার করে প্রাপ্ত ফলাফলের তুলনায় যথেষ্ট ভাল হয়নি। মূল্যায়নের পরিমাপ মূল্যায়নের সবচেয়ে সাধারণ পরিমাপগুলি হল নির্ভুলতা, স্মরণ এবং এফ-স্কোর। এগুলি অনিয়ন্ত্রিত নথির সেট ব্যবহার করে গণনা করা হয়। আধুনিক সার্চ ইঞ্জিনগুলিতে মানসম্মত র্যাঙ্কিং পুনরুদ্ধার ফলাফলগুলি মূল্যায়নের জন্য এই ব্যবস্থাগুলি অবশ্যই প্রসারিত করতে হবে, বা নতুন ব্যবস্থাগুলি অবশ্যই সংজ্ঞায়িত করতে হবে। র্যাঙ্ককৃত পুনরুদ্ধারের প্রেক্ষাপটে, পুনরুদ্ধারকৃত নথির উপযুক্ত সেটগুলি স্বাভাবিকভাবেই শীর্ষ কে পুনরুদ্ধারকৃত নথি দ্বারা দেওয়া হয়। এই ধরনের প্রতিটি সেটের জন্য, নির্ভুলতা এবং প্রত্যাহারের মানগুলি একটি নির্ভুলতা-পুনরুদ্ধার বক্ররেখা দেওয়ার জন্য অঙ্কিত করা যেতে পারে। যথার্থতা পুনরুদ্ধার প্রক্রিয়ার সঠিকতা পরিমাপ করে। যদি প্রাসঙ্গিক নথির প্রকৃত সেটটি I দ্বারা চিহ্নিত করা হয় এবং পুনরুদ্ধার করা নথির সেটটি O দ্বারা চিহ্নিত করা হয়, তবে নির্ভুলতা দেওয়া হয়ঃ রিকল রিকল হল আইআর প্রক্রিয়ার সম্পূর্ণতার একটি পরিমাপ। যদি প্রাসঙ্গিক নথির প্রকৃত সেটটি I দ্বারা চিহ্নিত করা হয় এবং পুনরুদ্ধার করা নথির সেটটি O দ্বারা চিহ্নিত করা হয়, তবে প্রত্যাহারটি এইভাবে দেওয়া হয়ঃ F1 স্কোর F1 স্কোর নির্ভুলতা এবং প্রত্যাহার পরিমাপকে একত্রিত করার চেষ্টা করে। এটি এই দুটির সুরেলা গড়। যদি পি নির্ভুলতা হয় এবং আর প্রত্যাহার হয় তবে এফ-স্কোরটি দেওয়া হয়ঃ পেজ র্যাঙ্ক অ্যালগরিদম পেজর্যাঙ্ক অ্যালগরিদম একটি সম্ভাব্যতা বিতরণ আউটপুট দেয় যা কোনও ব্যক্তি এলোমেলোভাবে লিঙ্কগুলিতে ক্লিক করলে যে কোনও নির্দিষ্ট পৃষ্ঠায় পৌঁছানোর সম্ভাবনা উপস্থাপন করতে ব্যবহৃত হয়। যে কোনও আকারের নথির সংগ্রহের জন্য পেজর্যাঙ্ক গণনা করা যেতে পারে। বেশ কয়েকটি গবেষণাপত্রে ধরে নেওয়া হয়েছে যে গণনামূলক প্রক্রিয়ার শুরুতে সংগ্রহের সমস্ত নথির মধ্যে বিতরণ সমানভাবে ভাগ করা হয়। পেজর্যাঙ্ক গণনার জন্য তাত্ত্বিক প্রকৃত মানকে আরও ঘনিষ্ঠভাবে প্রতিফলিত করার জন্য আনুমানিক পেজর্যাঙ্ক মানগুলি সামঞ্জস্য করতে সংগ্রহের মধ্য দিয়ে বেশ কয়েকটি পাসের প্রয়োজন হয়। সূত্রটি নিচে দেওয়া হলোঃ একটি পৃষ্ঠা ইউ-এর জন্য পেজর্যাঙ্কের মান সেট বু-তে থাকা প্রতিটি পৃষ্ঠা ভি-এর জন্য পেজর্যাঙ্কের মানগুলির উপর নির্ভরশীল (সেটটিতে পৃষ্ঠা ইউ-এর সাথে লিঙ্ক করা সমস্ত পৃষ্ঠা রয়েছে), যা পৃষ্ঠা ভি-এর লিঙ্কগুলির পরিমাণ এল (ভি) দ্বারা ভাগ করা হয়েছে। হিটস অ্যালগরিদম পেজর্যাঙ্কের মতো, হিটস পৃষ্ঠাগুলির প্রাসঙ্গিকতা বিশ্লেষণের জন্য লিঙ্ক বিশ্লেষণ ব্যবহার করে তবে কেবলমাত্র সাবগ্রাফের ছোট সেটগুলিতে (পুরো ওয়েব গ্রাফের পরিবর্তে) কাজ করে এবং সেইসাথে অনুসন্ধান নির্ভরশীল। সাবগ্রাফগুলি হাব এবং কর্তৃপক্ষের ওজন অনুযায়ী র্যাঙ্ক করা হয় যেখানে সর্বোচ্চ র্যাঙ্কযুক্ত পৃষ্ঠাগুলি আনা হয় এবং প্রদর্শিত হয়। আরও দেখুন লার্নিং টু র্যাঙ্কিংঃ অ্যাপ্লিকেশন অফ মেশিন লার্নিং টু দ্য র্যাঙ্কিং প্রবলেম