Optimistic knowledge gradient
পরিসংখ্যানে আশাবাদী জ্ঞানের গ্রেডিয়েন্ট হল 2013 সালে শি চেন, কিহাং লিন এবং ডেঙ্গিয়ং ঝোউ দ্বারা প্রস্তাবিত একটি আনুমানিক নীতি। এই নীতিটি বাইনারি/মাল্টি-ক্লাস ক্রাউড লেবেলিং-এ সর্বোত্তম কম্পিউটিং বাজেট বরাদ্দ সমস্যার বড় আকারের গণনামূলকভাবে অপ্রয়োজনীয় চ্যালেঞ্জ সমাধানের জন্য তৈরি করা হয়েছে যেখানে ভিড় থেকে প্রতিটি লেবেলের একটি নির্দিষ্ট খরচ থাকে। অনুপ্রেরণা সর্বোত্তম কম্পিউটিং বাজেট বরাদ্দ সমস্যাটি একটি বায়েসিয়ান মার্কভ সিদ্ধান্ত প্রক্রিয়া (এমডিপি) হিসাবে প্রণয়ন করা হয় এবং গতিশীল প্রোগ্রামিং (ডিপি) অ্যালগরিদম ব্যবহার করে সমাধান করা হয় যেখানে গতিশীল প্রোগ্রামিং (ডিপি) অ্যালগরিদমের গণনামূলকভাবে অপ্রয়োজনীয় সমাধান করতে আশাবাদী জ্ঞান গ্রেডিয়েন্ট নীতি ব্যবহার করা হয়। ক্রাউডসোর্সিংয়ের ক্ষেত্রে বাজেট বরাদ্দের বিষয়টি বিবেচনা করুন। আমরা যে বিশেষ ক্রাউডসোর্সিং সমস্যাটি বিবেচনা করছি তা হল ক্রাউড লেবেলিং। ক্রাউড লেবেলিং হ 'ল প্রচুর পরিমাণে লেবেলিং কাজ যা মেশিন দ্বারা সমাধান করা কঠিন, মানুষের দ্বারা সমাধান করা সহজ হয়ে যায়, তারপরে আমরা কেবল বিতরণ করা পরিবেশে এলোমেলো মানুষের একটি অজ্ঞাত গোষ্ঠীর কাছে আউটসোর্স করি। পদ্ধতি আমরা এই লেবেলিং কাজগুলি শেষ করতে চাই আশা করি ভিড়ের শক্তির উপর নির্ভর করে। উদাহরণস্বরূপ, ধরুন আমরা একটি ছবির লোকেদের মতে একটি ছবি প্রাপ্তবয়স্ক কিনা তা সনাক্ত করতে চাই, এটি একটি বার্নৌলি লেবেলিং সমস্যা, এবং আমরা সবাই এক বা দুই সেকেন্ডের মধ্যে এটি করতে পারি, এটি মানুষের জন্য একটি সহজ কাজ। যাইহোক, যদি আমাদের কাছে এই ধরনের হাজার হাজার ছবি থাকে, তাহলে এটি আর সহজ কাজ নয়। এই কারণেই এটিকে দ্রুততর করার জন্য আমাদের ক্রাউডসোর্সিং কাঠামোর উপর নির্ভর করতে হবে। এর ক্রাউডসোর্সিং কাঠামো দুটি ধাপ নিয়ে গঠিত। প্রথম ধাপ, আমরা কেবল গতিশীলভাবে ভিড়ের কাছ থেকে জিনিসপত্র সংগ্রহ করি। অন্যদিকে, এটি একটি গতিশীল পদ্ধতি। আমরা কেবল এই ছবিটি প্রত্যেকের কাছে পাঠাই না এবং আমরা প্রতিটি প্রতিক্রিয়ার দিকে মনোনিবেশ করি, পরিবর্তে, আমরা এটি পরিমাণে করি। আমরা সিদ্ধান্ত নেব যে পরবর্তী সময়ে আমরা কোন ছবিটি পাঠাব এবং পরবর্তী সময়ে ভিড়ের মধ্যে আমরা কোন কর্মীকে নিয়োগ করব। তার ঐতিহাসিক লেবেলিং ফলাফল অনুযায়ী। এবং প্রতিটি ছবি একাধিক শ্রমিকের কাছে পাঠানো যেতে পারে এবং প্রতিটি শ্রমিক বিভিন্ন ছবিতেও কাজ করতে পারে। তারপর আমরা বিভিন্ন ছবির জন্য পর্যাপ্ত সংখ্যক লেবেল সংগ্রহ করার পরে, আমরা দ্বিতীয় ধাপে যাই যেখানে আমরা সংগৃহীত লেবেলের উপর ভিত্তি করে প্রতিটি ছবির প্রকৃত লেবেল অনুমান করতে চাই। সুতরাং আমরা অনুমান করতে পারি এমন একাধিক উপায় রয়েছে। উদাহরণস্বরূপ, সবচেয়ে সহজ যে কাজটি আমরা করতে পারি তা হল সংখ্যাগরিষ্ঠ ভোট। সমস্যাটি হল যে বিনামূল্যে দুপুরের খাবার নেই, আমাদের প্রতিটি লেবেলের জন্য শ্রমিকের জন্য অর্থ প্রদান করতে হয় এবং আমাদের কেবল একটি সীমিত প্রকল্পের বাজেট রয়েছে। তাই প্রশ্ন হল, সীমিত বাজেট কিভাবে স্মার্ট উপায়ে ব্যয় করা যায়। চ্যালেঞ্জ গণিতের মডেল দেখানোর আগে, গবেষণাপত্রে উল্লেখ করা হয়েছে যে আমরা কী ধরনের চ্যালেঞ্জের মুখোমুখি হচ্ছি। চ্যালেঞ্জ 1 প্রথমত, লেবেলটি গণনা করতে আইটেমগুলির একটি ভিন্ন স্তরের অসুবিধা রয়েছে, পূর্ববর্তী উদাহরণে, কিছু ছবি শ্রেণীবদ্ধ করা সহজ। এই ক্ষেত্রে, আপনি সাধারণত ভিড় থেকে খুব সামঞ্জস্যপূর্ণ লেবেল দেখতে পাবেন। যাইহোক, যদি কিছু ছবি দ্ব্যর্থহীন হয়, তবে লোকেরা একে অপরের সাথে একমত হতে পারে যার ফলে অত্যন্ত অসঙ্গতিপূর্ণ লেবেলিং হতে পারে। তাই আমরা এই দ্ব্যর্থহীন কাজের জন্য আরও সম্পদ বরাদ্দ করতে পারি। চ্যালেঞ্জ 2 এবং আমাদের প্রায়শই আরেকটি অসুবিধা হয় যে শ্রমিক নিখুঁত নয়, কখনও কখনও এই শ্রমিক দায়বদ্ধ নয়, তারা কেবল এলোমেলো লেবেল সরবরাহ করে, তাই, অবশ্যই, আমরা এই নির্ভরযোগ্য কর্মীদের জন্য আমাদের বাজেট ব্যয় করব না। এখন সমস্যা হল ছবিগুলির অসুবিধা এবং শ্রমিকের নির্ভরযোগ্যতা, যা আমরা শুরুতে পুরোপুরি জানতাম না। আমরা শুধুমাত্র প্রক্রিয়া চলাকালীন তাদের অনুমান করতে পারি। অতএব, আমরা স্বাভাবিকভাবেই অনুসন্ধান এবং শোষণের মুখোমুখি হচ্ছি এবং আমাদের লক্ষ্য হল সঠিক উপায়ে অর্থ ব্যয় করার জন্য একটি যুক্তিসঙ্গত ভাল নীতি প্রদান করা-চূড়ান্ত অনুমিত লেবেলগুলির সামগ্রিক নির্ভুলতা সর্বাধিক করা। গাণিতিক মডেল গাণিতিক মডেলের জন্য, আমাদের কাছে কে আইটেম রয়েছে, এবং মোট বাজেট টি এবং আমরা ধরে নিই যে প্রতিটি লেবেলের দাম 1 তাই আমরা শেষ পর্যন্ত টি লেবেল পেতে চলেছি। আমরা ধরে নিই যে প্রতিটি আইটেমের সত্যিকারের লেবেল রয়েছে যা ইতিবাচক বা নেতিবাচক, এই দ্বিপদী ক্ষেত্রে এবং আমরা একাধিক শ্রেণীতে প্রসারিত করতে পারি, লেবেলিং ক্ষেত্রে, এটি একটি একক ধারণা। এবং পজিটিভ সেটটিকে এমন আইটেমগুলির সেট হিসাবে সংজ্ঞায়িত করা হয় যার আসল লেবেল পজিটিভ। এবং প্রতিটি আইটেমের জন্য একটি সফ্ট-লেবেলও সংজ্ঞায়িত করা হয়েছে, যার সংখ্যা 0 এবং 1 এর মধ্যে, এবং আমরা নিখুঁত কর্মীদের একটি দল থেকে এলোমেলোভাবে নির্বাচিত কোনও সদস্যের দ্বারা ইতিবাচক হিসাবে লেবেল হওয়ার অন্তর্নিহিত সম্ভাবনা হিসাবে সংজ্ঞায়িত করি। এই প্রথম ক্ষেত্রে, আমরা ধরে নিই যে প্রতিটি শ্রমিক নিখুঁত, এর অর্থ তারা সকলেই নির্ভরযোগ্য, কিন্তু নিখুঁত হওয়ার অর্থ এই নয় যে এই কর্মী একই উত্তর বা সঠিক উত্তর দেয়। এর মানে হল যে তারা তাদের মনের মধ্যে সর্বোত্তম উত্তর খুঁজে বের করার জন্য যথাসাধ্য চেষ্টা করবে, এবং ধরুন প্রত্যেকেই নিখুঁত কর্মী, কেবল এলোমেলোভাবে তাদের মধ্যে একজনকে বেছে নিয়েছে, এবং সম্ভাবনার সাথে, আমরা এমন একজনকে পেতে চলেছি যে বিশ্বাস করে যে এটি ইতিবাচক। এভাবেই আমরা ব্যাখ্যা করি। সুতরাং আমরা ধরে নিই যে একটি লেবেল বার্নৌলি () থেকে আঁকা হয়েছে, এবং অবশ্যই সত্যিকারের লেবেলের সাথে সামঞ্জস্যপূর্ণ হতে হবে, যার অর্থ যদি এবং শুধুমাত্র যদি এই আইটেমটি একটি সত্যিকারের ধনাত্মক লেবেলের সাথে ধনাত্মক হয় তবে 0.5 এর চেয়ে বড় বা সমান। সুতরাং আমাদের লক্ষ্য হল এইচ *, ইতিবাচক আইটেমগুলির সেট শেখা। অন্য কথায়, আমরা সর্বাধিক করার জন্য সংগৃহীত লেবেলগুলির উপর ভিত্তি করে একটি অনুমিত ধনাত্মক সেট এইচ তৈরি করতে চাইঃ এটি এইভাবেও লেখা যেতে পারেঃ ধাপ 1: বায়েসিয়ান সিদ্ধান্ত প্রক্রিয়া বায়েসিয়ান কাঠামো দেখানোর আগে, আমরা কেন ফ্রিকোয়েন্সি পদ্ধতির পরিবর্তে বায়েসিয়ান বেছে নিই তা উল্লেখ করার জন্য কাগজটি একটি উদাহরণ ব্যবহার করে, যাতে আমরা সফ্ট-লেবেলে পূর্ববর্তী বিতরণের কিছু পশ্চাদবর্তী প্রস্তাব করতে পারি। আমরা ধরে নিই যে প্রতিটি একটি পরিচিত বিটা থেকে আগে নেওয়া হয়েছেঃ এবং ম্যাট্রিক্সঃ সুতরাং আমরা জানি যে বিটা-র বার্নৌলি কনজুগেট, তাই একবার আমরা আইটেম আই-এর জন্য একটি নতুন লেবেল পেলে, আমরা পোস্টেরিয়র ডিস্ট্রিবিউশন আপডেট করতে চলেছি, বিটা ডিস্ট্রিবিউশন দ্বারাঃ লেবেলের উপর নির্ভর করে পজিটিভ বা নেগেটিভ। এখানে উচ্চ স্তরের পুরো পদ্ধতিটি রয়েছে, আমাদের টি পর্যায় রয়েছে। এবং বর্তমান পর্যায়ে আমরা ম্যাট্রিক্স এস-এর দিকে তাকাই, যা সমস্ত কিছুর জন্য পোস্টেরিয়র ডিস্ট্রিবিউশন তথ্যের সংক্ষিপ্তসার। এবং লেবেলটি ইতিবাচক বা নেতিবাচক কী তার উপর নির্ভর করে, আমরা একটি লেবেল পেতে একটি ম্যাট্রিক্স যুক্ত করিঃ সর্বোপরি, এটি পুরো কাঠামো। ধাপ 2: পজিটিভ সেটের উপর অনুমান যখন টি লেবেলগুলি সংগ্রহ করা হয়, তখন আমরা সেন্ট দ্বারা প্রদত্ত পোস্টেরিয়র ডিস্ট্রিবিউশনের উপর ভিত্তি করে পজিটিভ সেট এইচটি সম্পর্কে একটি অনুমান করতে পারি। সর্বোত্তম সমাধান কী তা জানার পরে, কাগজটি সর্বোত্তম মান কী তা দেখায়। সর্বোত্তম ফাংশনে প্লাগ করুন, এই ফাংশনটি কেবল একটি একক ফাংশন যা ইতিবাচক এবং নেতিবাচক হওয়ার শর্তাধীন সম্ভাবনার মধ্যে বৃহত্তরটিকে বেছে নেয়। একবার আমরা আইটেম i-এর জন্য আরও একটি লেবেল পেলে, আমরা এই মানের মধ্যে একটি পার্থক্য নিই, আমরা একটি নতুন লেবেল পাওয়ার আগে এবং পরে, আমরা দেখতে পাই যে এই শর্তাধীন সম্ভাবনাটি আসলে নিম্নরূপ সহজতর হতে পারেঃ ধনাত্মক আইটেমটি শুধুমাত্র বিটা পোস্টেরিয়রের উপর নির্ভর করে, তাই, যদি বিটা ডিস্ট্রিবিউশন ফাংশনের প্যারামিটারের ফাংশনটি a এবং b হয়, এই নির্দিষ্ট আইটেমের জন্য আরও একটি লেবেল হিসাবে, আমরা পোস্টেরিয়র ফাংশনটিকে দ্বিগুণ পরিবর্তন করি, তাই 1 ছাড়া এই সমস্ত আইটেম বাতিল করা যেতে পারে, তাই এটি সম্পূর্ণ নির্ভুলতার জন্য পরিবর্তন এবং আমরা পর্যায়-ভিত্তিক পুরষ্কার হিসাবে সংজ্ঞায়িত করিঃ আরও একটি নমুনা দ্বারা অনুমানের নির্ভুলতার উন্নতি। অবশ্যই এই লেবেলটির দুটি ইতিবাচক মান রয়েছে, আমরা ইতিবাচক লেবেল বা নেতিবাচক লেবেল পাই, এই দুটির জন্য গড় নিই, প্রত্যাশিত পুরস্কার পাই। আমরা কেবল লেবেল করার জন্য আইটেমটি বেছে নিই যাতে নলেজ গ্রেডিয়েন্ট ব্যবহার করে প্রত্যাশিত পুরষ্কার সর্বাধিক হয়ঃ সেগুলি একাধিক আইটেম, আসুন আমরা কীভাবে বন্ধনগুলি ভেঙে ফেলি তা আমাদের জানান। যদি আমরা নির্ধারিতভাবে টাইটি ভেঙে ফেলি, যার অর্থ আমরা ক্ষুদ্রতম সূচকটি বেছে নেব। আমাদের একটি সমস্যা হতে চলেছে কারণ এটি সামঞ্জস্যপূর্ণ নয় যার অর্থ ইতিবাচক পর্যায়টি সত্যিকারের ইতিবাচক পর্যায়ে একত্রিত হয় না। সুতরাং আমরা এলোমেলোভাবে সম্পর্কগুলি ভাঙার চেষ্টা করতে পারি, এটি কাজ করে, তবে, আমরা দেখতে পাব যে পারফরম্যান্সটি প্রায় ইউনিফর্ম স্যাম্পলিংয়ের মতো, এটি সর্বোত্তম পুরষ্কার। লেখকের নীতিটি আরও লোভী, একবার পুরস্কারের পর্যায়ে গড় বেছে নেওয়ার পরিবর্তে, আমরা আসলে বৃহত্তরটি গণনা করতে পারি, দুটি পর্যায়ের সম্ভাব্য পুরস্কারের সর্বোচ্চ, তাই আশাবাদী জ্ঞান গ্রেডিয়েন্টঃ এবং আমরা আশাবাদী জ্ঞান গ্রেডিয়েন্টের অধীনে জানি, চূড়ান্ত অনুমানের নির্ভুলতা 100% এ একত্রিত হয়। উপরে প্রতিটি শ্রমিক নিখুঁত তার উপর ভিত্তি করে, তবে বাস্তবে, শ্রমিকরা সবসময় দায়বদ্ধ হয় না। সুতরাং যদি অসম্পূর্ণ কর্মীদের মধ্যে, আমরা কে আইটেমগুলি ধরে নিই,। একজন নিখুঁত কর্মী দ্বারা আইটেমটিকে ইতিবাচক হিসাবে চিহ্নিত করার সম্ভাবনা। এম ওয়ার্কার্স, একজন নিখুঁত শ্রমিক হিসাবে শ্রমিকের একই লেবেল দেওয়ার সম্ভাবনা। কর্মী থেকে বস্তুর মধ্যে লেবেলের বিতরণঃ এবং ক্রিয়া স্থানটি হল যেখানে, লেবেল ম্যাট্রিক্সঃ এটি গণনা করা কঠিন, তাই আমরা রেফারেন্স গাণিতিক অপ্টিমাইজেশান মার্কভ প্রক্রিয়াগুলির ভেরিয়েশনাল বায়েসিয়ান পদ্ধতি ব্যবহার করতে পারি।