Optimistic knowledge gradient
सांख्यिकी में आशावादी ज्ञान प्रवणता 2013 में शी चेन, किहांग लिन और डेंगयोंग झोउ द्वारा प्रस्तावित एक अनुमानित नीति है। यह नीति द्विआधारी/बहु-श्रेणी भीड़ लेबलिंग में इष्टतम कंप्यूटिंग बजट आवंटन समस्या के बड़े आकार की कम्प्यूटेशनल रूप से जटिल चुनौती को हल करने के लिए बनाई गई है, जहां भीड़ के प्रत्येक लेबल की एक निश्चित लागत होती है। अभिप्रेरणा इष्टतम कम्प्यूटिंग बजट आवंटन समस्या को बायेसियन मार्कोव निर्णय प्रक्रिया (एम. डी. पी.) के रूप में तैयार किया गया है और इसे गतिशील प्रोग्रामिंग (डी. पी.) एल्गोरिदम का उपयोग करके हल किया जाता है जहां गतिशील प्रोग्रामिंग (डी. पी.) एल्गोरिदम के कम्प्यूटेशनल रूप से अव्यवहारिक को हल करने के लिए आशावादी ज्ञान प्रवणता नीति का उपयोग किया जाता है। क्राउडसोर्सिंग में बजट आवंटन के मुद्दे पर विचार करें। हम जिस विशेष क्राउडसोर्सिंग समस्या पर विचार कर रहे हैं वह है क्राउड लेबलिंग। क्राउड लेबलिंग लेबलिंग कार्यों की एक बड़ी मात्रा है जिसे मशीन द्वारा हल करना कठिन है, मनुष्यों द्वारा हल करना आसान हो जाता है, फिर हम बस एक वितरित वातावरण में यादृच्छिक लोगों के एक अज्ञात समूह को आउटसोर्स करते हैं। कार्यप्रणाली हम इस लेबलिंग कार्यों को पूरा करना चाहते हैं, उम्मीद है कि भीड़ की शक्ति पर भरोसा करें। उदाहरण के लिए, मान लीजिए कि हम एक तस्वीर में लोगों के अनुसार एक तस्वीर की पहचान करना चाहते हैं कि वह वयस्क है या नहीं, यह एक बर्नौली लेबलिंग समस्या है, और हम सभी एक या दो सेकंड में कर सकते हैं, यह मनुष्य के लिए एक आसान काम है। हालाँकि, अगर हमारे पास इस तरह की दसियों हज़ार तस्वीरें हैं, तो यह अब आसान काम नहीं है। यही कारण है कि हमें इसे तेजी से करने के लिए क्राउडसोर्सिंग ढांचे पर भरोसा करने की आवश्यकता है। इसके क्राउडसोर्सिंग ढांचे में दो चरण होते हैं। पहला कदम, हम बस गतिशील रूप से वस्तुओं के लिए भीड़ से प्राप्त करते हैं। दूसरी ओर, यह एक गतिशील प्रक्रिया है। हम इस तस्वीर को केवल सभी को नहीं भेजते हैं और हम हर प्रतिक्रिया पर ध्यान केंद्रित करते हैं, इसके बजाय, हम इसे मात्रा में करते हैं। हम यह तय करने जा रहे हैं कि हम इसे अगले में कौन सी तस्वीर भेजेंगे, और अगले में हम भीड़ में किस कर्मचारी को नियुक्त करने जा रहे हैं। उनके ऐतिहासिक लेबलिंग परिणामों के अनुसार। और प्रत्येक चित्र को कई श्रमिकों को भेजा जा सकता है और प्रत्येक कार्यकर्ता अलग-अलग चित्रों पर भी काम कर सकता है। फिर अलग-अलग चित्रों के लिए पर्याप्त संख्या में लेबल एकत्र करने के बाद, हम दूसरे चरण पर जाते हैं जहाँ हम एकत्र किए गए लेबलों के आधार पर प्रत्येक चित्र के सही लेबल का अनुमान लगाना चाहते हैं। तो कई तरीके हैं जिनसे हम अनुमान लगा सकते हैं। उदाहरण के लिए, सबसे सरल तरीका जो हम कर सकते हैं वह है केवल बहुमत का वोट। समस्या यह है कि कोई मुफ्त दोपहर का भोजन नहीं है, हमें प्रत्येक लेबल के लिए कर्मचारी को भुगतान करना पड़ता है जो वह प्रदान करता है और हमारे पास केवल एक सीमित परियोजना बजट है। इसलिए सवाल यह है कि सीमित बजट को चतुराई से कैसे खर्च किया जाए। चुनौती गणित मॉडल दिखाने से पहले, पेपर में उल्लेख किया गया है कि हम किस तरह की चुनौतियों का सामना कर रहे हैं। चुनौती 1 सबसे पहले, वस्तुओं को लेबल की गणना करने में कठिनाई का एक अलग स्तर है, पिछले उदाहरण में, कुछ चित्रों को वर्गीकृत करना आसान है। इस मामले में, आप आम तौर पर भीड़ से बहुत सुसंगत लेबल देखेंगे। हालाँकि, यदि कुछ चित्र अस्पष्ट हैं, तो लोग एक-दूसरे से असहमत हो सकते हैं जिसके परिणामस्वरूप अत्यधिक असंगत लेबलिंग हो सकती है। इसलिए हम इस अस्पष्ट कार्य पर अधिक संसाधन आवंटित कर सकते हैं। चुनौती 2 और एक और कठिनाई जो हमें अक्सर होती है वह यह है कि कर्मचारी परिपूर्ण नहीं होते हैं, कभी-कभी यह कार्यकर्ता जिम्मेदार नहीं होता है, वे केवल यादृच्छिक लेबल प्रदान करते हैं, इसलिए, निश्चित रूप से, हम इस पर अपना बजट खर्च नहीं करेंगे कि कोई विश्वसनीय कर्मचारी नहीं है। अब समस्या चित्रों की कठिनाई और कार्यकर्ता की विश्वसनीयता दोनों है जो हम शुरू में पूरी तरह से अज्ञात थे। हम केवल प्रक्रिया के दौरान उनका अनुमान लगा सकते हैं। इसलिए, हम स्वाभाविक रूप से अन्वेषण और शोषण का सामना कर रहे हैं, और हमारा लक्ष्य सही तरीके से पैसा खर्च करने के लिए एक उचित अच्छी नीति देना है-अंतिम अनुमानित लेबल की समग्र सटीकता को अधिकतम करना। गणितीय मॉडल के लिए, हमारे पास के आइटम हैं, और कुल बजट टी है और हम मानते हैं कि प्रत्येक लेबल की लागत 1 है इसलिए हम अंततः टी लेबल लेने जा रहे हैं। हम मानते हैं कि प्रत्येक वस्तु का सही लेबल है जो सकारात्मक या नकारात्मक है, यह द्विपद मामले और हम कई वर्ग, लेबलिंग मामलों तक विस्तारित कर सकते हैं, यह एक विलक्षण विचार है। और सकारात्मक समुच्चय को उन वस्तुओं के समुच्चय के रूप में परिभाषित किया जाता है जिनका वास्तविक लेबल सकारात्मक होता है। और प्रत्येक वस्तु के लिए एक सॉफ्ट-लेबल को भी परिभाषित किया, जिसकी संख्या 0 और 1 के बीच है, और हम पूर्ण श्रमिकों के समूह से यादृच्छिक रूप से चुने गए सदस्य द्वारा सकारात्मक के रूप में लेबल किए जाने की अंतर्निहित संभावना के रूप में परिभाषित करते हैं। इस पहले मामले में, हम मानते हैं कि प्रत्येक कर्मचारी सही है, इसका मतलब है कि वे सभी विश्वसनीय हैं, लेकिन सही होने का मतलब यह नहीं है कि यह कर्मचारी समान उत्तर या सही उत्तर देता है। इसका मतलब है कि वे अपने दिमाग में सबसे अच्छा जवाब खोजने की पूरी कोशिश करेंगे, और मान लीजिए कि हर कोई सही कार्यकर्ता है, बस बेतरतीब ढंग से उनमें से एक को चुना, और संभावना के साथ, हम एक ऐसे व्यक्ति को पाने जा रहे हैं जो मानता है कि यह सकारात्मक है। हम इस तरह से समझाते हैं। इसलिए हम मानते हैं कि एक लेबल बर्नौली () से खींचा गया है, और सही लेबल के अनुरूप होना चाहिए, जिसका अर्थ है कि 0.50 से अधिक या बराबर है यदि और केवल तभी जब यह वस्तु सही सकारात्मक लेबल के साथ सकारात्मक है। इसलिए हमारा लक्ष्य सकारात्मक वस्तुओं के समूह एच * को सीखना है। दूसरे शब्दों में, हम अधिकतम करने के लिए एकत्रित लेबलों के आधार पर एक अनुमानित सकारात्मक सेट एच बनाना चाहते हैंः इसे इस प्रकार भी लिखा जा सकता हैः चरण 1: बायेसियन निर्णय प्रक्रिया बायेसियन ढांचे को दिखाने से पहले, पेपर एक उदाहरण का उपयोग यह उल्लेख करने के लिए करता है कि हम आवृत्ति दृष्टिकोण के बजाय बायेसियन क्यों चुनते हैं, जैसे कि हम सॉफ्ट-लेबल पर पूर्व वितरण के कुछ पश्चवर्ती का प्रस्ताव कर सकते हैं। हम मानते हैं कि प्रत्येक ज्ञात बीटा से पहले खींचा गया हैः और मैट्रिक्सः तो हम जानते हैं कि बीटा का बर्नौली संयुग्म, इसलिए एक बार जब हम आइटम i के लिए एक नया लेबल प्राप्त करते हैं, तो हम पोस्टीरियर वितरण को अपडेट करने जा रहे हैं, बीटा वितरणः लेबल के आधार पर सकारात्मक या नकारात्मक है। यहाँ उच्च स्तर में पूरी प्रक्रिया है, हमारे पास टी चरण है। और वर्तमान चरण में हम मैट्रिक्स एस को देखते हैं, जो सभी के लिए पोस्टीरियर डिस्ट्रीब्यूशन जानकारी को संक्षेप में प्रस्तुत करता है हम निर्णय लेने जा रहे हैं, लेबल करने के लिए अगली वस्तु चुनें। और यह निर्भर करता है कि लेबल सकारात्मक या नकारात्मक क्या है, हम एक लेबल प्राप्त करने के लिए एक मैट्रिक्स जोड़ते हैंः सबसे बढ़कर, यह पूरी रूपरेखा है। चरण 2: धनात्मक समुच्चय पर अनुमान जब टी लेबल एकत्र किए जाते हैं, तो हम सेंट द्वारा दिए गए पश्च वितरण के आधार पर धनात्मक समुच्चय एच. टी. के बारे में एक अनुमान लगा सकते हैं। यह जानने के बाद कि इष्टतम समाधान क्या है, फिर कागज दिखाता है कि इष्टतम मूल्य क्या है। इष्टतम फ़ंक्शन में प्लग करें, यह फ़ंक्शन सिर्फ एक एकल फ़ंक्शन है जो सकारात्मक होने और नकारात्मक होने की सशर्त संभावना के बीच बड़े को चुनता है। एक बार जब हम आइटम i के लिए एक और लेबल प्राप्त कर लेते हैं, तो हम इस मूल्य के बीच एक अंतर लेते हैं, एक नया लेबल प्राप्त करने से पहले और बाद में, हम देख सकते हैं कि यह सशर्त संभावना वास्तव में निम्नानुसार सरल हो सकती हैः सकारात्मक वस्तु का सकारात्मक होना केवल बीटा पोस्टीरियर पर निर्भर करता है, इसलिए, यदि केवल बीटा वितरण फ़ंक्शन के पैरामीटर का कार्य a और b है, तो इस विशेष वस्तु के लिए एक और लेबल के रूप में, हम पोस्टीरियर फ़ंक्शन को दोगुना बदल देते हैं, इसलिए 1 को छोड़कर इन सभी वस्तुओं को रद्द किया जा सकता है, इसलिए यह पूरी सटीकता के लिए परिवर्तन है और हमने चरण-वार पुरस्कार के रूप में परिभाषित किया हैः एक और नमूने द्वारा अनुमान सटीकता में सुधार। बेशक इस लेबल के दो सकारात्मक मूल्य हैं, हमें सकारात्मक लेबल या नकारात्मक लेबल मिलता है, इन दोनों के लिए औसत लेते हैं, अपेक्षित इनाम प्राप्त करते हैं। हम केवल लेबल होने के लिए आइटम चुनते हैं ताकि नॉलेज ग्रेडिएंट का उपयोग करके अपेक्षित इनाम अधिकतम किया जा सकेः वे कई आइटम हैं, हमें बताएं कि हम संबंधों को कैसे तोड़ते हैं। यदि हम निर्धारित रूप से बराबरी तोड़ते हैं, जिसका अर्थ है कि हम सबसे छोटा सूचकांक चुनते हैं। हम एक समस्या का सामना करने जा रहे हैं क्योंकि यह सुसंगत नहीं है जिसका अर्थ है कि सकारात्मक चरण वास्तविक सकारात्मक चरण में परिवर्तित नहीं होता है। इसलिए हम यादृच्छिक रूप से संबंधों को तोड़ने की भी कोशिश कर सकते हैं, यह काम करता है, हालाँकि, हम देखेंगे कि प्रदर्शन लगभग एक समान नमूने की तरह है, सबसे अच्छा इनाम है। लेखक की नीति एक प्रकार से अधिक लालची है, एक बार पुरस्कार के बाद चरण में औसत चुनने के बजाय, हम वास्तव में बड़े की गणना कर सकते हैं, दो चरण संभावित पुरस्कार का अधिकतम, इसलिए आशावादी ज्ञान प्रवणताः और हम आशावादी ज्ञान प्रवणता के तहत जानते हैं, अंतिम अनुमान सटीकता 100% में परिवर्तित हो जाती है। ऊपर इस बात पर आधारित है कि प्रत्येक कर्मचारी सही है, हालांकि, व्यवहार में, श्रमिक हमेशा जिम्मेदार नहीं होते हैं। इसलिए यदि अपूर्ण श्रमिकों में, हम के वस्तुओं को मानते हैं,। एक पूर्ण कार्यकर्ता द्वारा वस्तु को सकारात्मक के रूप में लेबल किए जाने की संभावना। एम श्रमिकों, एक आदर्श कार्यकर्ता के रूप में एक ही लेबल देने वाले कार्यकर्ता की संभावना। कार्यकर्ता से वस्तु तक लेबल का वितरणः और कार्य स्थान वह है जहाँ, लेबल मैट्रिक्सः इसकी गणना करना मुश्किल है, इसलिए हम संदर्भ गणितीय अनुकूलन मार्कोव प्रक्रियाओं के वैरिएशनल बायेसियन तरीकों का उपयोग कर सकते हैं।