Gradient boosting
ग्रेडिएंट बूस्टिंग एक मशीन लर्निंग तकनीक है जिसका उपयोग प्रतिगमन और वर्गीकरण कार्यों में किया जाता है। यह कमजोर भविष्यवाणी मॉडल के एक समूह के रूप में एक भविष्यवाणी मॉडल देता है, यानी, मॉडल जो डेटा के बारे में बहुत कम धारणाएं बनाते हैं, जो आमतौर पर सरल निर्णय पेड़ होते हैं। जब एक निर्णय वृक्ष कमजोर शिक्षार्थी होता है, तो परिणामी एल्गोरिथ्म को ग्रेडिएंट-बूस्टेड ट्री कहा जाता है; यह आमतौर पर यादृच्छिक वन से बेहतर प्रदर्शन करता है। एक ढाल-बूस्टेड ट्री मॉडल को अन्य बूस्टिंग विधियों की तरह चरण-वार फैशन में बनाया गया है, लेकिन यह एक मनमाने विभेदक हानि कार्य के अनुकूलन की अनुमति देकर अन्य विधियों को सामान्यीकृत करता है। ग्रेडिएंट बूस्टिंग का विचार लियो ब्रेमैन के अवलोकन में उत्पन्न हुआ कि बूस्टिंग को एक उपयुक्त लागत कार्य पर अनुकूलन एल्गोरिदम के रूप में व्याख्या की जा सकती है। स्पष्ट प्रतिगमन प्रवणता वर्धन एल्गोरिदम को बाद में जेरोम एच. फ्रीडमैन द्वारा विकसित किया गया था, साथ ही साथ ल्यू मेसन, जोनाथन बैक्सटर, पीटर बार्टलेट और मार्कस फ्रीन के अधिक सामान्य कार्यात्मक प्रवणता वर्धन परिप्रेक्ष्य के साथ। बाद के दो शोध पत्रों ने पुनरावृत्ति कार्यात्मक प्रवणता वंश क्रम के रूप में एल्गोरिदम को बढ़ावा देने के दृष्टिकोण को पेश किया। अर्थात्, एल्गोरिदम जो नकारात्मक प्रवणता दिशा में इंगित करने वाले एक कार्य (कमजोर परिकल्पना) को बारी-बारी से चुनकर कार्य स्थान पर एक लागत कार्य को अनुकूलित करते हैं। बूस्टिंग के इस कार्यात्मक प्रवणता दृष्टिकोण ने मशीन लर्निंग और सांख्यिकी के कई क्षेत्रों में प्रतिगमन और वर्गीकरण से परे एल्गोरिदम को बढ़ावा देने का विकास किया है। अनौपचारिक परिचय (यह खंड चेंग ली द्वारा ढाल बढ़ाने के प्रदर्शन का अनुसरण करता है।) अन्य बूस्टिंग विधियों की तरह, ग्रेडिएंट बूस्टिंग कमजोर "शिक्षार्थियों" को एक पुनरावृत्ति शैली में एकल मजबूत शिक्षार्थी में जोड़ती है। कम से कम वर्ग प्रतिगमन सेटिंग में समझाना सबसे आसान है, जहां लक्ष्य औसत वर्ग त्रुटि को कम करके रूप के मूल्यों की भविष्यवाणी करने के लिए एक मॉडल को "सिखाना" है, जहां आउटपुट चर के वास्तविक मूल्यों के आकार के कुछ प्रशिक्षण सेट पर अनुक्रमणिका होती हैः अनुमानित मूल्य में नमूनों की संख्या का अवलोकन किया जाता है। ग्रेडिएंट बूस्टिंग के प्रत्येक चरण () पर, मान लीजिए कि कुछ अपूर्ण मॉडल (कम के लिए, यह मॉडल बस वापस आ सकता है, जहां आरएचएस का माध्य है)। सुधार के लिए, हमारे एल्गोरिथ्म को कुछ नए अनुमानक को जोड़ना चाहिए। इस प्रकार, या, समतुल्य रूप से। इसलिए, ग्रेडिएंट बूस्टिंग अवशिष्ट के अनुरूप होगी। अन्य बूस्टिंग रूपों की तरह, प्रत्येक अपने पूर्ववर्ती की त्रुटियों को सुधारने का प्रयास करता है। वर्ग त्रुटि के अलावा अन्य हानि कार्यों के लिए इस विचार का एक सामान्यीकरण, और वर्गीकरण और श्रेणीकरण समस्याओं के लिए, इस अवलोकन से पता चलता है कि किसी दिए गए मॉडल के लिए अवशिष्ट माध्य वर्ग त्रुटि (एम. एस. ई.) हानि फलन (के संबंध में) के नकारात्मक प्रवणता के समानुपाती होते हैंः तो, ग्रेडिएंट बूस्टिंग एक ग्रेडिएंट डिसेंट एल्गोरिथ्म के लिए विशेष हो सकता है, और इसे सामान्य बनाने में एक अलग नुकसान और इसके ग्रेडिएंट को "प्लग इन" करना शामिल है। एल्गोरिदम कई पर्यवेक्षित सीखने की समस्याओं में एक आउटपुट चर और इनपुट चर का एक वेक्टर होता है, जो कुछ संभावित वितरण के साथ एक दूसरे से संबंधित होता है। लक्ष्य कुछ ऐसे कार्य को खोजना है जो इनपुट चर के मूल्यों से आउटपुट चर का सबसे अच्छा अनुमान लगाता है। इसे कुछ हानि कार्य शुरू करके और उम्मीद में इसे कम करके औपचारिक रूप दिया जाता हैः ग्रेडिएंट बूस्टिंग विधि एक वास्तविक-मूल्यवान मानती है। यह किसी वर्ग से कार्यों के भारित योग के रूप में एक अनुमान चाहता है, जिसे आधार (या कमजोर) शिक्षार्थी कहा जाता हैः हमें आम तौर पर ज्ञात नमूना मूल्यों और संबंधित मूल्यों का एक प्रशिक्षण सेट दिया जाता है। अनुभवजन्य जोखिम न्यूनीकरण सिद्धांत के अनुसार, विधि एक अनुमान खोजने की कोशिश करती है जो प्रशिक्षण सेट पर हानि समारोह के औसत मूल्य को कम करती है, यानी अनुभवजन्य जोखिम को कम करती है। यह एक मॉडल के साथ शुरू होता है, जिसमें एक निरंतर कार्य होता है, और इसे लालची तरीके से बढ़ाता हैः, के लिए, जहां एक आधार शिक्षार्थी कार्य है। दुर्भाग्य से, एक मनमाने नुकसान फ़ंक्शन के लिए प्रत्येक चरण में सबसे अच्छा फ़ंक्शन चुनना सामान्य रूप से एक कम्प्यूटेशनल रूप से अक्षम अनुकूलन समस्या है। इसलिए, हम समस्या के एक सरलीकृत संस्करण तक अपने दृष्टिकोण को सीमित करते हैं। विचार यह है कि इस न्यूनतम समस्या (कार्यात्मक प्रवणता अवरोहण) के लिए एक सबसे तीव्र अवरोहण चरण लागू किया जाए। सबसे तीव्र अवरोहण के पीछे मूल विचार पुनरावृत्ति करके नुकसान फलन के स्थानीय न्यूनतम का पता लगाना है। वास्तव में, हानि फलन की स्थानीय अधिकतम-वंश दिशा ऋणात्मक प्रवणता है। इसलिए, एक छोटी राशि को इस तरह से स्थानांतरित करना कि रैखिक सन्निकटन मान्य रहता हैः जहाँ। छोटे के लिए, इसका मतलब यह है। निम्नलिखित को साबित करने के लिए, पहले क्रम तक निश्चित बिंदु के आसपास टेलर विस्तार करने के उद्देश्य पर विचार करें। यह सबसे तीव्र चढ़ाई की दिशा है और इसलिए हमें सबसे तीव्र अवरोहण की दिशा में आगे बढ़ने के लिए विपरीत (यानी नकारात्मक) दिशा में आगे बढ़ना चाहिए। इसके अलावा, हम उस मूल्य का पता लगाकर अनुकूलन कर सकते हैं जिसके लिए हानि फलन का न्यूनतम मान हैः यदि हम निरंतर मामले पर विचार करते हैं, यानी, मनमाने ढंग से अवकलनीय फलन का सेट कहाँ है, तो हम निम्नलिखित समीकरणों के अनुसार मॉडल को अद्यतन करेंगे जहां चरण की लंबाई है, जिसे इस रूप में परिभाषित किया गया है। जब समुच्चय परिमित होता है, तो हम ढाल के निकटतम उम्मीदवार फलन का चयन करते हैं जिसके लिए गुणांक की गणना उपरोक्त समीकरणों पर रेखा खोज की सहायता से की जा सकती है। ध्यान दें कि यह दृष्टिकोण एक शोधात्मक है और इसलिए दी गई समस्या का सटीक समाधान नहीं देता है, बल्कि एक अनुमान है। स्यूडोकोड में, सामान्य प्रवणता बढ़ाने की विधि हैः इनपुटः प्रशिक्षण पुनरावृत्तियों की एक विभेदक हानि फलन संख्या निर्धारित करता है। एल्गोरिदमः एक स्थिर मूल्य के साथ मॉडल को आरंभ करेंः के लिए = 1 सेः तथाकथित छद्म-अवशेषों की गणना करें-एक आधार शिक्षार्थी (या कमजोर शिक्षार्थी, जैसे) को फिट करें। पेड़) छद्म-अवशेषों के लिए स्केलिंग के तहत बंद, यानी। प्रशिक्षण सेट का उपयोग करके इसे प्रशिक्षित करें। निम्नलिखित एक-आयामी अनुकूलन समस्या को हल करके गुणक की गणना करेंः मॉडल को अद्यतन करेंः आउटपुट ग्रेडिएंट ट्री बूस्टिंग ग्रेडिएंट बूस्टिंग का उपयोग आमतौर पर आधार शिक्षार्थियों के रूप में एक निश्चित आकार के निर्णय ट्री (विशेष रूप से सीएआरटी) के साथ किया जाता है। इस विशेष मामले के लिए, फ्रीडमैन ने ढाल बढ़ाने की विधि में एक संशोधन का प्रस्ताव रखा है जो प्रत्येक मूल शिक्षार्थी की योग्यता की गुणवत्ता में सुधार करता है। एम-th चरण पर सामान्य ढाल बूस्टिंग छद्म-अवशेषों के लिए एक निर्णय वृक्ष के लिए उपयुक्त होगा। मान लीजिए इसके पत्तों की संख्या। वृक्ष इनपुट स्थान को अलग-अलग क्षेत्रों में विभाजित करता है और प्रत्येक क्षेत्र में एक स्थिर मूल्य की भविष्यवाणी करता है। सूचक संकेतन का उपयोग करते हुए, इनपुट x के लिए आउटपुट को योग के रूप में लिखा जा सकता हैः क्षेत्र में अनुमानित मूल्य कहाँ है। फिर गुणांक को कुछ मूल्य से गुणा किया जाता है, जिसे रेखा खोज का उपयोग करके चुना जाता है ताकि हानि कार्य को कम किया जा सके, और मॉडल को निम्नानुसार अद्यतन किया जाता हैः फ्रीडमैन ने इस एल्गोरिथ्म को संशोधित करने का प्रस्ताव रखा है ताकि यह पूरे पेड़ के लिए एक के बजाय पेड़ के प्रत्येक क्षेत्र के लिए एक अलग इष्टतम मूल्य चुन सके। वह संशोधित एल्गोरिदम को "ट्रीबूस्ट" कहते हैं। ट्री-फिटिंग प्रक्रिया के गुणांक को तब आसानी से त्याग दिया जा सकता है और मॉडल अद्यतन नियम बन जाता हैः पेड़ों का आकार, पेड़ों में अंतिम नोड्स की संख्या, विधि का पैरामीटर है जिसे हाथ में डेटा सेट के लिए समायोजित किया जा सकता है। यह मॉडल में चरों के बीच बातचीत के अधिकतम अनुमत स्तर को नियंत्रित करता है। (निर्णय स्टंप) के साथ, चर के बीच किसी भी बातचीत की अनुमति नहीं है। मॉडल के साथ दो चरों के बीच बातचीत के प्रभाव शामिल हो सकते हैं, और इसी तरह। हैस्टी एट अल। टिप्पणी जो आम तौर पर बढ़ावा देने के लिए अच्छी तरह से काम करती है और परिणाम इस सीमा में चयन के लिए काफी असंवेदनशील हैं, कई अनुप्रयोगों के लिए अपर्याप्त है, और इसकी आवश्यकता होने की संभावना नहीं है। प्रशिक्षण सेट को बहुत बारीकी से फिट करने से मॉडल की सामान्यीकरण क्षमता में गिरावट आ सकती है। कई तथाकथित नियमितीकरण तकनीकें फिटिंग प्रक्रिया को बाधित करके इस अति फिटिंग प्रभाव को कम करती हैं। एक प्राकृतिक नियमितकरण पैरामीटर ढाल बढ़ाने वाले पुनरावृत्तियों की संख्या एम (यानी। मॉडल में पेड़ों की संख्या जब आधार शिक्षार्थी एक निर्णय वृक्ष होता है)। एम को बढ़ाने से प्रशिक्षण सेट पर त्रुटि कम हो जाती है, लेकिन इसे बहुत अधिक सेट करने से ओवरफिटिंग हो सकती है। एम का एक इष्टतम मान अक्सर एक अलग सत्यापन डेटा सेट पर भविष्यवाणी त्रुटि की निगरानी करके चुना जाता है। एम को नियंत्रित करने के अलावा, कई अन्य नियमित करने की तकनीकों का उपयोग किया जाता है। एक अन्य नियमितीकरण मापदंड पेड़ों की गहराई है। यह मूल्य जितना अधिक होगा, मॉडल के प्रशिक्षण डेटा में अधिक फिट होने की संभावना उतनी ही अधिक होगी। सिकुड़न ढाल बढ़ाने की विधि का एक महत्वपूर्ण हिस्सा सिकुड़न द्वारा नियमित करना है जिसमें अद्यतन नियम को निम्नानुसार संशोधित करना शामिल हैः जहां पैरामीटर को "सीखने की दर" कहा जाता है। प्रायोगिक रूप से यह पाया गया है कि छोटी सीखने की दर (जैसे) का उपयोग करने से मॉडलों की सामान्यीकरण क्षमता में बिना सिकुड़े प्रवणता बढ़ाने की तुलना में नाटकीय सुधार होता है। हालाँकि, यह प्रशिक्षण और पूछताछ दोनों के दौरान कम्प्यूटेशनल समय बढ़ाने की कीमत पर आता हैः कम सीखने की दर के लिए अधिक पुनरावृत्तियों की आवश्यकता होती है। प्रवणता वर्धन की शुरुआत के तुरंत बाद, फ्रीडमैन ने एल्गोरिथ्म में एक मामूली संशोधन का प्रस्ताव रखा, जो ब्रेमैन की बूटस्ट्रैप एकत्रीकरण ("बैगिंग") विधि से प्रेरित था। विशेष रूप से, उन्होंने प्रस्ताव दिया कि एल्गोरिथ्म के प्रत्येक पुनरावृत्ति पर, एक आधार शिक्षार्थी को बिना प्रतिस्थापन के यादृच्छिक रूप से तैयार किए गए प्रशिक्षण सेट के उप-नमूने पर फिट होना चाहिए। फ्रीडमैन ने इस संशोधन के साथ ढाल वृद्धि की सटीकता में पर्याप्त सुधार देखा। उप-नमूना आकार प्रशिक्षण समूह के आकार का कुछ स्थिर अंश है। कब, एल्गोरिथ्म नियतात्मक और ऊपर वर्णित एल्गोरिथ्म के समान होता है। एल्गोरिथ्म में यादृच्छिकता को पेश करने के छोटे मान और एक प्रकार के नियमितकरण के रूप में कार्य करते हुए, ओवरफिटिंग को रोकने में मदद करते हैं। एल्गोरिथ्म भी तेज हो जाता है, क्योंकि प्रतिगमन पेड़ों को प्रत्येक पुनरावृत्ति पर छोटे डेटासेट के लिए फिट होना पड़ता है। फ्रीडमैन ने प्राप्त किया जो छोटे और मध्यम आकार के प्रशिक्षण सेटों के लिए अच्छे परिणाम देता है। इसलिए, आमतौर पर 0.5 पर सेट किया जाता है, जिसका अर्थ है कि प्रशिक्षण सेट के आधे हिस्से का उपयोग प्रत्येक आधार शिक्षार्थी के निर्माण के लिए किया जाता है। इसके अलावा, बैगिंग की तरह, सबसैम्पलिंग उन टिप्पणियों पर भविष्यवाणियों का मूल्यांकन करके भविष्यवाणी प्रदर्शन सुधार की एक आउट-ऑफ-बैग त्रुटि को परिभाषित करने की अनुमति देता है जो अगले आधार शिक्षार्थी के निर्माण में उपयोग नहीं किए गए थे। आउट-ऑफ-बैग अनुमान एक स्वतंत्र सत्यापन डेटासेट की आवश्यकता से बचने में मदद करते हैं, लेकिन अक्सर वास्तविक प्रदर्शन सुधार और पुनरावृत्तियों की इष्टतम संख्या को कम आंकते हैं। पत्तियों में टिप्पणियों की संख्या ग्रेडिएंट ट्री बूस्टिंग कार्यान्वयन अक्सर पेड़ों के अंतिम नोड्स में टिप्पणियों की न्यूनतम संख्या को सीमित करके नियमितकरण का उपयोग करते हैं। इसका उपयोग वृक्ष निर्माण प्रक्रिया में किसी भी विभाजन को नजरअंदाज करके किया जाता है जो इस संख्या से कम प्रशिक्षण सेट उदाहरणों वाले नोड्स की ओर ले जाता है। इस सीमा को लागू करने से पत्तियों पर भविष्यवाणियों में भिन्नता को कम करने में मदद मिलती है। वृक्ष की जटिलता को दंडित करना ढाल को बढ़ावा देने वाले वृक्षों के लिए एक और उपयोगी नियमित करने की तकनीक सीखी गई प्रतिमान की प्रतिमान जटिलता को दंडित करना है। मॉडल जटिलता को विद्वान पेड़ों में पत्तियों की आनुपातिक संख्या के रूप में परिभाषित किया जा सकता है। हानि और मॉडल जटिलता का संयुक्त अनुकूलन उन शाखाओं को हटाने के लिए एक पोस्ट-प्रूनिंग एल्गोरिदम से मेल खाता है जो नुकसान को एक सीमा तक कम करने में विफल रहती हैं। ओवरफिटिंग से बचने के लिए पत्ती के मूल्यों पर जुर्माना जैसे अन्य प्रकार के नियमितीकरण को भी जोड़ा जा सकता है। उपयोग ग्रेडिएंट बूस्टिंग का उपयोग सीखने के क्षेत्र में रैंक करने के लिए किया जा सकता है। वाणिज्यिक वेब खोज इंजन याहू और यांडेक्स अपने मशीन-लर्न रैंकिंग इंजनों में ग्रेडिएंट बूस्टिंग के प्रकारों का उपयोग करते हैं। डेटा विश्लेषण में उच्च ऊर्जा भौतिकी में भी ग्रेडिएंट बूस्टिंग का उपयोग किया जाता है। लार्ज हैड्रॉन कोलाइडर (एल. एच. सी.) में, डीप न्यूरल नेटवर्क (डी. एन. एन.) को बढ़ावा देने वाले ढाल के प्रकार हिग्स बोसॉन की खोज के लिए उपयोग किए जाने वाले डेटासेट पर विश्लेषण के गैर-मशीन सीखने के तरीकों के परिणामों को पुनः पेश करने में सफल रहे। ग्रेडिएंट बूस्टिंग डिसिशन ट्री को पृथ्वी और भूवैज्ञानिक अध्ययनों में भी लागू किया गया था-उदाहरण के लिए बलुआ पत्थर के जलाशय का गुणवत्ता मूल्यांकन। नाम विधि विभिन्न नामों से जाती है। फ्रीडमैन ने अपनी प्रतिगमन तकनीक को "ग्रेडिएंट बूस्टिंग मशीन" (जी. बी. एम.) के रूप में पेश किया। मेसन, बैक्सटर आदि। एल्गोरिदम के सामान्यीकृत अमूर्त वर्ग को "कार्यात्मक ढाल बूस्टिंग" के रूप में वर्णित किया। फ्रीडमैन और अन्य। बहुविध योगात्मक प्रतिगमन वृक्ष (एम. ए. आर. टी.); एलिथ और अन्य के रूप में ढाल वर्धित मॉडल की प्रगति का वर्णन करें। उस दृष्टिकोण को "बूस्टेड रिग्रेशन ट्रीज़" (बी. आर. टी.) के रूप में वर्णित करें। आर के लिए एक लोकप्रिय ओपन-सोर्स कार्यान्वयन इसे "सामान्यीकृत बूस्टिंग मॉडल" कहता है, हालांकि इस काम का विस्तार करने वाले पैकेज बीआरटी का उपयोग करते हैं। वृक्ष-आधारित विधियों के उपयोग का बीड़ा उठाने वाले शोधकर्ताओं में से एक, सैल्फोर्ड सिस्टम के डैन स्टीनबर्ग के प्रारंभिक व्यावसायिक कार्यान्वयन के बाद, एक और नाम ट्रीनेट है। एक्सजीबीओस्ट कुछ विस्तारों के साथ विधि का एक और लोकप्रिय आधुनिक कार्यान्वयन है, जैसे द्वितीय-क्रम अनुकूलन। नुकसान जबकि वृद्धि एक आधार शिक्षार्थी की सटीकता को बढ़ा सकती है, जैसे कि निर्णय वृक्ष या रैखिक प्रतिगमन, यह समझदारी और व्याख्यात्मकता का त्याग करता है। उदाहरण के लिए, एक निर्णय वृक्ष अपना निर्णय लेने के लिए जिस मार्ग का अनुसरण करता है, वह तुच्छ और स्व-व्याख्यायित है, लेकिन सैकड़ों या हजारों पेड़ों के मार्ग का अनुसरण करना बहुत कठिन है। प्रदर्शन और व्याख्यात्मकता दोनों को प्राप्त करने के लिए, कुछ मॉडल संपीड़न तकनीकें एक एक्सजीबीओस्ट को एक एकल "बोर्न-अगेन" निर्णय वृक्ष में बदलने की अनुमति देती हैं जो एक ही निर्णय कार्य का अनुमान लगाती है। इसके अलावा, उच्च कम्प्यूटेशनल मांग के कारण इसका कार्यान्वयन अधिक कठिन हो सकता है। ए. डी. ए. बूस्ट यादृच्छिक वन कैटबूस्ट लाइट. जी. बी. एम. एक्स. जी. बी. बूस्ट निर्णय वृक्ष अधिगम संदर्भ आगे पढ़ने के लिए बाहरी लिंक ढाल को बढ़ावा देने वाले प्रवणता को कैसे समझाया जाए वर्धित प्रतिगमन वृक्ष लाइट. जी. बी. एम. वर्गीकरण एल्गोरिदम निर्णय वृक्ष एकत्रित शिक्षण