Online machine learning
कंप्यूटर विज्ञान में, ऑनलाइन मशीन लर्निंग मशीन लर्निंग की एक विधि है जिसमें डेटा एक क्रमिक क्रम में उपलब्ध हो जाता है और इसका उपयोग प्रत्येक चरण में भविष्य के डेटा के लिए सर्वोत्तम भविष्यवक्ता को अद्यतन करने के लिए किया जाता है, जो कि बैच लर्निंग तकनीकों के विपरीत है जो सीखने से सबसे अच्छा भविष्यवक्ता उत्पन्न करते हैं। ऑनलाइन लर्निंग मशीन लर्निंग के क्षेत्रों में उपयोग की जाने वाली एक सामान्य तकनीक है जहां पूरे डेटासेट पर प्रशिक्षित करना कम्प्यूटेशनल रूप से अक्षम है, जिसमें आउट-ऑफ-कोर एल्गोरिदम की आवश्यकता होती है। इसका उपयोग उन स्थितियों में भी किया जाता है जहां एल्गोरिथ्म के लिए डेटा में नए पैटर्न के लिए गतिशील रूप से अनुकूलन करना आवश्यक है, या जब डेटा स्वयं समय के कार्य के रूप में उत्पन्न होता है, जैसे कि स्टॉक मूल्य भविष्यवाणी। ऑनलाइन लर्निंग एल्गोरिदम विनाशकारी हस्तक्षेप के लिए प्रवण हो सकते हैं, एक ऐसी समस्या जिसे वृद्धिशील शिक्षण दृष्टिकोण द्वारा संबोधित किया जा सकता है। परिचय पर्यवेक्षित अधिगम की व्यवस्था में, एक कार्य को सीखना होता है, जहां इसे निवेश के स्थान के रूप में और परिणाम के स्थान के रूप में माना जाता है, जो उन उदाहरणों पर अच्छी तरह से भविष्यवाणी करता है जो एक संयुक्त संभाव्यता वितरण से लिए जाते हैं। वास्तव में, शिक्षार्थी कभी भी उदाहरणों पर वास्तविक वितरण को नहीं जानता है। इसके बजाय, शिक्षार्थी के पास आमतौर पर उदाहरणों के एक प्रशिक्षण समूह तक पहुंच होती है। इस सेटिंग में, लॉस फ़ंक्शन को इस तरह दिया जाता है, जो अनुमानित मूल्य और सही मूल्य के बीच के अंतर को मापता है। आदर्श लक्ष्य एक फलन का चयन करना है, जहाँ फलन का एक स्थान है जिसे परिकल्पना स्थान कहा जाता है, ताकि कुल हानि की कुछ धारणा को कम किया जा सके। मॉडल के प्रकार (सांख्यिकीय या प्रतिकूल) के आधार पर, कोई भी नुकसान की विभिन्न धारणाओं को तैयार कर सकता है, जो अलग-अलग सीखने के एल्गोरिदम की ओर ले जाते हैं। ऑनलाइन सीखने का सांख्यिकीय दृष्टिकोण सांख्यिकीय शिक्षण मॉडल में, प्रशिक्षण के नमूने को सही वितरण से तैयार किया गया माना जाता है और इसका उद्देश्य अपेक्षित "जोखिम" को कम करना है इस स्थिति में एक सामान्य प्रतिमान अनुभवजन्य जोखिम को कम करने या नियमित अनुभवजन्य जोखिम को कम करने (आमतौर पर तिखोनोव नियमितकरण) के माध्यम से एक कार्य का अनुमान लगाना है। यहाँ लॉस फ़ंक्शन का चुनाव कई प्रसिद्ध शिक्षण एल्गोरिदम को जन्म देता है जैसे कि नियमित न्यूनतम वर्ग और समर्थन वेक्टर मशीनें। इस श्रेणी में एक विशुद्ध रूप से ऑनलाइन मॉडल केवल नए इनपुट, वर्तमान सर्वश्रेष्ठ भविष्यवक्ता और कुछ अतिरिक्त संग्रहीत जानकारी (जो आमतौर पर प्रशिक्षण डेटा आकार से स्वतंत्र भंडारण आवश्यकताओं की उम्मीद की जाती है) के आधार पर सीखता है। कई सूत्रीकरणों के लिए, उदाहरण के लिए अरैखिक कर्नेल विधियों के लिए, वास्तविक ऑनलाइन शिक्षा संभव नहीं है, हालांकि पुनरावर्ती एल्गोरिदम के साथ संकर ऑनलाइन शिक्षा के एक रूप का उपयोग किया जा सकता है जहां पिछले सभी डेटा बिंदुओं पर निर्भर करने की अनुमति है। इस मामले में, स्थान आवश्यकताओं को अब स्थिर होने की गारंटी नहीं है क्योंकि इसके लिए पिछले सभी डेटा बिंदुओं को संग्रहीत करने की आवश्यकता होती है, लेकिन समाधान को बैच सीखने की तकनीकों की तुलना में एक नए डेटा बिंदु को जोड़ने के साथ गणना करने में कम समय लग सकता है। उपरोक्त मुद्दों को दूर करने के लिए एक सामान्य रणनीति मिनी-बैचों का उपयोग करके सीखना है, जो एक समय में डेटा बिंदुओं के एक छोटे समूह को संसाधित करते हैं, इसे प्रशिक्षण बिंदुओं की कुल संख्या से बहुत कम के लिए छद्म-ऑनलाइन सीखने के रूप में माना जा सकता है। मशीन लर्निंग एल्गोरिदम के अनुकूलित आउट-ऑफ-कोर संस्करणों को प्राप्त करने के लिए प्रशिक्षण डेटा को बार-बार पास करने के साथ मिनी-बैच तकनीकों का उपयोग किया जाता है, उदाहरण के लिए, स्टोकेस्टिक ग्रेडिएंट डिसेंट। जब बैकप्रोपेगेशन के साथ जोड़ा जाता है, तो यह वर्तमान में कृत्रिम तंत्रिका नेटवर्क के प्रशिक्षण के लिए वास्तविक प्रशिक्षण विधि है। उदाहरण-रैखिक न्यूनतम वर्ग रैखिक न्यूनतम वर्ग के सरल उदाहरण का उपयोग ऑनलाइन सीखने में विभिन्न विचारों की व्याख्या करने के लिए किया जाता है। विचार अन्य सेटिंग्स पर लागू होने के लिए पर्याप्त सामान्य हैं, उदाहरण के लिए, अन्य उत्तल हानि कार्यों के साथ। बैच लर्निंग सीखने के लिए एक रैखिक कार्य होने के साथ पर्यवेक्षित सीखने की सेटिंग पर विचार करेंः जहां इनपुट (डेटा पॉइंट) का एक वेक्टर है और एक रैखिक फ़िल्टर वेक्टर है। लक्ष्य फ़िल्टर वेक्टर की गणना करना है। इसके लिए, एक वर्ग हानि फलन का उपयोग वेक्टर की गणना करने के लिए किया जाता है जो अनुभवजन्य हानि को कम करता है। माना डेटा मैट्रिक्स है और पहले डेटा बिंदुओं के आने के बाद लक्ष्य मूल्यों का कॉलम वेक्टर है। यह मानते हुए कि सहप्रसरण मैट्रिक्स व्युत्क्रमणीय है (अन्यथा तिखोनोव नियमितकरण के साथ इसी तरह से आगे बढ़ना अधिमानी है), रैखिक न्यूनतम वर्ग समस्या का सबसे अच्छा समाधान इसके द्वारा दिया जाता है। अब, सहप्रसरण मैट्रिक्स की गणना करने में समय लगता है, मैट्रिक्स को उलटने में समय लगता है, जबकि शेष गुणन में समय लगता है, जो कुल समय देता है। जब डेटासेट में कुल अंक होते हैं, तो प्रत्येक डेटाप्वाइंट के आने के बाद समाधान की पुनः गणना करने के लिए, सरल दृष्टिकोण में कुल जटिलता होगी। ध्यान दें कि मैट्रिक्स को संग्रहीत करते समय, प्रत्येक चरण में इसे अद्यतन करने के लिए केवल जोड़ने की आवश्यकता होती है, जिसमें समय लगता है, जिससे कुल समय कम हो जाता है, लेकिन भंडारण के लिए अतिरिक्त भंडारण स्थान के साथ। ऑनलाइन लर्निंगः रिकर्सिव लीस्ट स्क्वेयर्स रिकर्सिव लीस्ट स्क्वेयर्स (आर. एल. एस.) एल्गोरिदम लीस्ट स्क्वेयर्स समस्या के लिए एक ऑनलाइन दृष्टिकोण पर विचार करता है। यह दिखाया जा सकता है कि आरंभ करके और पिछले खंड में दी गई रैखिक न्यूनतम वर्ग समस्या के समाधान की गणना निम्नलिखित पुनरावृत्ति द्वारा की जा सकती हैः उपरोक्त पुनरावृत्ति एल्गोरिदम को इंडक्शन ऑन का उपयोग करके साबित किया जा सकता है। सबूत भी यही बताता है। अनुकूलनशील फिल्टर के संदर्भ में भी आर. एल. एस. को देखा जा सकता है (आर. एल. एस. देखें)। इस एल्गोरिथ्म के चरणों के लिए जटिलता है, जो संबंधित बैच सीखने की जटिलता की तुलना में तेजी से परिमाण का एक क्रम है। यहाँ प्रत्येक चरण में भंडारण आवश्यकताओं को मैट्रिक्स को संग्रहीत करना है, जो स्थिर है। उस मामले के लिए जब व्युत्क्रमणीय नहीं है, समस्या हानि कार्य के नियमित संस्करण पर विचार करें। फिर, यह दिखाना आसान है कि वही एल्गोरिथ्म काम करता है, और पुनरावृत्तियाँ देना जारी रखती हैं। स्टोकेस्टिक ग्रेडिएंट डिसेंट जब इसे या द्वारा प्रतिस्थापित किया जाता है, तो यह स्टोकेस्टिक ग्रेडिएंट डिसेंट एल्गोरिथम बन जाता है। इस मामले में, इस एल्गोरिथ्म के चरणों के लिए जटिलता कम हो जाती है। प्रत्येक चरण में भंडारण की आवश्यकताएँ स्थिर रहती हैं। हालाँकि, अपेक्षित जोखिम कम करने की समस्या को हल करने के लिए कदम के आकार को सावधानीपूर्वक चुना जाना चाहिए, जैसा कि ऊपर विस्तार से बताया गया है। क्षयशील चरण आकार का चयन करके कोई भी औसत पुनरावृत्ति के अभिसरण को साबित कर सकता है। यह सेटिंग यादृच्छिक अनुकूलन का एक विशेष मामला है, जो अनुकूलन में एक प्रसिद्ध समस्या है। वृद्धिशील यादृच्छिक प्रवणता अवरोहण व्यवहार में, कोई भी डेटा पर कई यादृच्छिक प्रवणता पास (जिसे चक्र या युग भी कहा जाता है) कर सकता है। इस प्रकार प्राप्त एल्गोरिथ्म को वृद्धिशील प्रवणता विधि कहा जाता है और यह एक पुनरावृत्ति से मेल खाती है स्टोकेस्टिक प्रवणता विधि के साथ मुख्य अंतर यह है कि यहां यह तय करने के लिए एक अनुक्रम चुना जाता है कि-th चरण में किस प्रशिक्षण बिंदु पर जाना है। इस तरह का अनुक्रम यादृच्छिक या नियतात्मक हो सकता है। पुनरावृत्तियों की संख्या को फिर अंकों की संख्या से अलग कर दिया जाता है (प्रत्येक बिंदु को एक से अधिक बार माना जा सकता है)। वृद्धिशील प्रवणता विधि को अनुभवजन्य जोखिम को कम करने के लिए दिखाया जा सकता है। वृद्धिशील तकनीकें लाभप्रद हो सकती हैं जब कई शब्दों के योग से बने वस्तुनिष्ठ कार्यों पर विचार किया जाता है। एक बहुत बड़े डेटासेट के अनुरूप एक अनुभवजन्य त्रुटि। कर्नेल विधियों कर्नेल का उपयोग उपरोक्त एल्गोरिदम को गैर-पैरामीट्रिक मॉडल (या मॉडल जहां पैरामीटर एक अनंत आयामी स्थान बनाते हैं) तक विस्तारित करने के लिए किया जा सकता है। संबंधित प्रक्रिया अब वास्तव में ऑनलाइन नहीं होगी और इसके बजाय सभी डेटा बिंदुओं को संग्रहीत करना शामिल होगा, लेकिन फिर भी ब्रूट फोर्स विधि की तुलना में तेज है। यह चर्चा वर्ग हानि के मामले तक ही सीमित है, हालांकि इसे किसी भी उत्तल हानि तक बढ़ाया जा सकता है। यह एक आसान प्रेरण द्वारा दिखाया जा सकता है कि यदि डेटा मैट्रिक्स है और एसजीडी एल्गोरिथ्म के चरणों के बाद आउटपुट है, तो, कहाँ और अनुक्रम पुनरावृत्ति को संतुष्ट करता हैः और ध्यान दें कि यहाँ सिर्फ मानक कर्नेल चालू है, और भविष्यवक्ता रूप का है। अब, यदि इसके बजाय एक सामान्य कर्नेल पेश किया जाता है और भविष्यवक्ता को होने दिया जाता है, तो वही प्रमाण यह भी दिखाएगा कि कम से कम वर्ग नुकसान को कम करने वाले भविष्यवक्ता को उपरोक्त पुनरावृत्ति को बदलकर प्राप्त किया जाता है। - th डेटाप्वाइंट के लिए मूल्यांकन करते समय पुनरावृत्ति के लिए कुल समय जटिलता है, जहां अंकों की एक जोड़ी पर कर्नेल का मूल्यांकन करने की लागत है। इस प्रकार, कर्नेल के उपयोग ने मापदंडों के स्थान पर पुनरावृत्ति करने के बजाय, जिसका आयाम प्रशिक्षण डेटासेट के आकार के समान है, कर्नेल द्वारा दर्शाए गए एक सीमित आयामी पैरामीटर स्थान से संभवतः अनंत आयामी विशेषता तक आंदोलन की अनुमति दी है। सामान्य तौर पर, यह प्रतिनिधि प्रमेय का एक परिणाम है। ऑनलाइन उत्तल अनुकूलन (ओ. सी. ओ.) निर्णय लेने के लिए एक सामान्य ढांचा है जो कुशल एल्गोरिदम की अनुमति देने के लिए उत्तल अनुकूलन का लाभ उठाता है। खेल को बार-बार खेलने की रूपरेखा इस प्रकार हैः लर्नर के लिए एक निश्चित उत्तल समूह से इनपुट लर्नर आउटपुट प्राप्त होता है प्रकृति एक उत्तल हानि कार्य को वापस भेजती है। शिक्षार्थी नुकसान का सामना करता है और अपने मॉडल को अपडेट करता है लक्ष्य अफसोस को कम करना है, या संचयी नुकसान और सबसे अच्छे निश्चित बिंदु के नुकसान के बीच के अंतर को कम करना है। एक उदाहरण के रूप में, ऑनलाइन न्यूनतम वर्ग रैखिक प्रतिगमन के मामले पर विचार करें। यहाँ, भार सदिश उत्तल समूह से आते हैं, और प्रकृति उत्तल हानि कार्य को वापस भेजती है। यहाँ नोट करें जो निहित रूप से साथ भेजा गया है। हालाँकि कुछ ऑनलाइन भविष्यवाणी की समस्याएं ओ. सी. ओ. के ढांचे में फिट नहीं हो सकती हैं। उदाहरण के लिए, ऑनलाइन वर्गीकरण में, भविष्यवाणी क्षेत्र और हानि कार्य उत्तल नहीं हैं। ऐसे परिदृश्यों में, उत्तलीकरण के लिए दो सरल तकनीकों का उपयोग किया जाता हैः यादृच्छिककरण और सरोगेट हानि कार्य। कुछ सरल ऑनलाइन उत्तल अनुकूलन एल्गोरिदम हैंः नेता का पालन करें (एफ. टी. एल.) सीखने का सबसे सरल नियम (वर्तमान चरण में) उस परिकल्पना का चयन करना है जिसमें पिछले सभी दौरों में सबसे कम नुकसान होता है। इस एल्गोरिथ्म को फॉलो द लीडर कहा जाता है, और गोल को बस इस प्रकार दिया जाता हैः इस विधि को इस प्रकार एक लालची एल्गोरिथ्म के रूप में देखा जा सकता है। ऑनलाइन द्विघात अनुकूलन (जहां हानि कार्य है) के मामले में, कोई एक अफसोस की सीमा दिखा सकता है जो बढ़ती जाती है। हालाँकि, ऑनलाइन रैखिक अनुकूलन जैसे मॉडल के अन्य महत्वपूर्ण परिवारों के लिए एफ. टी. एल. एल्गोरिदम के लिए समान सीमाएँ प्राप्त नहीं की जा सकती हैं। ऐसा करने के लिए, नियमितकरण जोड़कर एफ. टी. एल. को संशोधित किया जाता है। नियमित नेता (एफ. टी. आर. एल.) का पालन करें यह एफ. टी. एल. का एक प्राकृतिक संशोधन है जिसका उपयोग एफ. टी. एल. समाधानों को स्थिर करने और बेहतर अफसोस सीमा प्राप्त करने के लिए किया जाता है। एक नियमितकरण कार्य चुना जाता है और निम्नलिखित क्रम में अध्ययन किया जाता हैः एक विशेष उदाहरण के रूप में, ऑनलाइन रैखिक अनुकूलन के मामले पर विचार करें। जहाँ प्रकृति रूप के हानि कार्यों को वापस भेजती है। साथ ही, जाने दो। मान लीजिए कि नियमितकरण फलन को किसी धनात्मक संख्या के लिए चुना गया है। फिर, कोई यह दिखा सकता है कि खेद को कम करने वाली पुनरावृत्ति नोट हो जाती है कि इसे इस रूप में फिर से लिखा जा सकता है, जो बिल्कुल ऑनलाइन ग्रेडिएंट डिसेंट की तरह दिखता है। यदि इसके बजाय कुछ उत्तल उपक्षेत्र है, तो इसे प्रक्षेपित करने की आवश्यकता होगी, जिससे संशोधित अद्यतन नियम इस एल्गोरिथ्म को आलसी प्रक्षेपण के रूप में जाना जाता है, क्योंकि वेक्टर प्रवणता को जमा करता है। इसे नेस्टरोव के दोहरे औसत एल्गोरिदम के रूप में भी जाना जाता है। रैखिक हानि कार्यों और द्विघात नियमितीकरण के इस परिदृश्य में, खेद सीमित है, और इस प्रकार औसत खेद वांछित के रूप में जाता है। ऑनलाइन सबग्रेडिएंट डिसेंट (ओ. एस. डी.) उपरोक्त रैखिक हानि कार्यों के लिए खेदपूर्ण साबित हुआ। किसी भी उत्तल हानि फलन के लिए एल्गोरिथ्म को सामान्य बनाने के लिए, के उप-प्रवणता का उपयोग निकट के लिए एक रैखिक सन्निकटन के रूप में किया जाता है, जो ऑनलाइन उप-प्रवणता अवरोहण एल्गोरिथ्म की ओर ले जाता हैः प्रकृति से प्राप्त भविष्यवाणी के लिए प्रारंभिक पैरामीटर। अगर चुनें, अगर के रूप में अद्यतन करें, संचयी प्रवणता को परियोजना करें अर्थात। वर्गीकरण के लिए एस. वी. एम. के ऑनलाइन संस्करण के लिए खेद सीमा प्राप्त करने के लिए ओ. एस. डी. एल्गोरिदम का उपयोग किया जा सकता है, जो काज के नुकसान का उपयोग करता है अन्य एल्गोरिदम चतुर्भुज रूप से नियमित एफ. टी. आर. एल. एल्गोरिदम आलसी रूप से अनुमानित ढाल एल्गोरिदम की ओर ले जाते हैं जैसा कि ऊपर वर्णित है। उपरोक्त का उपयोग मनमाने उत्तल कार्यों और नियमित करने के लिए, ऑनलाइन दर्पण वंश का उपयोग किया जाता है। रैखिक हानि कार्यों के लिए पश्चदृष्टि में इष्टतम नियमितकरण प्राप्त किया जा सकता है, यह एडाग्रैड एल्गोरिथ्म की ओर ले जाता है। यूक्लिडियन नियमितीकरण के लिए, कोई भी खेद की सीमा दिखा सकता है, जिसे मजबूत उत्तल और बहिर्वाह हानि कार्यों के लिए आगे बढ़ाया जा सकता है। निरंतर सीखने का अर्थ है जानकारी की निरंतर धाराओं को संसाधित करके सीखे गए मॉडल में लगातार सुधार करना। निरंतर बदलती वास्तविक दुनिया में बातचीत करने वाले सॉफ्टवेयर सिस्टम और स्वायत्त एजेंटों के लिए निरंतर सीखने की क्षमताएं आवश्यक हैं। हालाँकि, मशीन लर्निंग और न्यूरल नेटवर्क मॉडल के लिए निरंतर सीखना एक चुनौती है क्योंकि गैर-स्थिर डेटा वितरण से वृद्धिशील रूप से उपलब्ध जानकारी का निरंतर अधिग्रहण आम तौर पर विनाशकारी भूलने की ओर ले जाता है। ऑनलाइन शिक्षण की व्याख्या ऑनलाइन शिक्षण के प्रतिमान की शिक्षण मॉडल के चयन के आधार पर अलग-अलग व्याख्याएँ हैं, जिनमें से प्रत्येक के कार्यों के अनुक्रम की भविष्यसूचक गुणवत्ता के बारे में अलग-अलग निहितार्थ हैं। इस चर्चा के लिए प्रोटोटाइपिकल स्टोकेस्टिक ग्रेडिएंट डिसेंट एल्गोरिदम का उपयोग किया जाता है। जैसा कि ऊपर उल्लेख किया गया है, इसकी पुनरावृत्ति द्वारा दी गई है पहली व्याख्या में स्टोकेस्टिक ग्रेडिएंट डिसेंट विधि पर विचार किया गया है जैसा कि ऊपर परिभाषित अपेक्षित जोखिम को कम करने की समस्या पर लागू किया गया है। वास्तव में, डेटा की एक अनंत धारा के मामले में, क्योंकि उदाहरणों को खींचा गया माना जाता है अर्थात। वितरण से, उपरोक्त पुनरावृत्ति के प्रवणताओं का अनुक्रम एक अर्थात डी है। अपेक्षित जोखिम के प्रवणता के यादृच्छिक अनुमानों का नमूना और इसलिए कोई भी विचलन को बांधने के लिए यादृच्छिक प्रवणता अवरोहण विधि के लिए जटिलता परिणामों को लागू कर सकता है, जहां का न्यूनतम है। यह व्याख्या एक सीमित प्रशिक्षण समूह के मामले में भी मान्य है; हालाँकि डेटा के माध्यम से कई पास के साथ ढाल अब स्वतंत्र नहीं हैं, फिर भी विशेष मामलों में जटिलता के परिणाम प्राप्त किए जा सकते हैं। दूसरी व्याख्या एक सीमित प्रशिक्षण समूह के मामले में लागू होती है और एस. जी. डी. एल्गोरिदम को वृद्धिशील ढाल वंश विधि के एक उदाहरण के रूप में मानती है। इस मामले में, इसके बजाय अनुभवजन्य जोखिम को देखा जाता हैः चूंकि वृद्धिशील प्रवणता अवरोहण पुनरावृत्तियों के प्रवणता भी प्रवणता के यादृच्छिक अनुमान हैं, यह व्याख्या यादृच्छिक प्रवणता अवरोहण विधि से भी संबंधित है, लेकिन अपेक्षित जोखिम के विपरीत अनुभवजन्य जोखिम को कम करने के लिए लागू की जाती है। चूंकि यह व्याख्या अनुभवजन्य जोखिम से संबंधित है न कि अपेक्षित जोखिम से, डेटा के माध्यम से कई पास आसानी से अनुमति दी जाती है और वास्तव में विचलन पर सख्त सीमा की ओर ले जाती है, जहां इसका न्यूनतम है। कार्यान्वयन वॉपल वैबिटः ओपन-सोर्स फास्ट आउट-ऑफ-कोर ऑनलाइन लर्निंग सिस्टम जो कई मशीन लर्निंग कटौती, महत्व भार और विभिन्न हानि कार्यों और अनुकूलन एल्गोरिदम के चयन का समर्थन करने के लिए उल्लेखनीय है। यह प्रशिक्षण डेटा की मात्रा से स्वतंत्र सुविधाओं के सेट के आकार को सीमित करने के लिए हैशिंग ट्रिक का उपयोग करता है। स्किकिट-लर्नः वर्गीकरण के लिए एल्गोरिदम के आउट-ऑफ-कोर कार्यान्वयन प्रदान करता हैः पर्सेप्ट्रॉन, एस. जी. डी. क्लासिफायर, नाइव बेयस क्लासिफायर। प्रतिगमनः एस. जी. डी. प्रतिगमनक, निष्क्रिय आक्रामक प्रतिगमनक। क्लस्टरिंगः मिनी-बैच के-मीन्स। फीचर एक्सट्रैक्शनः मिनी-बैच डिक्शनरी लर्निंग, इंक्रीमेंटल पीसीए। लर्निंग पैराडिग्म्स इंक्रीमेंटल लर्निंग आलसी लर्निंग ऑफ़लाइन लर्निंग, विपरीत मॉडल रिइन्फोर्समेंट लर्निंग मल्टी-आर्म्ड डाकुओं की निगरानी में लर्निंग जनरल एल्गोरिदम ऑनलाइन एल्गोरिदम ऑनलाइन अनुकूलन स्ट्रीमिंग एल्गोरिदम स्टोकेस्टिक ग्रेडिएंट डिसेंट लर्निंग मॉडल अनुकूली अनुनाद सिद्धांत पदानुक्रमित लौकिक स्मृति के-निकटतम पड़ोसी एल्गोरिदम लर्निंग वेक्टर क्वांटाइजेशन पर्सेप्ट्रॉन संदर्भ बाहरी लिंक 6.883: मशीन लर्निंग में ऑनलाइन तरीकेः सिद्धांत और अनुप्रयोग। अलेक्जेंडर राखलिन। एम. आई. टी. ऑनलाइन एल्गोरिदम मशीन लर्निंग एल्गोरिदम