Stochastic variance reduction
(यादृच्छिक) विचरण कमी उन कार्यों को न्यूनतम करने के लिए एक एल्गोरिथमिक दृष्टिकोण है जिन्हें सीमित योगों में विघटित किया जा सकता है। परिमित राशि संरचना का दोहन करके, भिन्नता में कमी की तकनीकें अभिसरण दरों को प्राप्त करने में सक्षम हैं जिन्हें उन तरीकों से प्राप्त करना असंभव है जो उद्देश्य को एक अनंत राशि के रूप में मानते हैं, जैसा कि शास्त्रीय यादृच्छिक सन्निकटन सेटिंग में है। वैरियेंस रिडक्शन दृष्टिकोण का व्यापक रूप से प्रशिक्षण मशीन लर्निंग मॉडल जैसे कि लॉजिस्टिक रिग्रेशन और सपोर्ट वेक्टर मशीनों के लिए उपयोग किया जाता है क्योंकि इन समस्याओं में सीमित-राशि संरचना और समान कंडीशनिंग होती है जो उन्हें वैरियेंस रिडक्शन के लिए आदर्श उम्मीदवार बनाती है। परिमित योग उद्देश्य एक फलन को परिमित योग संरचना माना जाता है यदि इसे एक योग या औसत में विघटित किया जा सकता हैः जहां प्रत्येक के फलन मूल्य और व्युत्पन्न से स्वतंत्र रूप से पूछताछ की जा सकती है। यद्यपि भिन्नता न्यूनीकरण विधियों को किसी भी धनात्मक और किसी भी संरचना के लिए लागू किया जा सकता है, उनके अनुकूल सैद्धांतिक और व्यावहारिक गुण तब उत्पन्न होते हैं जब प्रत्येक की स्थिति संख्या की तुलना में बड़े होते हैं, और जब समान (लेकिन आवश्यक रूप से समान नहीं) लिपशिट्ज़ चिकनीपन और मजबूत उत्तल स्थिरांक होते हैं। परिमित राशि संरचना को यादृच्छिक सन्निकटन सेटिंग के साथ विपरीत किया जाना चाहिए जो उस रूप के कार्यों से संबंधित है जो एक यादृच्छिक चर के आधार पर एक कार्य का अपेक्षित मूल्य है। किसी भी परिमित राशि समस्या को यादृच्छिक सन्निकटन एल्गोरिदम का उपयोग करके अनुकूलित किया जा सकता है। त्वरित अभिसरण बिना त्वरण के यादृच्छिक विचरण में कमी के तरीके सटीकता के भीतर एक न्यूनतम का पता लगाने में सक्षम हैं, अर्थात। क्रम के कई चरणों मेंः चरणों की संख्या केवल लघुगणकीय रूप से आवश्यक सटीकता के स्तर पर निर्भर करती है, यादृच्छिक सन्निकटन ढांचे के विपरीत, जहां आवश्यक चरणों की संख्या आवश्यक सटीकता के अनुपात में बढ़ती है। केवल एक यादृच्छिक प्रवणता का उपयोग करने के बावजूद, प्रवणता अवरोहण की तुलना में कम लागत पर, यादृच्छिक विचरण कमी विधियाँ प्रवणता अवरोहण विधि की दर के रूप में लगभग उतनी ही तेजी से अभिसरण करती हैं। यादृच्छिक विचरण कमी ढांचे में त्वरित विधियां और भी तेज अभिसरण दर प्राप्त करती हैं, जिसमें सटीकता तक पहुंचने के लिए केवल कदमों की आवश्यकता होती है, जो संभावित रूप से गैर-त्वरित विधियों की तुलना में तेज होती हैं। कम जटिलता सीमाएँ। परिमित राशि वर्ग के लिए यह स्थापित करें कि यह दर चिकनी प्रबल उत्तल समस्याओं के लिए सबसे तेज़ संभव है। दृष्टिकोण भिन्नता में कमी के दृष्टिकोण 3 मुख्य श्रेणियों में आते हैंः तालिका औसत विधियाँ, पूर्ण-प्रवणता स्नैपशॉट विधियाँ और दोहरी विधियाँ। प्रत्येक श्रेणी में उत्तल, गैर-चिकनी और गैर-उत्तल समस्याओं से निपटने के लिए डिज़ाइन किए गए तरीके शामिल हैं, जिनमें से प्रत्येक हाइपर-पैरामीटर सेटिंग्स और अन्य एल्गोरिदमिक विवरणों में भिन्न हैं। एस. ए. जी. ए. विधि में, प्रोटोटाइप तालिका औसत दृष्टिकोण, आकार की एक तालिका को बनाए रखा जाता है जिसमें प्रत्येक पद के लिए अंतिम ढाल होता है, जिसे हम दर्शाते हैं। प्रत्येक चरण में, एक सूचकांक का नमूना लिया जाता है, और एक नए प्रवणता की गणना की जाती है। पुनरावृत्ति के साथ अद्यतन किया जाता हैः और बाद में तालिका प्रविष्टि के साथ अद्यतन किया जाता है। एस. ए. जी. ए. अपनी सरलता, आसानी से अनुकूलनीय सिद्धांत और उत्कृष्ट प्रदर्शन के कारण भिन्नता में कमी की सबसे लोकप्रिय विधियों में से एक है। यह एस. ए. जी. पद्धति का उत्तराधिकारी है, जो इसके लचीलेपन और प्रदर्शन में सुधार करता है। एस. वी. आर. जी. स्टोकेस्टिक वैरियंस रिड्यूस्ड ग्रेडिएंट मेथड (एस. वी. आर. जी.), प्रोटोटाइपिकल स्नैपशॉट विधि, एक समान अद्यतन का उपयोग करती है, सिवाय एक तालिका के औसत का उपयोग करने के, यह इसके बजाय एक पूर्ण-ग्रेडिएंट का उपयोग करता है जिसका पुनरावृत्तियों के नियमित अंतराल पर एक स्नैपशॉट बिंदु पर पुनर्मूल्यांकन किया जाता है। अद्यतन बन जाता हैः इस दृष्टिकोण के लिए प्रति चरण दो यादृच्छिक प्रवणता मूल्यांकन की आवश्यकता होती है, एक गणना करने के लिए और एक गणना करने के लिए जहां-तालिका औसत दृष्टिकोण के रूप में केवल एक की आवश्यकता होती है। उच्च कम्प्यूटेशनल लागत के बावजूद, एसवीआरजी लोकप्रिय है क्योंकि इसका सरल अभिसरण सिद्धांत नई अनुकूलन सेटिंग्स के लिए अत्यधिक अनुकूलनीय है। इसमें सारणीबद्ध औसत दृष्टिकोण की तुलना में कम भंडारण आवश्यकताएं भी हैं, जो इसे कई सेटिंग्स में लागू करती हैं जहां सारणीबद्ध विधियों का उपयोग नहीं किया जा सकता है। एस. डी. सी. ए. के उद्देश्य के दोहरे प्रतिनिधित्व का दोहन करने से एक और भिन्नता में कमी का दृष्टिकोण सामने आता है जो विशेष रूप से परिमित-योग के लिए उपयुक्त है जहां प्रत्येक शब्द की एक संरचना होती है जो उत्तल संयुग्म या उसके समीपस्थ प्रचालक की गणना को ट्रैक्टेबल बनाती है। मानक एस. डी. सी. ए. विधि उन परिमित राशियों पर विचार करती है जिनमें सामान्य परिमित राशि सेटिंग की तुलना में अतिरिक्त संरचना होती हैः जहां प्रत्येक 1 आयामी होता है और प्रत्येक एक डेटा बिंदु से जुड़ा होता है। एस. डी. सी. ए. दोहरी समस्या का समाधान करता हैः एक यादृच्छिक समन्वय चढ़ाई प्रक्रिया द्वारा, जहां प्रत्येक चरण में उद्देश्य को यादृच्छिक रूप से चुने गए निर्देशांक के संबंध में अनुकूलित किया जाता है, जिससे अन्य सभी निर्देशांक समान रहते हैं। एक अनुमानित प्राथमिक समाधान को मानों से पुनर्प्राप्त किया जा सकता हैः यह विधि अन्य यादृच्छिक विचरण कम विधियों के लिए अभिसरण की समान सैद्धांतिक दरों को प्राप्त करती है, जबकि एक चरण-आकार पैरामीटर निर्दिष्ट करने की आवश्यकता से बचती है। जब यह बड़ा होता है तो यह व्यवहार में तेज होता है, लेकिन जब छोटा होता है तो अन्य दृष्टिकोणों की तुलना में काफी धीमा होता है। त्वरित दृष्टिकोण त्वरित विचरण कमी विधियाँ उपरोक्त मानक विधियों पर बनाई गई हैं। प्रारंभिक दृष्टिकोण या तो लगभग या सटीक रूप से अभिसरण में तेजी लाने के लिए समीपस्थ प्रचालक का उपयोग करते हैं। उत्प्रेरक ढांचा एक समीपस्थ प्रचालक को लगभग हल करने के लिए एक आंतरिक अनुकूलनकर्ता के रूप में उपरोक्त किसी भी मानक विधि का उपयोग करता हैः जिसके बाद यह अगले को निर्धारित करने के लिए एक बहिर्वेशन चरण का उपयोग करता हैः उत्प्रेरक विधि का लचीलापन और सरलता इसे एक लोकप्रिय आधारभूत दृष्टिकोण बनाती है। यह त्वरित विधियों के बीच अभिसरण की इष्टतम दर प्राप्त नहीं करता है, यह हाइपर-मापदंडों में एक लॉग कारक तक संभावित रूप से धीमा है। एक त्वरित विधि प्राप्त करने के लिए पॉइंट-एसएजीए प्रॉक्सिमल संचालन को सीधे शर्तों पर भी लागू किया जा सकता है। प्वाइंट-एसएजीए विधि एसएजीए में प्रवणता संचालन को समीपस्थ प्रचालक मूल्यांकन के साथ प्रतिस्थापित करती है, जिसके परिणामस्वरूप एक सरल, प्रत्यक्ष त्वरण विधि होती हैः प्रत्येक चरण के बाद तालिका अद्यतन किया जाता है। यहाँ छठे पद के लिए समीपस्थ प्रचालक के रूप में परिभाषित किया गया हैः अन्य ज्ञात त्वरित विधियों के विपरीत, बिंदु-एसएजीए को चरणों के बीच बनाए रखने के लिए केवल एक पुनरावृत्ति अनुक्रम की आवश्यकता होती है, और इसमें केवल एक ही ट्यूनेबल पैरामीटर होने का लाभ होता है। यह अतिरिक्त लॉग कारकों के बिना दृढ़ता से उत्तल परिमित-राशि न्यूनतमकरण के लिए अभिसरण की इष्टतम त्वरित दर प्राप्त करता है। स्टोकेस्टिक ग्रेडिएंट डिसेंट कोऑर्डिनेट डिसेंट ऑनलाइन मशीन लर्निंग प्रॉक्सिमल ऑपरेटर स्टोकेस्टिक ऑप्टिमाइजेशन स्टोकेस्टिक सन्निकटन संदर्भ स्टोकेस्टिक ऑप्टिमाइजेशन ग्रेडिएंट तरीके मशीन लर्निंग एल्गोरिदम कन्वेक्स ऑप्टिमाइजेशन देखें।