Random coordinate descent
यादृच्छिक (ब्लॉक) समन्वय वंश विधि एक अनुकूलन एल्गोरिथ्म है जिसे नेस्टरोव (2010) और रिचटारिक और ताकाक (2011) द्वारा लोकप्रिय बनाया गया है। इस विधि का पहला विश्लेषण, जब एक चिकनी उत्तल फलन को कम करने की समस्या पर लागू किया जाता है, तो नेस्टरोव (2010) द्वारा किया गया था। नेस्टरोव के विश्लेषण में विधि को एक अज्ञात स्केलिंग कारक के साथ मूल कार्य के द्विघात विक्षोभ पर लागू करने की आवश्यकता है। रिचटारिक और ताकाक (2011) पुनरावृत्ति जटिलता सीमाएँ देते हैं जिनके लिए इसकी आवश्यकता नहीं होती है, यानी, विधि को सीधे उद्देश्य कार्य पर लागू किया जाता है। इसके अलावा, वे एक समग्र फलन को न्यूनतम करने की समस्या के लिए सेटिंग को सामान्यीकृत करते हैं, यानी, एक चिकनी उत्तल का योग और एक (संभवतः अपरिवर्तनीय) उत्तल खंड-विभाज्य कार्यः जहां चर/निर्देशांक के खंडों में विघटित होता हैः और (सरल) उत्तल कार्य होते हैं। उदाहरण (ब्लॉक अपघटन): यदि और, कोई और चुन सकता है। उदाहरण (ब्लॉक-सेपरेबल रेग्युलराइज़र):, जहाँ और मानक यूक्लिडियन मानक है। एल्गोरिदम अनुकूलन समस्या पर विचार करें जहाँ एक उत्तल और चिकना कार्य है। चिकनाईः चिकनाई से हमारा मतलब निम्नलिखित हैः हम मानते हैं कि का ढाल स्थिरांक के साथ निरंतर समन्वय-वार लिप्सिट्ज़ है। अर्थात्, हम मानते हैं कि सभी के लिए और, जहां चर के संबंध में आंशिक व्युत्पन्न को दर्शाता है। नेस्टरोव, और रिचटारिक और टाकाक ने दिखाया कि निम्नलिखित एल्गोरिथ्म इष्टतम बिंदु पर अभिसरण करता हैः इनपुटः// प्रारंभिक बिंदु आउटपुटः k: = 1 के लिए x: = x _ 0 निर्धारित करें. अभिसरण दर के लिए यादृच्छिक अद्यतन अंत पर समान रूप से समन्वय चुनें क्योंकि इस एल्गोरिथ्म के पुनरावृत्तियाँ यादृच्छिक वैक्टर हैं, एक जटिलता परिणाम उच्च संभावना के साथ एक अनुमानित समाधान आउटपुट करने के लिए विधि के लिए आवश्यक पुनरावृत्तियों की संख्या पर एक सीमा देगा। यह दिखाया गया था कि यदि, जहाँ, एक इष्टतम समाधान () है, एक आत्मविश्वास स्तर है और लक्ष्य सटीकता है, तो। विशेष कार्य पर उदाहरण निम्नलिखित चित्र दर्शाता है कि सिद्धांत रूप में पुनरावृत्तियों के दौरान कैसे विकसित होता है। समस्या समन्वय सेटिंग को अवरुद्ध करने के लिए विस्तार है कोई भी स्वाभाविक रूप से इस एल्गोरिथ्म को न केवल निर्देशांक तक, बल्कि निर्देशांक के ब्लॉक तक बढ़ा सकता है। मान लीजिए कि हमारे पास जगह है। इस स्थान में 5 समन्वय दिशाएँ हैं, जिसमें यादृच्छिक समन्वय अवरोहण विधि आगे बढ़ सकती है। हालाँकि, कोई भी कुछ समन्वय दिशाओं को ब्लॉकों में समूहित कर सकता है और हम उन 5 समन्वय दिशाओं के बजाय 3 समन्वय दिशाओं को ब्लॉक कर सकते हैं (छवि देखें)। कोऑर्डिनेट डिसेंट ग्रेडिएंट डिसेंट गणितीय अनुकूलन संदर्भ ग्रेडिएंट विधियाँ भी देखें।