Random coordinate descent
રેન્ડમાઇઝ્ડ (બ્લોક) કોઓર્ડિનેટ ડિસેન્ટ મેથડ એ નેસ્ટરોવ (2010) અને રિચટેરિક અને ટાકાક (2011) દ્વારા લોકપ્રિય કરાયેલ ઓપ્ટિમાઇઝેશન અલ્ગોરિધમ છે. આ પદ્ધતિનું પ્રથમ વિશ્લેષણ, જ્યારે સરળ બહિર્મુખ કાર્યને ઘટાડવાની સમસ્યા પર લાગુ કરવામાં આવ્યું હતું, તે નેસ્ટરોવ (2010) દ્વારા કરવામાં આવ્યું હતું. નેસ્ટરોવના વિશ્લેષણમાં પદ્ધતિને અજ્ઞાત સ્કેલિંગ પરિબળ સાથે મૂળ કાર્યના દ્વિઘાત વિક્ષેપ પર લાગુ કરવાની જરૂર છે. Richtárik અને Takáč (2011) પુનરાવર્તન જટિલતાની સીમાઓ આપે છે જેને આની જરૂર નથી, એટલે કે, પદ્ધતિ સીધા ઉદ્દેશ્ય કાર્ય પર લાગુ થાય છે. વધુમાં, તેઓ સંયોજન કાર્યને ઘટાડવાની સમસ્યાને સામાન્ય બનાવે છે, એટલે કે, એક સરળ બહિર્મુખનો સરવાળો અને એક (સંભવતઃ અસ્પષ્ટ) બહિર્મુખ બ્લોક-વિભાજીત કાર્યઃ જ્યાં ચલ/કોઓર્ડિનેટ્સના બ્લોકમાં વિઘટિત થાય છેઃ અને (સરળ) બહિર્મુખ કાર્યો છે. ઉદાહરણ (બ્લોક ડિકોમ્પોઝિશન): જો અને, તો તમે અને પસંદ કરી શકો છો. ઉદાહરણ (બ્લોક-સેપરેબલ રેગ્યુલરાઇઝર્સ):, જ્યાં અને તે પ્રમાણભૂત યુક્લિડિયન ધોરણ છે. અલ્ગોરિધમ ઓપ્ટિમાઇઝેશન સમસ્યાનો વિચાર કરો જ્યાં બહિર્મુખ અને સરળ કાર્ય છે. સ્મૂથનેસઃ સ્મૂથનેસ દ્વારા અમારો અર્થ નીચે મુજબ છેઃ અમે ધારીએ છીએ કે લિપશિટ્ઝનો ગ્રેડિયન્ટ કોન્સ્ટન્ટ સાથે કો-ઓર્ડિનેટ મુજબ કન્ટિન્યુઅસ છે. એટલે કે, આપણે ધારીએ છીએ કે બધા માટે અને, જ્યાં ચલના સંદર્ભમાં આંશિક વ્યુત્પન્ન સૂચવે છે. નેસ્ટરોવ, અને રિચટેરિક અને ટાકાકે દર્શાવ્યું હતું કે નીચેનું અલ્ગોરિધમ શ્રેષ્ઠ બિંદુ સાથે એકરૂપ થાય છેઃ ઇનપુટઃ// પ્રારંભિક બિંદુ આઉટપુટઃ k: = 1 માટે x: = x _ 0 સેટ કરો. સંકલન દર માટે રેન્ડમ અપડેટના અંતે સમાનરૂપે સંકલન પસંદ કરો કારણ કે આ અલ્ગોરિધમનું પુનરાવર્તન રેન્ડમ વેક્ટર હોવાથી, જટિલતા પરિણામ ઉચ્ચ સંભાવના સાથે અંદાજિત ઉકેલને આઉટપુટ કરવા માટે પદ્ધતિ માટે જરૂરી પુનરાવર્તનોની સંખ્યા પર મર્યાદા આપશે. તેમાં દર્શાવવામાં આવ્યું હતું કે જો, જ્યાં, એક શ્રેષ્ઠ ઉકેલ () છે, તે આત્મવિશ્વાસ સ્તર છે અને લક્ષ્ય ચોકસાઈ છે, તો પછી. ચોક્કસ કાર્ય પરનું ઉદાહરણ નીચેની આકૃતિ દર્શાવે છે કે સૈદ્ધાંતિક રીતે પુનરાવર્તન દરમિયાન કેવી રીતે વિકાસ થાય છે. સમસ્યા એ છે કે સંકલન સેટિંગને અવરોધિત કરવા માટેનું વિસ્તરણ એક કુદરતી રીતે આ અલ્ગોરિધમનો માત્ર કોઓર્ડિનેટ્સ સુધી જ નહીં, પરંતુ કોઓર્ડિનેટ્સના બ્લોક્સ સુધી પણ વિસ્તૃત કરી શકે છે. ધારો કે આપણી પાસે જગ્યા છે. આ જગ્યામાં 5 સંકલન દિશાઓ છે, જેમાં ચોક્કસપણે રેન્ડમ કોઓર્ડિનેટ ડિસેન્ટ પદ્ધતિ ખસેડી શકાય છે. જો કે, કોઈ વ્યક્તિ કેટલીક સંકલન દિશાઓને બ્લોકમાં જૂથબદ્ધ કરી શકે છે અને આપણી પાસે તે 5 સંકલન દિશાઓને બદલે 3 સંકલન દિશાઓને અવરોધિત કરી શકે છે (છબી જુઓ). કોઓર્ડિનેટ ડિસેન્ટ ગ્રેડિયન્ટ ડિસેન્ટ મેથેમેટિકલ ઓપ્ટિમાઇઝેશન સંદર્ભો ગ્રેડિયન્ટ પદ્ધતિઓ પણ જુઓ.