Stochastic variance reduction
(સ્ટોકેસ્ટિક) ભિન્નતા ઘટાડો એ કાર્યોને ઘટાડવા માટેનો એક અલ્ગોરિધમિક અભિગમ છે જેને મર્યાદિત રકમમાં વિઘટિત કરી શકાય છે. મર્યાદિત સરવાળા માળખાનો ઉપયોગ કરીને, ભિન્નતા ઘટાડવાની તકનીકો અભિસરણ દર હાંસલ કરવામાં સક્ષમ છે જે શાસ્ત્રીય સ્ટોકેસ્ટિક અંદાજ સેટિંગની જેમ ઉદ્દેશ્યને અનંત સરવાળા તરીકે ગણતી પદ્ધતિઓ સાથે હાંસલ કરવું અશક્ય છે. ભિન્નતા ઘટાડવાના અભિગમોનો ઉપયોગ લોજિસ્ટિક રીગ્રેસન અને સપોર્ટ વેક્ટર મશીનો જેવા મશીન લર્નિંગ મોડેલોને તાલીમ આપવા માટે વ્યાપકપણે થાય છે કારણ કે આ સમસ્યાઓમાં મર્યાદિત-રકમ માળખું અને સમાન કન્ડીશનીંગ હોય છે જે તેમને ભિન્નતા ઘટાડવા માટે આદર્શ ઉમેદવાર બનાવે છે. મર્યાદિત સરવાળા ઉદ્દેશો એક કાર્યને મર્યાદિત સરવાળા માળખું હોવાનું માનવામાં આવે છે જો તેને સરવાળા અથવા સરેરાશમાં વિઘટિત કરી શકાયઃ જ્યાં દરેક કાર્યનું મૂલ્ય અને વ્યુત્પન્ન સ્વતંત્ર રીતે પૂછી શકાય છે. જો કે ભિન્નતા ઘટાડવાની પદ્ધતિઓ કોઈપણ હકારાત્મક અને કોઈપણ માળખા માટે લાગુ કરી શકાય છે, જ્યારે દરેકની સ્થિતિ સંખ્યાની તુલનામાં મોટી હોય ત્યારે તેમના અનુકૂળ સૈદ્ધાંતિક અને વ્યવહારુ ગુણધર્મો ઉદ્ભવે છે, અને જ્યારે સમાન (પરંતુ જરૂરી નથી કે સમાન) લિપશિટ્ઝ સરળતા અને મજબૂત બહિર્મુખતા સ્થિરાંકો હોય છે. મર્યાદિત સરવાળાનું માળખું સ્ટોકેસ્ટિક અંદાજ સેટિંગ સાથે વિરોધાભાસી હોવું જોઈએ જે ફોર્મના કાર્યો સાથે કામ કરે છે જે રેન્ડમ વેરિયેબલના આધારે ફંક્શનનું અપેક્ષિત મૂલ્ય છે. કોઈપણ મર્યાદિત રકમની સમસ્યાને સ્ટોકેસ્ટિક એપ્રોક્સીમેશન અલ્ગોરિધમનો ઉપયોગ કરીને ઑપ્ટિમાઇઝ કરી શકાય છે. ઝડપી કન્વર્જન્સ પ્રવેગ વિના સ્ટોકેસ્ટિક ભિન્નતા ઘટાડેલી પદ્ધતિઓ ચોકસાઈની અંદર લઘુતમ શોધવા માટે સક્ષમ છે, એટલે કે. ક્રમના સંખ્યાબંધ પગલાંઓમાંઃ પગલાંઓની સંખ્યા માત્ર લઘુગણકીય રીતે જરૂરી ચોકસાઈના સ્તર પર આધાર રાખે છે, સ્ટોકેસ્ટિક અંદાજ માળખાથી વિપરીત, જ્યાં જરૂરી પગલાઓની સંખ્યા જરૂરી ચોકસાઈના પ્રમાણમાં વધે છે. માત્ર સ્ટોકેસ્ટિક ગ્રેડિયન્ટનો ઉપયોગ કરવા છતાં, ગ્રેડિયન્ટ ડિસેન્ટ કરતાં ઓછી કિંમતે, સ્ટોકેસ્ટિક ભિન્નતા ઘટાડવાની પદ્ધતિઓ ગ્રેડિયન્ટ ડિસેન્ટ પદ્ધતિના દર જેટલી જ ઝડપથી એકરૂપ થાય છે. સ્ટોકેસ્ટિક ભિન્નતા ઘટાડાના માળખામાં ત્વરિત પદ્ધતિઓ વધુ ઝડપી અભિસરણ દર હાંસલ કરે છે, જેમાં ચોકસાઈ સુધી પહોંચવા માટે માત્ર પગલાંની જરૂર પડે છે, જે સંભવિત રીતે બિન-ત્વરિત પદ્ધતિઓ કરતાં વધુ ઝડપી હોય છે. ઓછી જટિલતાની સીમાઓ. મર્યાદિત સરવાળા વર્ગ માટે સ્થાપિત કરો કે આ દર સરળ મજબૂત બહિર્મુખ સમસ્યાઓ માટે સૌથી ઝડપી શક્ય છે. ભિન્નતા ઘટાડવાના અભિગમો 3 મુખ્ય વર્ગોમાં આવે છેઃ ટેબલ એવરેજિંગ પદ્ધતિઓ, પૂર્ણ-ગ્રેડિયન્ટ સ્નેપશોટ પદ્ધતિઓ અને બેવડી પદ્ધતિઓ. દરેક શ્રેણીમાં બહિર્મુખ, બિન-સરળ અને બિન-બહિર્મુખ સમસ્યાઓ સાથે વ્યવહાર કરવા માટે રચાયેલ પદ્ધતિઓ છે, દરેક હાયપર-પરિમાણ સેટિંગ્સ અને અન્ય અલ્ગોરિધમિક વિગતોમાં અલગ છે. સાગા પદ્ધતિમાં, પ્રોટોટાઇપિકલ ટેબલ એવરેજિંગ અભિગમમાં, કદની કોષ્ટક જાળવવામાં આવે છે જેમાં દરેક પદ માટે છેલ્લો ઢાળ જોવા મળે છે, જેને આપણે સૂચવીએ છીએ. દરેક તબક્કે, અનુક્રમણિકાનું નમૂના લેવામાં આવે છે, અને નવા ઢાળની ગણતરી કરવામાં આવે છે. પુનરાવર્તન સાથે અપડેટ કરવામાં આવે છેઃ અને પછી ટેબલ એન્ટ્રી સાથે અપડેટ કરવામાં આવે છે. એસએજીએ તેની સરળતા, સરળતાથી અનુકૂળ સિદ્ધાંત અને ઉત્તમ કામગીરીને કારણે ભિન્નતા ઘટાડવાની પદ્ધતિઓમાં સૌથી વધુ લોકપ્રિય છે. તે એસએજી પદ્ધતિનો અનુગામી છે, જે તેની લવચીકતા અને કામગીરીમાં સુધારો કરે છે. એસ. વી. આર. જી. સ્ટોકેસ્ટિક વેરિયન્સ રિડ્યુસ્ડ ગ્રેડિયન્ટ મેથડ (એસ. વી. આર. જી.), પ્રોટોટાઇપિકલ સ્નેપશોટ પદ્ધતિ, કોષ્ટકની સરેરાશનો ઉપયોગ કરવાને બદલે સમાન સુધારાનો ઉપયોગ કરે છે, તેના બદલે તે પૂર્ણ-ગ્રેડિયન્ટનો ઉપયોગ કરે છે જેનું પુનરાવર્તનના નિયમિત અંતરાલે સ્નેપશોટ બિંદુ પર પુનઃમૂલ્યાંકન કરવામાં આવે છે. અપડેટ બને છેઃ આ અભિગમ માટે પગલું દીઠ બે સ્ટોકેસ્ટિક ગ્રેડિયન્ટ મૂલ્યાંકનની જરૂર પડે છે, એક ગણતરી કરવા માટે અને એક ગણતરી કરવા માટે જ્યાં-જેમ કે કોષ્ટક સરેરાશ અભિગમોને માત્ર એક જ જરૂર છે. ઉચ્ચ કોમ્પ્યુટેશનલ ખર્ચ હોવા છતાં, SVRG લોકપ્રિય છે કારણ કે તેની સરળ કન્વર્જન્સ થિયરી નવી ઓપ્ટિમાઇઝેશન સેટિંગ્સ માટે અત્યંત અનુકૂળ છે. તેમાં ટેબ્યુલર સરેરાશ અભિગમો કરતાં ઓછી સંગ્રહ જરૂરિયાતો પણ છે, જે તેને ઘણી સેટિંગ્સમાં લાગુ કરે છે જ્યાં ટેબ્યુલર પદ્ધતિઓનો ઉપયોગ કરી શકાતો નથી. એસ. ડી. સી. એ. ઉદ્દેશની બેવડી રજૂઆતનો ઉપયોગ અન્ય ભિન્નતા ઘટાડવાના અભિગમ તરફ દોરી જાય છે જે ખાસ કરીને મર્યાદિત-સરવાળા માટે યોગ્ય છે જ્યાં દરેક પદમાં એક માળખું હોય છે જે બહિર્મુખ સંયુગ્મ અથવા તેના નિકટવર્તી સંચાલકની ગણતરીને ટ્રેક્ટેબલ બનાવે છે. પ્રમાણભૂત એસ. ડી. સી. એ. પદ્ધતિ મર્યાદિત રકમને ધ્યાનમાં લે છે જે સામાન્ય મર્યાદિત રકમ સેટિંગની તુલનામાં વધારાની રચના ધરાવે છેઃ જ્યાં દરેક 1 પરિમાણીય હોય છે અને દરેક તેની સાથે સંકળાયેલ ડેટા પોઇન્ટ હોય છે. એસ. ડી. સી. એ. બેવડી સમસ્યાનું સમાધાન કરે છેઃ સ્ટોકેસ્ટિક કોઓર્ડિનેટ એસેન્ટ પ્રક્રિયા દ્વારા, જ્યાં દરેક તબક્કે ઉદ્દેશ્યને અવ્યવસ્થિત રીતે પસંદ કરેલા કોઓર્ડિનેટના સંદર્ભમાં ઑપ્ટિમાઇઝ કરવામાં આવે છે, અન્ય તમામ કોઓર્ડિનેટ સમાન રહે છે. એક અંદાજિત પ્રાથમિક ઉકેલ મૂલ્યોમાંથી પુનઃપ્રાપ્ત કરી શકાય છેઃ આ પદ્ધતિ અન્ય સ્ટોકેસ્ટિક ભિન્નતા ઘટાડેલી પદ્ધતિઓમાં અભિસરણના સમાન સૈદ્ધાંતિક દર મેળવે છે, જ્યારે પગલું-કદના પરિમાણને સ્પષ્ટ કરવાની જરૂરિયાતને ટાળે છે. તે જ્યારે મોટું હોય ત્યારે વ્યવહારમાં ઝડપી હોય છે, પરંતુ જ્યારે નાનું હોય ત્યારે અન્ય અભિગમો કરતાં નોંધપાત્ર રીતે ધીમું હોય છે. પ્રવેગક અભિગમો પ્રવેગક ભિન્નતા ઘટાડવાની પદ્ધતિઓ ઉપરની પ્રમાણભૂત પદ્ધતિઓ પર આધારિત છે. પ્રારંભિક અભિગમો લગભગ અથવા બરાબર અભિસરણને વેગ આપવા માટે નિકટવર્તી ઓપરેટર્સનો ઉપયોગ કરે છે. ઉત્પ્રેરક માળખું પ્રોક્સિમલ ઓપરેટરને લગભગ ઉકેલવા માટે આંતરિક ઓપ્ટિમાઇઝર તરીકે ઉપરની કોઈપણ પ્રમાણભૂત પદ્ધતિઓનો ઉપયોગ કરે છેઃ ત્યારબાદ તે આગામી નક્કી કરવા માટે એક્સ્ટ્રાપોલેશન પગલાનો ઉપયોગ કરે છેઃ ઉત્પ્રેરક પદ્ધતિની લવચીકતા અને સરળતા તેને લોકપ્રિય આધારરેખા અભિગમ બનાવે છે. તે ત્વરિત પદ્ધતિઓ વચ્ચે અભિસરણનો શ્રેષ્ઠ દર હાંસલ કરતું નથી, તે હાયપર-પરિમાણોમાં લોગ પરિબળ દ્વારા સંભવિત રીતે ધીમું હોય છે. ત્વરિત પદ્ધતિ મેળવવા માટે પોઇન્ટ-એસએજીએ પ્રોક્સિમલ ઓપરેશન્સ પણ શરતો પર સીધા જ લાગુ કરી શકાય છે. પોઇન્ટ-એસએજીએ પદ્ધતિ એસએજીએમાં ગ્રેડિયન્ટ કામગીરીને પ્રોક્સિમલ ઓપરેટર મૂલ્યાંકન સાથે બદલે છે, જે સરળ, સીધી પ્રવેગક પદ્ધતિમાં પરિણમે છેઃ દરેક પગલા પછી ટેબલ અપડેટ કરવામાં આવે છે. અહીં છઠ્ઠી ટર્મ માટે પ્રોક્સિમલ ઓપરેટર તરીકે વ્યાખ્યાયિત કરવામાં આવે છેઃ અન્ય જાણીતી એક્સિલરેટેડ પદ્ધતિઓથી વિપરીત, પોઇન્ટ-એસએજીએને પગલાંઓ વચ્ચે જાળવવા માટે માત્ર એક જ પુનરાવર્તન ક્રમની જરૂર પડે છે, અને તેમાં માત્ર એક જ ટ્યુન કરી શકાય તેવું પરિમાણ હોવાનો ફાયદો છે. તે વધારાના લોગ પરિબળો વિના મજબૂત બહિર્મુખ મર્યાદિત-રકમ લઘુતમ કરવા માટે અભિસરણનો શ્રેષ્ઠ પ્રવેગક દર મેળવે છે. આ પણ જુઓ સ્ટોકેસ્ટિક ગ્રેડિયન્ટ ડિસેન્ટ કોઓર્ડિનેટ ડિસેન્ટ ઓનલાઇન મશીન લર્નિંગ પ્રોક્સિમલ ઓપરેટર સ્ટોકેસ્ટિક ઓપ્ટિમાઇઝેશન સ્ટોકેસ્ટિક અંદાજ સંદર્ભો સ્ટોકેસ્ટિક ઓપ્ટિમાઇઝેશન ગ્રેડિયન્ટ પદ્ધતિઓ મશીન લર્નિંગ અલ્ગોરિધમ્સ કન્વેક્સ ઓપ્ટિમાઇઝેશન