Backpropagation
મશીન-લર્નિંગ અલ્ગોરિધમ તરીકે, બેકપ્રોપેગેશન ન્યુરલ નેટવર્ક મોડેલના પરિમાણોને સમાયોજિત કરવા માટે બેકવર્ડ પાસ કરે છે, જેનો હેતુ મીન સ્ક્વેર્ડ એરર (MSE) ને ઘટાડવાનો છે. બહુસ્તરીય નેટવર્કમાં, બેકપ્રોપેગેશન નીચેના પગલાંનો ઉપયોગ કરે છેઃ ક્રમિક છુપાયેલા સ્તરોના આઉટપુટ અને અંતે અંતિમ સ્તરના આઉટપુટ (ફીડફોરવર્ડ પગલું) ની ગણતરી કરીને ઇનપુટથી અનુમાનિત આઉટપુટ સુધી મોડેલ દ્વારા તાલીમ ડેટાનો પ્રચાર કરો. વજન સંબંધિત ભૂલને ઘટાડવા માટે મોડેલના વજનને વ્યવસ્થિત કરો. ભૂલ સામાન્ય રીતે આગાહી અને લક્ષ્ય વચ્ચેનો ચોરસ તફાવત છે. દરેક વજન માટે, ભૂલનો ઢોળાવ અથવા વ્યુત્પન્ન જોવા મળે છે, અને આ વ્યુત્પન્નના નકારાત્મક ગુણાંક દ્વારા વજનને સમાયોજિત કરવામાં આવે છે, જેથી લઘુત્તમ-ભૂલ રૂપરેખાંકન તરફ નીચે તરફ જઈ શકાય. અંતિમ સ્તરના વજન માટે આ વ્યુત્પન્નની ગણતરી કરવી સરળ છે, અને આગામી સ્તરના વ્યુત્પન્નને ધ્યાનમાં રાખીને એક સ્તર માટે ગણતરી કરવી શક્ય છે. અંતે શરૂ કરીને, પછી, ડેરિવેટિવ્ઝની ગણતરી શરૂઆત તરફના સ્તર દ્વારા કરવામાં આવે છે-આમ "બેકપ્રોપેગેશન". જ્યાં સુધી વજન એકરૂપ ન થાય અથવા મોડેલ પૂરતું પુનરાવર્તન ન કરે ત્યાં સુધી તેને વારંવાર અપડેટ કરો. તે આવા નેટવર્ક માટે લીબનીઝ સાંકળ નિયમ (1673) નો કાર્યક્ષમ ઉપયોગ છે. સેપ્પો લિનૈનમા (1970) ને કારણે તેને સ્વચાલિત તફાવત અથવા રિવર્સ સંચયના રિવર્સ મોડ તરીકે પણ ઓળખવામાં આવે છે. "બેક-પ્રોપેગેટિંગ એરર કરેક્શન" શબ્દ 1962માં ફ્રેન્ક રોસેનબ્લેટ દ્વારા રજૂ કરવામાં આવ્યો હતો, પરંતુ તેને તેનો અમલ કેવી રીતે કરવો તે ખબર નહોતી, તેમ છતાં હેનરી જે. કેલી પાસે નિયંત્રણ સિદ્ધાંતના સંદર્ભમાં 1960માં પહેલેથી જ બેકપ્રોપેગેશનનો સતત પુરોગામી હતો. બેકપ્રોપેગેશન એક જ ઇનપુટ-આઉટપુટ ઉદાહરણ માટે નેટવર્કના વજનના સંદર્ભમાં લોસ ફંક્શનના ઢાળની ગણતરી કરે છે, અને તે અસરકારક રીતે કરે છે, એક સમયે ઢાળ એક સ્તરની ગણતરી કરે છે, સાંકળ નિયમમાં મધ્યવર્તી શરતોની બિનજરૂરી ગણતરીઓ ટાળવા માટે છેલ્લા સ્તરથી પાછળની તરફ પુનરાવર્તન કરે છે; આ ગતિશીલ પ્રોગ્રામિંગ દ્વારા મેળવી શકાય છે. ઢાળ વંશ, અથવા સ્ટોકેસ્ટિક ઢાળ વંશ જેવા પ્રકારોનો સામાન્ય રીતે ઉપયોગ થાય છે. સખત રીતે બેકપ્રોપેગેશન શબ્દ માત્ર ઢાળની ગણતરી માટેના અલ્ગોરિધમનો સંદર્ભ આપે છે, ઢાળનો ઉપયોગ કેવી રીતે થાય છે તે નહીં; પરંતુ આ શબ્દનો ઉપયોગ ઘણીવાર સમગ્ર શિક્ષણ અલ્ગોરિધમનો સંદર્ભ આપવા માટે કરવામાં આવે છે-જેમાં ઢાળનો ઉપયોગ કેવી રીતે થાય છે, જેમ કે સ્ટોકેસ્ટિક ઢાળ વંશ દ્વારા. 1986માં ડેવિડ ઇ. રુમેલહાર્ટ અને અન્ય. આ તકનીકનું પ્રાયોગિક વિશ્લેષણ પ્રકાશિત કર્યું. આનાથી બેકપ્રોપેગેશનને લોકપ્રિય બનાવવામાં ફાળો આપ્યો અને બહુસ્તરીય પર્સેપ્ટ્રોનમાં સંશોધનનો સક્રિય સમયગાળો શરૂ કરવામાં મદદ મળી. ઝાંખી બેકપ્રોપેગેશન લોસ ફંક્શનના સંદર્ભમાં ફીડફોરવર્ડ ન્યુરલ નેટવર્કના વજનની જગ્યામાં ઢાળની ગણતરી કરે છે. સૂચવોઃ: ઇનપુટ (લક્ષણોનું વેક્ટર): લક્ષ્ય આઉટપુટ વર્ગીકરણ માટે, આઉટપુટ વર્ગની સંભાવનાઓનું વેક્ટર હશે (દા. ત.,, અને લક્ષ્ય આઉટપુટ એક ચોક્કસ વર્ગ છે, જે એક-ગરમ/ડમી ચલ (દા. ત.,) દ્વારા એન્કોડ થયેલ છે. : લોસ ફંક્શન અથવા "કોસ્ટ ફંક્શન" વર્ગીકરણ માટે, આ સામાન્ય રીતે ક્રોસ-એન્ટ્રોપી (XC, લોગ લોસ) હોય છે, જ્યારે રીગ્રેસન માટે તે સામાન્ય રીતે સ્ક્વેર્ડ એરર લોસ (SEL) હોય છે. : સ્તરોની સંખ્યાઃ સ્તર વચ્ચેનું વજન અને, સ્તરમાં-th નોડ અને સ્તરમાં-th નોડ વચ્ચેનું વજન ક્યાં છેઃ સ્તર પર સક્રિયકરણ કાર્યો વર્ગીકરણ માટે છેલ્લું સ્તર સામાન્ય રીતે દ્વિસંગી વર્ગીકરણ માટે લોજિસ્ટિક કાર્ય છે, અને બહુ-વર્ગ વર્ગીકરણ માટે સોફ્ટમેક્સ (સોફ્ટાર્ગમેક્સ), જ્યારે છુપાયેલા સ્તરો માટે આ પરંપરાગત રીતે દરેક નોડ (સંકલન) પર સિગ્મોઇડ કાર્ય (લોજિસ્ટિક કાર્ય અથવા અન્ય) હતું, પરંતુ આજે તે વધુ વૈવિધ્યસભર છે, જેમાં રેક્ટિફાયર (રેમ્પ, આરઇએલયુ) સામાન્ય છે. : સ્તરમાં-th નોડનું સક્રિયકરણ. બેકપ્રોપેગેશનની વ્યુત્પત્તિમાં, અન્ય મધ્યવર્તી જથ્થાનો ઉપયોગ નીચે જરૂરિયાત મુજબ કરવામાં આવે છે. પક્ષપાતની શરતોને ખાસ ગણવામાં આવતી નથી કારણ કે તે 1 ના નિશ્ચિત ઇનપુટ સાથેના વજનને અનુરૂપ હોય છે. બેકપ્રોપેગેશન માટે ચોક્કસ નુકસાન કાર્ય અને સક્રિયકરણ કાર્યોને ત્યાં સુધી કોઈ ફરક પડતો નથી જ્યાં સુધી તેઓ અને તેમના વ્યુત્પન્નોનું અસરકારક રીતે મૂલ્યાંકન કરી શકાય. પરંપરાગત સક્રિયકરણ કાર્યોમાં સિગ્મોઇડ, તનહ અને રીલુનો સમાવેશ થાય છે. ત્યારથી સ્વિશ મિશ અને અન્ય સક્રિયકરણ કાર્યોની પણ દરખાસ્ત કરવામાં આવી છે. એકંદર નેટવર્ક એ કાર્ય રચના અને મેટ્રિક્સ ગુણાકારનું સંયોજન છેઃ તાલીમ સમૂહ માટે ઇનપુટ-આઉટપુટ જોડીનો સમૂહ હશે. તાલીમ સમૂહમાં દરેક ઇનપુટ-આઉટપુટ જોડી માટે, તે જોડી પરના મોડેલની ખોટ એ અનુમાનિત આઉટપુટ અને લક્ષ્ય આઉટપુટ વચ્ચેના તફાવતની કિંમત છેઃ તફાવતની નોંધ લોઃ મોડેલ મૂલ્યાંકન દરમિયાન વજન નક્કી કરવામાં આવે છે જ્યારે ઇનપુટ્સ બદલાય છે (અને લક્ષ્ય આઉટપુટ અજ્ઞાત હોઈ શકે છે), અને નેટવર્ક આઉટપુટ સ્તર સાથે સમાપ્ત થાય છે (તેમાં નુકસાન કાર્ય શામેલ નથી). મોડેલ તાલીમ દરમિયાન ઇનપુટ-આઉટપુટ જોડી નિશ્ચિત કરવામાં આવે છે જ્યારે વજન બદલાય છે, અને નેટવર્ક લોસ ફંક્શન સાથે સમાપ્ત થાય છે. બેકપ્રોપેગેશન નિશ્ચિત ઇનપુટ-આઉટપુટ જોડી માટે ઢાળની ગણતરી કરે છે, જ્યાં વજન બદલાઈ શકે છે. ઢાળના દરેક વ્યક્તિગત ઘટકની ગણતરી સાંકળ નિયમ દ્વારા કરી શકાય છે; પરંતુ દરેક વજન માટે અલગથી આ કરવું બિનકાર્યક્ષમ છે. બેકપ્રોપેગેશન અસરકારક રીતે દરેક સ્તરના ઢાળની ગણતરી કરીને, ડુપ્લિકેટ ગણતરીઓ ટાળીને અને બિનજરૂરી મધ્યવર્તી મૂલ્યોની ગણતરી ન કરીને ઢાળની ગણતરી કરે છે-ખાસ કરીને દરેક સ્તરના ભારિત ઇનપુટનો ઢાળ, જે દ્વારા સૂચવવામાં આવે છે-પાછળથી આગળ. અનૌપચારિક રીતે, મુખ્ય મુદ્દો એ છે કે વજનમાં નુકસાનને અસર કરવાનો એકમાત્ર રસ્તો આગામી સ્તર પર તેની અસર દ્વારા છે, અને તે રેખીય રીતે કરે છે, તેથી તમારે સ્તર પર વજનના ઢાળની ગણતરી કરવાની જરૂર છે, અને પછી અગાઉના સ્તરની ગણતરી કરી શકાય છે અને પુનરાવર્તિત કરી શકાય છે. આ બે રીતે બિનકાર્યક્ષમતાને ટાળે છે. પ્રથમ, તે ડુપ્લિકેશનને ટાળે છે કારણ કે સ્તર પર ગ્રેડિયન્ટની ગણતરી કરતી વખતે-દરેક વખતે પછીના સ્તરો પર તમામ ડેરિવેટિવ્ઝની ફરીથી ગણતરી કરવી બિનજરૂરી છે. બીજું, તે બિનજરૂરી મધ્યવર્તી ગણતરીઓને ટાળે છે, કારણ કે દરેક તબક્કે તે વજનમાં ફેરફારના સંદર્ભમાં છુપાયેલા સ્તરોના મૂલ્યોના વ્યુત્પન્નની બિનજરૂરી રીતે ગણતરી કરવાને બદલે, અંતિમ ઉત્પાદન (નુકસાન) ના સંદર્ભમાં વજનના ઢાળની સીધી ગણતરી કરે છે. બેકપ્રોપેગેશનને સરળ ફીડફોરવર્ડ નેટવર્ક માટે મેટ્રિક્સ ગુણાકારની દ્રષ્ટિએ અથવા વધુ સામાન્ય રીતે સંલગ્ન આલેખની દ્રષ્ટિએ વ્યક્ત કરી શકાય છે. મેટ્રિક્સ ગુણાકાર ફીડફોર્વર્ડ નેટવર્કના મૂળભૂત કેસ માટે, જ્યાં દરેક સ્તરમાં નોડ્સ માત્ર તાત્કાલિક આગલા સ્તરમાં નોડ્સ સાથે જોડાયેલા હોય છે (કોઈપણ સ્તરો છોડ્યા વિના), અને ત્યાં એક લોસ ફંક્શન છે જે અંતિમ આઉટપુટ માટે સ્કેલર લોસની ગણતરી કરે છે, બેકપ્રોપેગેશનને ફક્ત મેટ્રિક્સ ગુણાકાર દ્વારા સમજી શકાય છે. અનિવાર્યપણે, બેકપ્રોપેગેશન કિંમત કાર્યના વ્યુત્પન્ન માટે અભિવ્યક્તિનું મૂલ્યાંકન જમણીથી ડાબી તરફના દરેક સ્તર વચ્ચેના વ્યુત્પન્નના ઉત્પાદન તરીકે કરે છે-"પાછળની તરફ"-જેમાં દરેક સ્તર વચ્ચેના વજનનો ઢાળ આંશિક ઉત્પાદનોનો સરળ ફેરફાર છે ("પાછળની તરફ પ્રસારિત ભૂલ"). ઇનપુટ-આઉટપુટ જોડીને જોતાં, નુકસાન છેઃ આની ગણતરી કરવા માટે, એક ઇનપુટથી શરૂ થાય છે અને આગળ કામ કરે છે; દરેક છુપાયેલા સ્તરના ભારિત ઇનપુટને અને છુપાયેલા સ્તરના આઉટપુટને સક્રિયકરણ તરીકે દર્શાવો. બેકપ્રોપેગેશન માટે, સક્રિયકરણ તેમજ ડેરિવેટિવ્ઝ (મૂલ્યાંકન) ને બેકવર્ડ પાસ દરમિયાન ઉપયોગ માટે કેશ કરવા આવશ્યક છે. ઇનપુટ્સની દ્રષ્ટિએ નુકસાનનું વ્યુત્પન્ન સાંકળ નિયમ દ્વારા આપવામાં આવે છે; નોંધ લો કે દરેક પદ કુલ વ્યુત્પન્ન છે, જેનું મૂલ્યાંકન ઇનપુટ પર નેટવર્કના મૂલ્ય (દરેક નોડ પર) પર કરવામાં આવે છેઃ જ્યાં કર્ણ મેટ્રિક્સ છે. આ શબ્દો છેઃ લોસ ફંક્શનના ડેરિવેટિવ્ઝ; સક્રિયકરણ ફંક્શનના ડેરિવેટિવ્ઝ; અને વજનના મેટ્રિક્સઃ ગ્રેડિયન્ટ એ ઇનપુટની દ્રષ્ટિએ આઉટપુટના ડેરિવેટિવ્ઝનું ટ્રાન્સપોઝ છે, તેથી મેટ્રિક્સને ટ્રાન્સપોઝ કરવામાં આવે છે અને ગુણાકારનો ક્રમ ઉલટાવી દેવામાં આવે છે, પરંતુ એન્ટ્રીઓ સમાન છેઃ બેકપ્રોપેગેશનમાં પછી આ અભિવ્યક્તિનું જમણેથી ડાબે મૂલ્યાંકન કરવું (સમકક્ષ રીતે, ડેરિવેટિવ્ઝ માટે અગાઉના અભિવ્યક્તિને ડાબેથી જમણે ગુણાકાર કરવો), રસ્તામાં દરેક સ્તર પર ગ્રેડિયન્ટની ગણતરી કરવી; ત્યાં એક વધારાનું પગલું છે, કારણ કે વજનનો ગ્રેડિયન્ટ માત્ર એક પેટા અભિવ્યક્તિ નથીઃ ત્યાં એક વધારાનો ગુણાકાર છેઃ ત્યાં એક વધારાનો ગુણાકાર છે. આંશિક ઉત્પાદનો (જમણેથી ડાબે ગુણાકાર) માટે સહાયક જથ્થાની રજૂઆત, "સ્તર પર ભૂલ" તરીકે અર્થઘટન કરવામાં આવે છે અને સ્તર પર ઇનપુટ મૂલ્યોના ઢાળ તરીકે વ્યાખ્યાયિત કરવામાં આવે છેઃ નોંધ કરો કે તે વેક્ટર છે, જે સ્તરમાં ગાંઠોની સંખ્યા જેટલી લંબાઈ ધરાવે છે; દરેક ઘટકને "તે નોડ (મૂલ્ય) ને આભારી કિંમત" તરીકે અર્થઘટન કરવામાં આવે છે. સ્તરમાં વજનનો ઢાળ પછી છેઃ નું પરિબળ એ છે કે સ્તર અને અસર સ્તર વચ્ચેનું વજન ઇનપુટ્સ (સક્રિયકરણ) ના પ્રમાણમાં છેઃ ઇનપુટ્સ નિશ્ચિત હોય છે, વજન બદલાય છે. જમણેથી ડાબે જઈને સરળતાથી પુનરાવર્તિત રીતે ગણતરી કરી શકાય છે, જેમ કેઃ વજનના ઢાળની ગણતરી આમ દરેક સ્તર માટે થોડા મેટ્રિક્સ ગુણાકારનો ઉપયોગ કરીને કરી શકાય છે; આ બેકપ્રોપેગેશન છે. નિષ્કપટ રીતે આગળ કમ્પ્યુટિંગની સરખામણીમાં (ઉદાહરણ માટે ઉપયોગ કરીને): બેકપ્રોપેગેશન સાથે બે મુખ્ય તફાવતો છેઃ કમ્પ્યુટિંગની દ્રષ્ટિએ સ્તરો અને તેનાથી આગળના સ્પષ્ટ ડુપ્લિકેટ ગુણાકારને ટાળે છે. થી શરૂ કરીને ગુણાકાર કરવો-ભૂલને પાછળની તરફ ફેલાવવી-તેનો અર્થ એ છે કે દરેક પગલું વેક્ટર () ને વજનના મેટ્રિક્સ અને સક્રિયકરણના વ્યુત્પન્ન દ્વારા ગુણાકાર કરે છે. તેનાથી વિપરીત, અગાઉના સ્તર પરના ફેરફારોથી શરૂ કરીને આગળ ગુણાકાર કરવાનો અર્થ એ છે કે દરેક ગુણાકાર મેટ્રિક્સ દ્વારા મેટ્રિક્સનો ગુણાકાર કરે છે. આ વધુ ખર્ચાળ છે, અને એક સ્તરમાં ફેરફારના દરેક સંભવિત માર્ગને ટ્રેક કરવા માટે અનુરૂપ છે (દ્વારા ગુણાકાર કરવા માટે, સક્રિયકરણના ડેરિવેટિવ્ઝ માટે વધારાના ગુણાકાર સાથે), જે બિનજરૂરી રીતે વજનના ફેરફારો કેવી રીતે અસર કરે છે તેના મધ્યવર્તી જથ્થાની ગણતરી કરે છે. વધુ સામાન્ય આલેખ અને અન્ય અદ્યતન વિવિધતાઓ માટે, બેકપ્રોપેગેશનને સ્વચાલિત તફાવતની દ્રષ્ટિએ સમજી શકાય છે, જ્યાં બેકપ્રોપેગેશન એ રિવર્સ સંચય (અથવા "રિવર્સ મોડ") નો વિશેષ કેસ છે. અંતઃપ્રેરણા કોઈપણ સુપરવાઇઝ્ડ લર્નિંગ અલ્ગોરિધમનો ધ્યેય એવા કાર્યને શોધવાનો છે જે તેમના સાચા આઉટપુટ માટે ઇનપુટ્સના સમૂહને શ્રેષ્ઠ રીતે મેપ કરે. બેકપ્રોપેગેશન માટેની પ્રેરણા બહુસ્તરીય ન્યુરલ નેટવર્કને તાલીમ આપવાની છે જેથી તે યોગ્ય આંતરિક રજૂઆતો શીખી શકે જેથી તે આઉટપુટમાં ઇનપુટનું કોઈપણ મનસ્વી મેપિંગ શીખી શકે. ઓપ્ટિમાઇઝેશન સમસ્યા તરીકે શીખવું બેકપ્રોપેગેશન અલ્ગોરિધમની ગાણિતિક વ્યુત્પત્તિને સમજવા માટે, તે ચોક્કસ તાલીમ ઉદાહરણ માટે ચેતાકોષના વાસ્તવિક આઉટપુટ અને સાચા આઉટપુટ વચ્ચેના સંબંધ વિશે થોડી અંતઃપ્રેરણા વિકસાવવામાં મદદ કરે છે. બે ઇનપુટ એકમો સાથે એક સરળ ન્યુરલ નેટવર્કનો વિચાર કરો, એક આઉટપુટ એકમ અને કોઈ છુપાયેલા એકમો નહીં, અને જેમાં દરેક ચેતાકોષ રેખીય આઉટપુટનો ઉપયોગ કરે છે (ન્યુરલ નેટવર્ક પરના મોટાભાગના કાર્યથી વિપરીત, જેમાં ઇનપુટ્સથી આઉટપુટનું મેપિંગ બિન-રેખીય હોય છે) જે તેના ઇનપુટનો ભારિત સરવાળો છે. શરૂઆતમાં, તાલીમ પહેલાં, વજન અવ્યવસ્થિત રીતે નક્કી કરવામાં આવશે. પછી ચેતાકોષ તાલીમ ઉદાહરણોમાંથી શીખે છે, જે આ કિસ્સામાં ટુપલ્સનો સમૂહ ધરાવે છે જ્યાં અને તે નેટવર્કના ઇનપુટ્સ છે અને તે સાચું આઉટપુટ છે (તે ઇનપુટ્સને ધ્યાનમાં રાખીને નેટવર્કએ જે આઉટપુટ ઉત્પન્ન કરવું જોઈએ, જ્યારે તેને તાલીમ આપવામાં આવી હોય). પ્રારંભિક નેટવર્ક, આપેલ અને, આઉટપુટની ગણતરી કરશે જે સંભવતઃ (રેન્ડમ વજન આપવામાં આવે છે) થી અલગ છે. લક્ષ્ય આઉટપુટ અને ગણતરી કરેલ આઉટપુટ વચ્ચેની વિસંગતતાને માપવા માટે લોસ ફંક્શનનો ઉપયોગ થાય છે. રીગ્રેસન વિશ્લેષણ સમસ્યાઓ માટે સ્ક્વેર્ડ એરરનો ઉપયોગ લોસ ફંક્શન તરીકે થઈ શકે છે, વર્ગીકરણ માટે વર્ગીકરણ ક્રોસ-એન્ટ્રોપીનો ઉપયોગ કરી શકાય છે. ઉદાહરણ તરીકે ચોરસ ભૂલનો ઉપયોગ કરીને રીગ્રેસન સમસ્યાને નુકસાન તરીકે ધ્યાનમાં લોઃ વિસંગતતા અથવા ભૂલ ક્યાં છે. એક જ તાલીમ કેસ પર નેટવર્કને ધ્યાનમાં લોઃ આમ, ઇનપુટ અને અનુક્રમે 1 અને 1 છે અને સાચું આઉટપુટ, 0 છે. હવે જો આડી અક્ષ પર નેટવર્કના આઉટપુટ અને ઊભી અક્ષ પરની ભૂલ વચ્ચે સંબંધ રચવામાં આવે, તો પરિણામ પેરાબોલા છે. પેરાબોલાનું ન્યુનત્તમ આઉટપુટને અનુરૂપ છે જે ભૂલને ઘટાડે છે. એક તાલીમ કેસ માટે, લઘુત્તમ પણ આડી અક્ષને સ્પર્શે છે, જેનો અર્થ છે કે ભૂલ શૂન્ય હશે અને નેટવર્ક એક આઉટપુટ ઉત્પન્ન કરી શકે છે જે લક્ષ્ય આઉટપુટ સાથે બરાબર મેળ ખાય છે. તેથી, આઉટપુટમાં ઇનપુટ્સને મેપિંગ કરવાની સમસ્યાને કાર્ય શોધવાની ઓપ્ટિમાઇઝેશન સમસ્યામાં ઘટાડી શકાય છે જે ન્યૂનતમ ભૂલ પેદા કરશે. જો કે, ચેતાકોષનું ઉત્પાદન તેના તમામ ઇનપુટ્સના ભારિત સરવાળા પર આધાર રાખે છેઃ ઇનપુટ એકમોથી આઉટપુટ એકમ સુધીના જોડાણ પરનું વજન ક્યાં અને ક્યાં છે. તેથી, ભૂલ ચેતાકોષમાં આવતા વજન પર પણ આધાર રાખે છે, જે આખરે શિક્ષણને સક્ષમ કરવા માટે નેટવર્કમાં બદલવાની જરૂર છે. આ ઉદાહરણમાં, તાલીમ ડેટાને દાખલ કરવા પર, લોસ ફંક્શન બને છે પછી, લોસ ફંક્શન પેરાબોલિક સિલિન્ડરનું સ્વરૂપ લે છે, જેનો આધાર તેની સાથે નિર્દેશિત થાય છે. વજનના તમામ સેટ કે જે સંતોષ આપે છે તે લોસ ફંક્શનને ઘટાડે છે, આ કિસ્સામાં એક અનન્ય ઉકેલમાં ભેગા થવા માટે વધારાની મર્યાદાઓ જરૂરી છે. વધારાના અવરોધો કાં તો વજન માટે ચોક્કસ શરતો નક્કી કરીને અથવા વધારાના તાલીમ ડેટાને દાખલ કરીને પેદા કરી શકાય છે. ભૂલને ઘટાડતા વજનના સમૂહને શોધવા માટે સામાન્ય રીતે ઉપયોગમાં લેવાતું એક અલ્ગોરિધમ ગ્રેડિયન્ટ ડિસેન્ટ છે. બેકપ્રોપેગેશન દ્વારા, સૌથી તીવ્ર ઉતરવાની દિશાની ગણતરી વર્તમાન સિનેપ્ટિક વજન વિરુદ્ધ લોસ ફંક્શન દ્વારા કરવામાં આવે છે. પછી, વજનને સૌથી ઊંડી ઉતરતી દિશામાં સુધારી શકાય છે, અને ભૂલને કાર્યક્ષમ રીતે ઘટાડવામાં આવે છે. વ્યુત્પત્તિ ઢાળ વંશ પદ્ધતિમાં નેટવર્કના વજનના સંદર્ભમાં લોસ ફંક્શનના વ્યુત્પન્નની ગણતરીનો સમાવેશ થાય છે. આ સામાન્ય રીતે બેકપ્રોપેગેશનનો ઉપયોગ કરીને કરવામાં આવે છે. એક આઉટપુટ ચેતાકોષને ધારીએ તો, સ્ક્વેર્ડ એરર ફંક્શન એ છે કે જ્યાં આઉટપુટ અને લક્ષ્ય મૂલ્ય માટે નુકસાન છે, તે તાલીમ નમૂના માટેનું લક્ષ્ય આઉટપુટ છે, અને આઉટપુટ ચેતાકોષનું વાસ્તવિક આઉટપુટ છે. દરેક ચેતાકોષ માટે, તેના ઉત્પાદનને એ રીતે વ્યાખ્યાયિત કરવામાં આવે છે કે જ્યાં સક્રિયકરણ કાર્ય બિન-રેખીય હોય અને સક્રિયકરણ ક્ષેત્ર પર વિભેદક હોય (આરઇએલયુ એક તબક્કે વિભેદક નથી). ઐતિહાસિક રીતે ઉપયોગમાં લેવાતું સક્રિયકરણ કાર્ય એ લોજિસ્ટિક કાર્ય છેઃ જેનું અનુકૂળ વ્યુત્પન્ન છેઃ ચેતાકોષમાં ઇનપુટ એ અગાઉના ચેતાકોષોના આઉટપુટનો ભારિત સરવાળો છે. જો ન્યુરોન ઇનપુટ સ્તર પછીના પ્રથમ સ્તરમાં હોય, તો ઇનપુટ સ્તરનું ન્યુરોન ફક્ત નેટવર્કના ઇનપુટ્સ છે. ચેતાકોષમાં ઇનપુટ એકમોની સંખ્યા છે. ચલ અગાઉના સ્તરના ચેતાકોષ અને વર્તમાન સ્તરના ચેતાકોષ વચ્ચેનું વજન સૂચવે છે. ભૂલના વ્યુત્પન્નને શોધવું વજનના સંદર્ભમાં ભૂલના આંશિક વ્યુત્પન્નની ગણતરી બે વાર સાંકળ નિયમનો ઉપયોગ કરીને કરવામાં આવે છેઃ ઉપરની જમણી બાજુના છેલ્લા પરિબળમાં, સરવાળામાં માત્ર એક જ શબ્દ તેના પર આધાર રાખે છે, જેથી જો ચેતાકોષ ઇનપુટ સ્તર પછી પ્રથમ સ્તરમાં હોય, તો તે ન્યાયી છે. તેના ઇનપુટના સંદર્ભમાં ચેતાકોષના આઉટપુટનું વ્યુત્પન્ન ફક્ત સક્રિયકરણ કાર્યનું આંશિક વ્યુત્પન્ન છેઃ જે લોજિસ્ટિક સક્રિયકરણ કાર્ય માટે આ જ કારણ છે કે બેકપ્રોપેગેશન માટે સક્રિયકરણ કાર્યને અલગ પાડવાની જરૂર છે. (તેમ છતાં, આરઇએલયુ સક્રિયકરણ કાર્ય, જે 0 પર બિન-વિભેદક છે, તે ખૂબ જ લોકપ્રિય બન્યું છે, દા. ત. એલેક્સનેટમાં) પ્રથમ પરિબળ મૂલ્યાંકન કરવા માટે સીધું છે કે જો ચેતાકોષ આઉટપુટ સ્તરમાં છે, કારણ કે પછી અને જો ચોરસ ભૂલનો અડધો ભાગ લોસ ફંક્શન તરીકે ઉપયોગમાં લેવાય છે તો આપણે તેને ફરીથી લખી શકીએ છીએ. ચેતાકોષમાંથી ઇનપુટ મેળવનારા તમામ ચેતાકોષો સાથે ઇનપુટ્સને એક કાર્ય તરીકે ધ્યાનમાં લેતા, અને તેના સંદર્ભમાં કુલ વ્યુત્પન્ન લેતા, વ્યુત્પન્ન માટે પુનરાવર્તિત અભિવ્યક્તિ પ્રાપ્ત થાય છેઃ તેથી, સંદર્ભમાં વ્યુત્પન્નની ગણતરી કરી શકાય છે જો આગામી સ્તરના આઉટપુટના સંદર્ભમાં તમામ વ્યુત્પન્ન-આઉટપુટ ચેતાકોષની નજીકના-જાણીતા હોય. [નોંધ કરો, જો સમૂહમાંના કોઈપણ ચેતાકોષ ચેતાકોષ સાથે જોડાયેલા ન હોય, તો તેઓ તેનાથી સ્વતંત્ર હશે અને સારાંશ હેઠળ અનુરૂપ આંશિક વ્યુત્પન્ન 0 પર અદૃશ્ય થઈ જશે.] અવેજીમાં, અને આપણે મેળવીએ છીએઃ સાથે જો લોજિસ્ટિક કાર્ય છે, અને ભૂલ એ ચોરસ ભૂલ છેઃ ગ્રેડિયન્ટ ડિસેન્ટનો ઉપયોગ કરીને વજનને અપડેટ કરવા માટે, વ્યક્તિએ શીખવાનો દર પસંદ કરવો જ જોઇએ,. વજનમાં ફેરફાર વધારા અથવા ઘટાડાની અસરને પ્રતિબિંબિત કરવાની જરૂર છે. જો, વધારો વધે છે; તેનાથી વિપરીત, જો, ઘટાડો થાય છે. નવા જૂના વજનમાં ઉમેરવામાં આવે છે, અને શીખવાના દર અને ઢાળનું ઉત્પાદન, બાંયધરી દ્વારા ગુણાકાર કરવામાં આવે છે જે હંમેશા ઘટતી જતી રીતે બદલાય છે. બીજા શબ્દોમાં કહીએ તો, તરત જ નીચેના સમીકરણમાં, હંમેશા એવી રીતે બદલાય છે કે જે ઘટે છેઃ સેકન્ડ-ઓર્ડર ગ્રેડિયન્ટ ડિસેન્ટ ભૂલ કાર્યના સેકન્ડ-ઓર્ડર ડેરિવેટિવ્ઝના હેસિયન મેટ્રિક્સનો ઉપયોગ કરીને, લેવેનબર્ગ-માર્કવાર્ડ અલ્ગોરિધમ ઘણીવાર ફર્સ્ટ-ઓર્ડર ગ્રેડિયન્ટ ડિસેન્ટ કરતાં વધુ ઝડપથી એકરૂપ થાય છે, ખાસ કરીને જ્યારે ભૂલ કાર્યની ટોપોલોજી જટિલ હોય. તે નાના નોડ ગણતરીઓમાં પણ ઉકેલો શોધી શકે છે, જેના માટે અન્ય પદ્ધતિઓ એકરૂપ ન પણ થઈ શકે. ફિશર માહિતી મેટ્રિક્સ દ્વારા હેસિયનનો અંદાજ લગાવી શકાય છે. લોસ ફંક્શન એ એક એવું ફંક્શન છે જે એક અથવા વધુ ચલોનાં મૂલ્યોને વાસ્તવિક સંખ્યા પર મેપ કરે છે જે તે મૂલ્યો સાથે સંકળાયેલ અમુક "કિંમત" નું પ્રતિનિધિત્વ કરે છે. બેકપ્રોપેગેશન માટે, લોસ ફંક્શન નેટવર્ક આઉટપુટ અને તેના અપેક્ષિત આઉટપુટ વચ્ચેના તફાવતની ગણતરી કરે છે, એક તાલીમ ઉદાહરણ નેટવર્ક દ્વારા પ્રચાર કર્યા પછી. ધારણાઓ નુકસાન કાર્યની ગાણિતિક અભિવ્યક્તિએ બે શરતોને પૂર્ણ કરવી આવશ્યક છે જેથી તેનો ઉપયોગ બેકપ્રોપેગેશનમાં થઈ શકે. પ્રથમ એ છે કે તેને વ્યક્તિગત તાલીમ ઉદાહરણો માટે સરેરાશ ઓવર એરર ફંક્શન્સ તરીકે લખી શકાય છે. આ ધારણાનું કારણ એ છે કે બેકપ્રોપેગેશન અલ્ગોરિધમ એક જ તાલીમ ઉદાહરણ માટે ભૂલ કાર્યના ઢાળની ગણતરી કરે છે, જેને એકંદર ભૂલ કાર્ય માટે સામાન્ય બનાવવાની જરૂર છે. બીજી ધારણા એ છે કે તેને ન્યુરલ નેટવર્કમાંથી આઉટપુટના કાર્ય તરીકે લખી શકાય છે. ઉદાહરણ લોસ ફંક્શન ચાલો વેક્ટર હોઈએ. બે આઉટપુટ વચ્ચેના તફાવતને માપતા ભૂલ કાર્યને પસંદ કરો. પ્રમાણભૂત પસંદગી એ વેક્ટર વચ્ચેના યુક્લિડિયન અંતરનો વર્ગ છે અનેઃ તાલીમ ઉદાહરણો પરના ભૂલ કાર્યને પછી વ્યક્તિગત ઉદાહરણો પરના નુકસાનની સરેરાશ તરીકે લખી શકાય છેઃ મર્યાદાઓ બેકપ્રોપેગેશન સાથે ગ્રેડિયન્ટ ડિસેન્ટ ભૂલ કાર્યની વૈશ્વિક લઘુત્તમ શોધવાની બાંયધરી આપતું નથી, પરંતુ માત્ર સ્થાનિક લઘુત્તમ; ઉપરાંત, તેને ભૂલ કાર્ય લેન્ડસ્કેપમાં પઠારોને પાર કરવામાં મુશ્કેલી પડે છે. ન્યુરલ નેટવર્ક્સમાં ભૂલ કાર્યોની બિન-સંવહનતાને કારણે આ સમસ્યા લાંબા સમયથી એક મોટી ખામી હોવાનું માનવામાં આવતું હતું, પરંતુ યાન લેકુન એટ અલ. દલીલ કરે છે કે ઘણી વ્યવહારુ સમસ્યાઓમાં, તે નથી. બેકપ્રોપેગેશન લર્નિંગ માટે ઇનપુટ વેક્ટરના સામાન્યકરણની જરૂર નથી; જો કે, સામાન્યીકરણ કામગીરીમાં સુધારો કરી શકે છે. બેકપ્રોપેગેશન માટે સક્રિયકરણ કાર્યોના વ્યુત્પન્નને નેટવર્ક ડિઝાઇન સમયે જાણવાની જરૂર છે. ઇતિહાસ આધુનિક બેકપ્રોપેગેશન એ નેસ્ટેડ ડિફરન્શીયેબલ ફંક્શન્સના ડિસ્ક્રીટ કનેક્ટેડ નેટવર્ક માટે સેપ્પો લિનૈનમાનો ઓટોમેટિક ડિફરન્શીએશન (1970) નો રિવર્સ મોડ છે. તે આવા નેટવર્ક પર સાંકળ નિયમ (1673માં ગોટફ્રાઇડ વિલ્હેમ લીબનીઝ દ્વારા વ્યુત્પન્ન) નો કાર્યક્ષમ ઉપયોગ છે. ફ્રેન્ક રોસેનબ્લેટ દ્વારા 1962 માં "બેક-પ્રોપેગેટિંગ એરર કરેક્શન" પરિભાષા રજૂ કરવામાં આવી હતી, પરંતુ તેને કેવી રીતે અમલમાં મૂકવું તે ખબર નહોતી, જો કે હેનરી જે. કેલી પાસે નિયંત્રણ સિદ્ધાંતના સંદર્ભમાં 1960 માં પહેલેથી જ બેકપ્રોપેગેશનનો સતત પુરોગામી હતો. સ્ટોકેસ્ટિક ગ્રેડિયન્ટ ડિસેન્ટ દ્વારા પ્રશિક્ષિત પ્રથમ ડીપ લર્નિંગ મલ્ટીલેયર પર્સેપ્ટ્રોન (એમ. એલ. પી.) 1967માં શુનઇચી અમારી દ્વારા પ્રકાશિત કરવામાં આવ્યું હતું. કમ્પ્યુટર પ્રયોગોમાં, બે સુધારી શકાય તેવા સ્તરો સાથેના તેમના પાંચ સ્તરના એમ. એલ. પી. એ બિન-રેખીય રીતે અલગ કરી શકાય તેવા પેટર્ન વર્ગોને વર્ગીકૃત કરવા માટે જરૂરી આંતરિક રજૂઆતો શીખી. 1982 માં, પોલ વેરબોસે એમ. એલ. પી. માટે બેકપ્રોપેગેશન લાગુ કર્યું જે પ્રમાણભૂત બની ગયું છે. 1985માં, ડેવિડ ઇ. રુમેલહાર્ટ અને અન્ય. આ તકનીકનું પ્રાયોગિક વિશ્લેષણ પ્રકાશિત કર્યું. આનાથી બેકપ્રોપેગેશનને લોકપ્રિય બનાવવામાં ફાળો આપ્યો અને બહુસ્તરીય પર્સેપ્ટ્રોનમાં સંશોધનનો સક્રિય સમયગાળો શરૂ કરવામાં મદદ મળી. કેલી (1960) અને આર્થર ઇ. બ્રાયસન (1961) એ પદ્ધતિના ઉપરોક્ત સતત પુરોગામીને મેળવવા માટે ગતિશીલ પ્રોગ્રામિંગના સિદ્ધાંતોનો ઉપયોગ કર્યો હતો. 1 9 62 માં, સ્ટુઅર્ટ ડ્રેફસે માત્ર સાંકળ નિયમ પર આધારિત સરળ વ્યુત્પત્તિ પ્રકાશિત કરી. 1973 માં, તેમણે ભૂલના ઢાળના પ્રમાણમાં નિયંત્રકોના પરિમાણોને અનુકૂલિત કર્યા. લિનેનમાની 1970 ની પદ્ધતિથી વિપરીત, આ પૂર્વગામીઓએ "એક તબક્કાથી અગાઉના તબક્કા સુધીની પ્રમાણભૂત જેકોબિયન મેટ્રિક્સ ગણતરીઓનો ઉપયોગ કર્યો હતો, જેમાં ન તો ઘણા તબક્કાઓમાં સીધી કડીઓ સંબોધવામાં આવી હતી અને ન તો નેટવર્ક સ્પાર્સિટીને કારણે સંભવિત વધારાની કાર્યક્ષમતા લાભ". 1985માં પાર્કર દ્વારા પણ આ પદ્ધતિનું વર્ણન કરવામાં આવ્યું હતું. યાન લેકને 1987 માં તેમના પીએચડી થીસીસમાં ન્યુરલ નેટવર્ક્સ માટે બેકપ્રોપેગેશનના વૈકલ્પિક સ્વરૂપની દરખાસ્ત કરી હતી. 1993માં, એરિક વાને બેકપ્રોપેગેશન દ્વારા આંતરરાષ્ટ્રીય પેટર્ન માન્યતા સ્પર્ધા જીતી હતી. 2000 ના દાયકા દરમિયાન તે તરફેણમાં ન હતું, પરંતુ 2010 ના દાયકામાં સસ્તી, શક્તિશાળી જી. પી. યુ. આધારિત કમ્પ્યુટિંગ સિસ્ટમ્સથી ફાયદો થયો. આ ખાસ કરીને વાણી ઓળખ, મશીન દ્રષ્ટિ, કુદરતી ભાષા પ્રક્રિયા અને ભાષા માળખું શીખવાના સંશોધનમાં (જેમાં તેનો ઉપયોગ પ્રથમ અને બીજી ભાષા શીખવા સંબંધિત વિવિધ ઘટનાઓને સમજાવવા માટે કરવામાં આવ્યો છે.). એન 400 અને પી 600 જેવા માનવ મગજના ઇઆરપી ઘટકોને સમજાવવા માટે ભૂલ બેકપ્રોપેગેશન સૂચવવામાં આવ્યું છે. 2023 માં, સ્ટેનફોર્ડ યુનિવર્સિટીની એક ટીમ દ્વારા ફોટોનિક પ્રોસેસર પર બેકપ્રોપેગેશન અલ્ગોરિધમનો અમલ કરવામાં આવ્યો હતો. આ પણ જુઓ આર્ટિફિશિયલ ન્યુરલ નેટવર્ક ન્યુરલ સર્કિટ કેટાસ્ટ્રોફિક ઇન્ટરફિયરન્સ એન્સેમ્બલ લર્નિંગ એડાબૂસ્ટ ઓવરફિટિંગ ન્યુરલ બેકપ્રોપેગેશન બેકપ્રોપેગેશન થ્રુ ટાઇમ નોંધો સંદર્ભો વધુ વાંચન વિકિવર્સિટી મશીન લર્નિંગ એલ્ગોરિધમ્સ આર્ટિફિશિયલ ન્યુરલ નેટવર્ક્સ પર બાહ્ય લિંક્સ બેકપ્રોપેગેશન ન્યુરલ નેટવર્ક ટ્યુટોરીયલ