Modern Hopfield network
આધુનિક હોપફિલ્ડ નેટવર્ક (જેને ડેન્સ એસોસિએટિવ મેમરીઝ તરીકે પણ ઓળખવામાં આવે છે) એ ક્લાસિકલ હોપફિલ્ડ નેટવર્કનું સામાન્યીકરણ છે જે ઇનપુટ સુવિધાઓની સંખ્યા અને સંગ્રહિત યાદોની સંખ્યા વચ્ચેના રેખીય સ્કેલિંગ સંબંધને તોડે છે. આ મજબૂત બિન-રેખીયતાઓ (ઊર્જા કાર્ય અથવા ચેતાકોષોના સક્રિયકરણ કાર્યોમાં) રજૂ કરીને પ્રાપ્ત થાય છે, જે લક્ષણ ચેતાકોષોની સંખ્યાના કાર્ય તરીકે સુપર-રેખીય (ઘાતાંકીય પણ) મેમરી સંગ્રહ ક્ષમતા તરફ દોરી જાય છે. નેટવર્કને હજુ પણ છુપાયેલા ચેતાકોષોની પૂરતી સંખ્યાની જરૂર છે. આધુનિક હોપફિલ્ડ નેટવર્ક પાછળનો મુખ્ય સૈદ્ધાંતિક વિચાર એ ઊર્જા કાર્ય અને અદ્યતન નિયમનો ઉપયોગ કરવાનો છે જે શાસ્ત્રીય હોપફિલ્ડ નેટવર્કની તુલનામાં ચેતાકોષના રૂપરેખાંકનોની જગ્યામાં સંગ્રહિત સ્મૃતિઓની આસપાસ વધુ તીવ્ર રીતે ટોચ પર છે. ક્લાસિકલ હોપફિલ્ડ નેટવર્ક હોપફિલ્ડ નેટવર્ક એ પુનરાવર્તિત ન્યુરલ નેટવર્ક છે જેમાં ગતિશીલ માર્ગ નિશ્ચિત બિંદુ આકર્ષક સ્થિતિઓમાં પરિવર્તિત થાય છે અને ઊર્જા કાર્ય દ્વારા વર્ણવવામાં આવે છે. દરેક નમૂના ચેતાકોષની સ્થિતિ સમય-આધારિત ચલ દ્વારા વ્યાખ્યાયિત કરવામાં આવે છે, જેને અલગ અથવા સતત તરીકે પસંદ કરી શકાય છે. એક સંપૂર્ણ મોડેલ દરેક ચેતાકોષની પ્રવૃત્તિની ભાવિ સ્થિતિ તમામ ચેતાકોષોની જાણીતી વર્તમાન અથવા અગાઉની પ્રવૃત્તિ પર કેવી રીતે આધાર રાખે છે તેના ગણિતનું વર્ણન કરે છે. એસોસિએટિવ મેમરીના મૂળ હોપફિલ્ડ મોડેલમાં, ચલો દ્વિસંગી હતા, અને ગતિશીલતાને ચેતાકોષોની સ્થિતિના એક સમયે અપડેટ દ્વારા વર્ણવવામાં આવી હતી. એક ઊર્જા કાર્યને દ્વિઘાત તરીકે વ્યાખ્યાયિત કરવામાં આવ્યું હતું, અને ગતિશીલતામાં દરેક એક ચેતાકોષની પ્રવૃત્તિને બદલવાનો સમાવેશ થતો હતો જો આમ કરવાથી સિસ્ટમની કુલ ઊર્જામાં ઘટાડો થાય. આ જ વિચારને ચેતાકોષના ઉત્પાદનનું પ્રતિનિધિત્વ કરતા સતત ચલ હોવાના અને ઇનપુટ પ્રવાહનું એકવિધ કાર્ય હોવાના કિસ્સામાં વિસ્તૃત કરવામાં આવ્યો હતો. ગતિશીલતાને પ્રથમ ક્રમના વિભેદક સમીકરણોના સમૂહ તરીકે વ્યક્ત કરવામાં આવી હતી, જેના માટે પ્રણાલીની "ઊર્જા" હંમેશા ઘટતી હતી. સતત કિસ્સામાં ઊર્જાનો એક શબ્દ હોય છે જે (દ્વિસંગી મોડેલની જેમ) માં દ્વિઘાત હોય છે, અને બીજો શબ્દ જે લાભ કાર્ય (ચેતાકોષના સક્રિયકરણ કાર્ય) પર આધારિત હોય છે. સહયોગી સ્મૃતિના ઘણા ઇચ્છનીય ગુણધર્મો હોવા છતાં, આ બંને શાસ્ત્રીય પ્રણાલીઓ નાની સ્મૃતિ સંગ્રહ ક્ષમતાથી પીડાય છે, જે ઇનપુટ સુવિધાઓની સંખ્યા સાથે રેખીય રીતે માપવામાં આવે છે. ડિસ્ક્રીટ વેરિયેબલ્સ આધુનિક હોપફિલ્ડ નેટવર્કનું એક સરળ ઉદાહરણ દ્વિસંગી વેરિયેબલ્સની દ્રષ્ટિએ લખી શકાય છે જે મોડેલ ચેતાકોષની સક્રિય અને નિષ્ક્રિય સ્થિતિને રજૂ કરે છે. આ સૂત્રમાં વજન મેમરી વેક્ટરના મેટ્રિક્સને રજૂ કરે છે (અનુક્રમણિકા વિવિધ યાદોને ગણાવે છે, અને અનુક્રમણિકા-th લક્ષણ ચેતાકોષને અનુરૂપ દરેક મેમરીની સામગ્રીને ગણાવે છે), અને કાર્ય ઝડપથી વિકસતા બિન-રેખીય કાર્ય છે. વ્યક્તિગત ચેતાકોષો માટે અદ્યતન નિયમ (અસિંક્રોનસ કિસ્સામાં) નીચેના સ્વરૂપમાં લખી શકાય છે જે જણાવે છે કે-th ચેતાકોષની અદ્યતન સ્થિતિની ગણતરી કરવા માટે નેટવર્ક બે ઊર્જાની સરખામણી કરે છેઃ ચાલુ સ્થિતિમાં-th ચેતાકોષ સાથે નેટવર્કની ઊર્જા અને બંધ સ્થિતિમાં-th ચેતાકોષ સાથે નેટવર્કની ઊર્જા, બાકીના ચેતાકોષની સ્થિતિને ધ્યાનમાં રાખીને. - th ચેતાકોષની અદ્યતન સ્થિતિ તે સ્થિતિને પસંદ કરે છે જે બેમાંથી સૌથી ઓછી ઊર્જા ધરાવે છે. મર્યાદિત કિસ્સામાં જ્યારે બિન-રેખીય ઊર્જા કાર્ય દ્વિઘાત હોય ત્યારે આ સમીકરણો પરિચિત ઊર્જા કાર્ય અને શાસ્ત્રીય દ્વિસંગી હોપફિલ્ડ નેટવર્ક માટેના સુધારા નિયમમાં ઘટાડો કરે છે. આ નેટવર્કની મેમરી સંગ્રહ ક્ષમતાની ગણતરી રેન્ડમ દ્વિસંગી પેટર્ન માટે કરી શકાય છે. પાવર એનર્જી ફંક્શન માટે ભૂલો વિના આ નેટવર્કમાંથી સંગ્રહિત અને પુનઃપ્રાપ્ત કરી શકાય તેવી મેમરીની મહત્તમ સંખ્યા દ્વારા આપવામાં આવે છે. એક ઘાતાંકીય ઊર્જા કાર્ય માટે મેમરી સ્ટોરેજ ક્ષમતા લક્ષણ ચેતાકોષોની સંખ્યામાં ઘાતાંકીય છે. સતત ચલ આધુનિક હોપફિલ્ડ નેટવર્ક અથવા ગાઢ સહયોગી મેમરી સતત ચલ અને સતત સમયમાં શ્રેષ્ઠ રીતે સમજી શકાય છે. Fig.1 માં દર્શાવેલ નેટવર્ક આર્કિટેક્ચર અને ચેતાકોષોની સ્થિતિ ઉત્ક્રાંતિ માટેના સમીકરણોને ધ્યાનમાં લો, જ્યાં લક્ષણ ચેતાકોષોના પ્રવાહો દ્વારા સૂચવવામાં આવે છે, અને મેમરી ચેતાકોષોના પ્રવાહો દ્વારા સૂચવવામાં આવે છે (છુપાયેલા ચેતાકોષો માટે વપરાય છે). લક્ષણ ચેતાકોષો અથવા સ્મૃતિ ચેતાકોષો વચ્ચે કોઈ સિનેપ્ટિક જોડાણો નથી. મેટ્રિક્સ લક્ષણ ચેતાકોષથી મેમરી ચેતાકોષ સુધીના ચેતાકોષોની તાકાત સૂચવે છે. સિનેપ્સ સમપ્રમાણ હોવાનું માનવામાં આવે છે, જેથી સમાન મૂલ્ય મેમરી ચેતાકોષથી લક્ષણ ચેતાકોષમાં અલગ ભૌતિક સિનેપ્સને લાક્ષણિકતા આપે છે. મેમરી ચેતાકોષો અને લક્ષણ ચેતાકોષોના આઉટપુટને અને દ્વારા સૂચવવામાં આવે છે, જે અનુરૂપ પ્રવાહોના બિન-રેખીય કાર્યો છે. સામાન્ય રીતે આ આઉટપુટ તે સ્તરના તમામ ચેતાકોષોના પ્રવાહો પર આધાર રાખી શકે છે જેથી અને. આ સક્રિયકરણ કાર્યને ચેતાકોષોના બે જૂથો માટે લાગ્રેન્જિયન કાર્યોના વ્યુત્પન્ન તરીકે વ્યાખ્યાયિત કરવું અનુકૂળ છે. આ રીતે એકવાર લાગ્રેન્જિયન કાર્યોને નિર્દિષ્ટ કરવામાં આવે તે પછી ચેતાકોષની સ્થિતિ માટેના સમીકરણોનું ચોક્કસ સ્વરૂપ સંપૂર્ણપણે વ્યાખ્યાયિત થાય છે. છેવટે, ચેતાકોષોના બે જૂથો માટેના સમય સ્થિરાંકોને અને દ્વારા સૂચવવામાં આવે છે, તે નેટવર્કનો ઇનપુટ પ્રવાહ છે જે પ્રસ્તુત ડેટા દ્વારા સંચાલિત થઈ શકે છે. બિન-રેખીય વિભેદક સમીકરણોની સામાન્ય પ્રણાલીઓમાં ઘણી જટિલ વર્તણૂકો હોઈ શકે છે જે બિન-રેખીયતાની પસંદગી અને પ્રારંભિક શરતો પર આધારિત હોઈ શકે છે. હોપફિલ્ડ નેટવર્ક માટે, જોકે, આ કિસ્સો નથી-ગતિશીલ માર્ગ હંમેશા નિશ્ચિત બિંદુ આકર્ષક સ્થિતિમાં ભેગા થાય છે. આ ગુણધર્મ પ્રાપ્ત થાય છે કારણ કે આ સમીકરણો ખાસ કરીને એન્જિનિયર્ડ કરવામાં આવે છે જેથી તેઓ અંતર્ગત ઊર્જા કાર્ય ધરાવે ચોરસ કૌંસમાં જૂથબદ્ધ શબ્દો ચેતાકોષોની સ્થિતિના સંદર્ભમાં લેગ્રેન્જિયન કાર્યના લિજેન્ડ્રે પરિવર્તનને રજૂ કરે છે. જો લેગ્રેન્જિયન વિધેયોના હેસિયન મેટ્રિસીસ હકારાત્મક અર્ધ-નિશ્ચિત હોય, તો ગતિશીલ માર્ગ પર ઊર્જા કાર્યમાં ઘટાડો થવાની ખાતરી આપવામાં આવે છે આ ગુણધર્મ એ સાબિત કરવાનું શક્ય બનાવે છે કે ચેતાકોષોની પ્રવૃત્તિઓના અસ્થાયી ઉત્ક્રાંતિનું વર્ણન કરતી ગતિશીલ સમીકરણોની પ્રણાલી આખરે એક નિશ્ચિત બિંદુ આકર્ષક સ્થિતિ સુધી પહોંચશે. અમુક પરિસ્થિતિઓમાં કોઈ એવું માની શકે છે કે છુપાયેલા ચેતાકોષોની ગતિશીલતા લક્ષણ ચેતાકોષોની તુલનામાં વધુ ઝડપી સમય સ્કેલ પર સંતુલિત થાય છે. આ કિસ્સામાં પ્રણાલીમાં બીજા સમીકરણ () ના સ્થિર સ્થિતિ ઉકેલનો ઉપયોગ લક્ષણ ચેતાકોષોના આઉટપુટ દ્વારા છુપાયેલા એકમોના પ્રવાહને વ્યક્ત કરવા માટે થઈ શકે છે. આનાથી સામાન્ય સિદ્ધાંત () ને માત્ર લક્ષણ ચેતાકોષો માટે અસરકારક સિદ્ધાંતમાં ઘટાડવાનું શક્ય બને છે. પરિણામી અસરકારક સુધારા નિયમો અને લગ્રેન્જિયન વિધેયોની વિવિધ સામાન્ય પસંદગીઓ માટેની ઊર્જા Fig.2 માં દર્શાવવામાં આવી છે. લોગ-સમ-એક્સ્પોનેન્શિયલ લેગ્રેન્જિયન ફંક્શનના કિસ્સામાં લક્ષણ ચેતાકોષોની સ્થિતિ માટે અપડેટ નિયમ (જો એકવાર લાગુ કરવામાં આવે તો) એ ઘણી આધુનિક AI સિસ્ટમોમાં સામાન્ય રીતે ઉપયોગમાં લેવાતી ધ્યાન પદ્ધતિ છે (સંદર્ભ જુઓ. સતત સમય રચનામાંથી આ પરિણામની વ્યુત્પત્તિ માટે). સતત ચલો સાથે શાસ્ત્રીય હોપફિલ્ડ નેટવર્ક સાથેના સંબંધ સતત હોપફિલ્ડ નેટવર્કની શાસ્ત્રીય રચનાને એક છુપાયેલા સ્તર સાથે આધુનિક હોપફિલ્ડ નેટવર્કના વિશેષ મર્યાદિત કેસ તરીકે સમજી શકાય છે. ક્રમિક પ્રતિભાવ ધરાવતા ચેતાકોષો માટે સતત હોપફિલ્ડ નેટવર્ક્સ સામાન્ય રીતે ગતિશીલ સમીકરણો અને ઊર્જા કાર્ય દ્વારા વર્ણવવામાં આવે છે જ્યાં, અને તે સક્રિયકરણ કાર્યનું વ્યસ્ત છે. આ મોડેલ એ મોડેલોના વર્ગની એક વિશેષ મર્યાદા છે જેને મોડેલ એ કહેવામાં આવે છે, જેમાં લેગ્રેન્જિયન વિધેયોની નીચેની પસંદગી છે, જે વ્યાખ્યા () અનુસાર, સક્રિયકરણ કાર્યો તરફ દોરી જાય છે. સમીકરણ () માં તે લક્ષણ ચેતાકોષો માટે લેગ્રેન્જિયનનું લિજેન્ડ્રે રૂપાંતર છે, જ્યારે () માં ત્રીજું પદ વ્યસ્ત સક્રિયકરણ કાર્યનું અભિન્ન અંગ છે. તેમ છતાં, આ બે સમીકરણો હકીકતમાં સમકક્ષ છે, કારણ કે કાર્યના વ્યુત્પન્ન અને તેના લિજેન્ડર ટ્રાન્સફોર્મ એકબીજાના વ્યસ્ત કાર્યો છે. આ બે શબ્દો સ્પષ્ટ રીતે સમાન છે તે જોવાની સૌથી સરળ રીત એ છે કે દરેકને તેના સંદર્ભમાં અલગ પાડવું. બંને અભિવ્યક્તિઓ માટે આ તફાવતના પરિણામો સમાન છે. આમ, બે સમીકરણો એક એડિટિવ કોન્સ્ટન્ટ સુધી સમાન છે. આ એ સાબિતીને પૂર્ણ કરે છે કે સતત સ્થિતિઓ સાથેનું શાસ્ત્રીય હોપફિલ્ડ નેટવર્ક એ ઊર્જા () સાથે આધુનિક હોપફિલ્ડ નેટવર્ક () નો એક વિશેષ મર્યાદિત કેસ છે. આધુનિક હોપફિલ્ડ નેટવર્કની સામાન્ય રચના બાયોલોજિકલ ન્યુરલ નેટવર્કમાં વિવિધ કોષ પ્રકારોની દ્રષ્ટિએ મોટી માત્રામાં વિજાતીયતા છે. આ વિભાગ સંપૂર્ણ રીતે જોડાયેલા આધુનિક હોપફિલ્ડ નેટવર્કના ગાણિતિક મોડેલનું વર્ણન કરે છે જે આત્યંતિક માત્રામાં વિજાતીયતા ધારણ કરે છેઃ દરેક એક ચેતાકોષ અલગ હોય છે. ખાસ કરીને, ઊર્જા કાર્ય અને અનુરૂપ ગતિશીલ સમીકરણોને એમ ધારીને વર્ણવવામાં આવે છે કે દરેક ચેતાકોષનું પોતાનું સક્રિયકરણ કાર્ય અને ગતિશીલ સમય સ્કેલ હોય છે. નેટવર્ક સંપૂર્ણપણે જોડાયેલું હોવાનું માનવામાં આવે છે, જેથી દરેક ચેતાકોષ વજન, સૂચકાંકોના સપ્રમાણ મેટ્રિક્સનો ઉપયોગ કરીને દરેક અન્ય ચેતાકોષ સાથે જોડાયેલ હોય અને નેટવર્કમાં વિવિધ ચેતાકોષોની ગણતરી કરે, જુઓ Fig.3. આ સમસ્યાને ગાણિતિક રીતે ઘડવાની સૌથી સરળ રીત એ છે કે માળખાને લેગ્રેન્જિયન કાર્ય દ્વારા વ્યાખ્યાયિત કરવી જે નેટવર્કમાં તમામ ચેતાકોષોની પ્રવૃત્તિઓ પર આધારિત છે. દરેક ચેતાકોષ માટે સક્રિયકરણ કાર્યને તે ચેતાકોષની પ્રવૃત્તિના સંદર્ભમાં લેગ્રેન્જિયનના આંશિક વ્યુત્પન્ન તરીકે વ્યાખ્યાયિત કરવામાં આવે છે. સૌથી સરળ કિસ્સામાં, જ્યારે લગ્રેન્જિયન વિવિધ ચેતાકોષો માટે એડિટિવ હોય છે, ત્યારે આ વ્યાખ્યા સક્રિયકરણમાં પરિણમે છે જે તે ચેતાકોષની પ્રવૃત્તિનું બિન-રેખીય કાર્ય છે. બિન-એડિટિવ લેગ્રેન્જિયનો માટે આ સક્રિયકરણ કાર્ય ચેતાકોષોના જૂથની પ્રવૃત્તિઓ પર આધારિત હોઈ શકે છે. દાખલા તરીકે, તેમાં વિરોધાભાસી (સોફ્ટમેક્સ) અથવા વિભાજનકારી સામાન્યીકરણ હોઈ શકે છે. આપેલ ચેતાકોષની અસ્થાયી ઉત્ક્રાંતિનું વર્ણન કરતા ગતિશીલ સમીકરણો દ્વારા આપવામાં આવે છે આ સમીકરણ ન્યુરોસાયન્સમાં ફાયરિંગ રેટ મોડલ તરીકે ઓળખાતા મોડેલોના વર્ગને અનુસરે છે. દરેક ચેતાકોષ તમામ ચેતાકોષોમાંથી અક્ષતંતુ આઉટપુટ એકત્રિત કરે છે, તેમને સિનેપ્ટિક ગુણાંક સાથે વજન આપે છે અને તેની પોતાની સમય-આધારિત પ્રવૃત્તિ ઉત્પન્ન કરે છે. અસ્થાયી ઉત્ક્રાંતિમાં સમય અચળાંક હોય છે, જે સામાન્ય રીતે દરેક ચેતાકોષ માટે અલગ હોઈ શકે છે. આ નેટવર્ક વૈશ્વિક ઊર્જા કાર્ય ધરાવે છે જ્યાં પ્રથમ બે શબ્દો ચેતાકોષોના પ્રવાહોના સંદર્ભમાં લેગ્રેન્જિયન કાર્યના લિજેન્ડર ટ્રાન્સફોર્મનું પ્રતિનિધિત્વ કરે છે. આ ઊર્જા કાર્યના અસ્થાયી વ્યુત્પન્નની ગણતરી (વિગતો માટે જુઓ) તરફ દોરી જતા ગતિશીલ માર્ગો પર કરી શકાય છે. છેલ્લી અસમાનતા નિશાની એવી છે કે જો મેટ્રિક્સ (અથવા તેનો સપ્રમાણ ભાગ) હકારાત્મક અર્ધ-નિશ્ચિત હોય. જો, આ ઉપરાંત, ઊર્જા કાર્ય નીચેથી બંધાયેલ હોય તો બિન-રેખીય ગતિશીલ સમીકરણો નિશ્ચિત બિંદુ આકર્ષણ સ્થિતિમાં ભેગા થવાની ખાતરી આપે છે. લાગ્રેન્જિયન કાર્યોની દ્રષ્ટિએ આ નેટવર્કને ઘડવાનો ફાયદો એ છે કે તે સક્રિયકરણ કાર્યોની વિવિધ પસંદગીઓ અને ચેતાકોષોની વિવિધ સ્થાપત્ય વ્યવસ્થાઓ સાથે સરળતાથી પ્રયોગ કરવાનું શક્ય બનાવે છે. તે તમામ લવચીક પસંદગીઓ માટે કન્વર્જન્સની શરતો મેટ્રિક્સના ગુણધર્મો અને ઊર્જા કાર્ય પર નીચલા બાઉન્ડના અસ્તિત્વ દ્વારા નક્કી કરવામાં આવે છે. શ્રેણીબદ્ધ સહયોગી મેમરી નેટવર્ક ચેતાકોષોને સ્તરોમાં ગોઠવી શકાય છે જેથી આપેલ સ્તરમાં દરેક ચેતાકોષ સમાન સક્રિયકરણ કાર્ય અને સમાન ગતિશીલ સમય સ્કેલ ધરાવે. જો આપણે ધારીએ કે સ્તર (બાજુના જોડાણો) ની અંદર ચેતાકોષો વચ્ચે કોઈ આડી જોડાણો નથી અને ત્યાં કોઈ સ્કિપ-લેયર જોડાણો નથી, તો સામાન્ય રીતે સંપૂર્ણપણે જોડાયેલ નેટવર્ક (), () Fig.4 માં દર્શાવેલ માળખામાં ઘટાડો કરે છે. તેમાં સતત ચલ અને સક્રિયકરણ કાર્યો દ્વારા વર્ણવેલ સ્થિતિઓ સાથે વારંવાર જોડાયેલા ચેતાકોષોના સ્તરો હોય છે, અનુક્રમણિકા નેટવર્કના સ્તરોની ગણતરી કરે છે, અને અનુક્રમણિકા તે સ્તરમાં વ્યક્તિગત ચેતાકોષોની ગણતરી કરે છે. સક્રિયકરણ કાર્યો સ્તરમાં તમામ ચેતાકોષોની પ્રવૃત્તિઓ પર આધારિત હોઈ શકે છે. દરેક સ્તરમાં જુદી જુદી સંખ્યામાં ચેતાકોષો હોઈ શકે છે. આ ચેતાકોષો અગાઉના અને પછીના સ્તરોમાં ચેતાકોષો સાથે વારંવાર જોડાયેલા હોય છે. વજનના મેટ્રિક્સ કે જે સ્તરોમાં ચેતાકોષોને જોડે છે અને તેના દ્વારા સૂચવવામાં આવે છે (વજન માટેના ઉપલા સૂચકાંકોનો ક્રમ નીચલા સૂચકાંકોના ક્રમ જેટલો જ છે, ઉપરના ઉદાહરણમાં આનો અર્થ એ છે કે સૂચકાંક સ્તરમાં ચેતાકોષોની ગણતરી કરે છે, અને સૂચકાંક સ્તરમાં ચેતાકોષોની ગણતરી કરે છે). ફીડફોર્વર્ડ વજન અને પ્રતિસાદ વજન સમાન છે. ચેતાકોષોની સ્થિતિઓ માટેના ગતિશીલ સમીકરણોને સીમા શરતોની જેમ લખી શકાય છે પરંપરાગત ફીડફોરવર્ડ નેટવર્કથી આ સમીકરણોમાં મુખ્ય તફાવત એ બીજા પદની હાજરી છે, જે ઉચ્ચ સ્તરોમાંથી પ્રતિસાદ માટે જવાબદાર છે. આ ટોપ-ડાઉન સંકેતો નીચલા સ્તરોમાં ચેતાકોષોને પ્રસ્તુત ઉત્તેજના પ્રત્યે તેમની પ્રતિક્રિયા નક્કી કરવામાં મદદ કરે છે. સામાન્ય રેસીપીને અનુસરીને-th છુપાયેલા સ્તર માટે લેગ્રેન્જિયન કાર્ય રજૂ કરવું અનુકૂળ છે, જે તે સ્તરમાં તમામ ચેતાકોષોની પ્રવૃત્તિઓ પર આધાર રાખે છે. તે સ્તરમાં સક્રિયકરણ કાર્યોને લગ્રેન્જિયનના આંશિક વ્યુત્પન્ન તરીકે વ્યાખ્યાયિત કરી શકાય છે આ વ્યાખ્યાઓ સાથે ઊર્જા (લિયાપુનોવ) કાર્ય દ્વારા આપવામાં આવે છે જો લગ્રેન્જિયન કાર્યો, અથવા સમકક્ષ સક્રિયકરણ કાર્યો, એવી રીતે પસંદ કરવામાં આવે છે કે દરેક સ્તર માટે હેસિયન હકારાત્મક અર્ધ-નિશ્ચિત હોય અને એકંદર ઊર્જા નીચેથી બંધાયેલ હોય, તો આ પ્રણાલી નિશ્ચિત બિંદુ આકર્ષણ સ્થિતિમાં એકરૂપ થવાની ખાતરી આપે છે. આ ઊર્જા કાર્યનું અસ્થાયી વ્યુત્પન્ન આના દ્વારા આપવામાં આવે છે આમ, અધિક્રમિક સ્તરનું નેટવર્ક ખરેખર વૈશ્વિક ઊર્જા કાર્ય સાથે એક આકર્ષક નેટવર્ક છે. આ નેટવર્કને સિનેપ્ટિક વજનના અધિક્રમિક સમૂહ દ્વારા વર્ણવવામાં આવે છે જે દરેક ચોક્કસ સમસ્યા માટે શીખી શકાય છે. સંદર્ભો ન્યુરલ નેટવર્ક્સ