Modern Hopfield network
आधुनिक हॉपफील्ड नेटवर्क (जिसे घने सहयोगी यादों के रूप में भी जाना जाता है) शास्त्रीय हॉपफील्ड नेटवर्क के सामान्यीकरण हैं जो इनपुट सुविधाओं की संख्या और संग्रहीत यादों की संख्या के बीच रैखिक स्केलिंग संबंध को तोड़ते हैं। यह मजबूत गैर-रैखिकताओं (या तो ऊर्जा कार्य या न्यूरॉन्स के सक्रियण कार्यों में) को पेश करके प्राप्त किया जाता है जिससे विशेषता न्यूरॉन्स की संख्या के एक कार्य के रूप में अति-रैखिक (यहां तक कि एक घातीय) स्मृति भंडारण क्षमता हो जाती है। नेटवर्क को अभी भी पर्याप्त संख्या में छिपे हुए न्यूरॉन्स की आवश्यकता होती है। आधुनिक हॉपफील्ड नेटवर्क के पीछे प्रमुख सैद्धांतिक विचार एक ऊर्जा कार्य और एक अद्यतन नियम का उपयोग करना है जो शास्त्रीय हॉपफील्ड नेटवर्क की तुलना में न्यूरॉन के विन्यास के स्थान में संग्रहीत यादों के आसपास अधिक तेजी से चरम पर है। शास्त्रीय हॉपफील्ड नेटवर्क हॉपफील्ड नेटवर्क गतिशील प्रक्षेपवक्र के साथ आवर्ती तंत्रिका नेटवर्क हैं जो निश्चित बिंदु आकर्षक अवस्थाओं में परिवर्तित होते हैं और एक ऊर्जा कार्य द्वारा वर्णित होते हैं। प्रत्येक मॉडल न्यूरॉन की स्थिति को एक समय-निर्भर चर द्वारा परिभाषित किया जाता है, जिसे या तो असतत या निरंतर होने के लिए चुना जा सकता है। एक पूर्ण मॉडल इस गणित का वर्णन करता है कि कैसे प्रत्येक न्यूरॉन की गतिविधि की भविष्य की स्थिति सभी न्यूरॉन्स की ज्ञात वर्तमान या पिछली गतिविधि पर निर्भर करती है। सहयोगी स्मृति के मूल होपफील्ड मॉडल में, चर द्विआधारी थे, और गतिशीलता को न्यूरॉन्स की स्थिति के एक-पर-एक-समय अद्यतन द्वारा वर्णित किया गया था। में एक ऊर्जा फलन द्विघात को परिभाषित किया गया था, और गतिशीलता में प्रत्येक एकल न्यूरॉन की गतिविधि को केवल तभी बदलना शामिल था जब ऐसा करने से प्रणाली की कुल ऊर्जा कम हो जाएगी। इसी विचार को न्यूरॉन के उत्पादन का प्रतिनिधित्व करने वाले एक निरंतर चर होने और एक इनपुट धारा के एक एकरस कार्य होने के मामले में विस्तारित किया गया था। गतिकी प्रथम-क्रम अवकल समीकरणों के एक समूह के रूप में व्यक्त की गई जिसके लिए प्रणाली की "ऊर्जा" हमेशा कम होती है। निरंतर मामले में ऊर्जा का एक पद होता है जो (द्विआधारी मॉडल की तरह) में द्विघात होता है, और दूसरा पद जो लाभ कार्य (न्यूरॉन के सक्रियण कार्य) पर निर्भर करता है। सहयोगी स्मृति के कई वांछनीय गुण होने के बावजूद, ये दोनों शास्त्रीय प्रणालियाँ एक छोटी स्मृति भंडारण क्षमता से पीड़ित हैं, जो इनपुट सुविधाओं की संख्या के साथ रैखिक रूप से मापती है। विविक्त चर आधुनिक हॉपफील्ड नेटवर्क का एक सरल उदाहरण द्विआधारी चर के संदर्भ में लिखा जा सकता है जो मॉडल न्यूरॉन की सक्रिय और निष्क्रिय स्थिति का प्रतिनिधित्व करते हैं। इस सूत्र में भार स्मृति वैक्टर के मैट्रिक्स का प्रतिनिधित्व करते हैं (सूचकांक विभिन्न यादों की गणना करता है, और सूचकांक-th विशेषता न्यूरॉन के अनुरूप प्रत्येक स्मृति की सामग्री की गणना करता है), और कार्य एक तेजी से बढ़ता हुआ गैर-रैखिक कार्य है। अलग-अलग न्यूरॉन्स (अतुल्यकालिक मामले में) के लिए अद्यतन नियम को निम्नलिखित रूप में लिखा जा सकता है जिसमें कहा गया है कि-th न्यूरॉन की अद्यतन स्थिति की गणना करने के लिए नेटवर्क दो ऊर्जाओं की तुलना करता हैः चालू अवस्था में-th न्यूरॉन के साथ नेटवर्क की ऊर्जा और शेष न्यूरॉन की स्थितियों को देखते हुए बंद अवस्था में-th न्यूरॉन के साथ नेटवर्क की ऊर्जा। - th न्यूरॉन की अद्यतन स्थिति उस स्थिति का चयन करती है जिसमें दो ऊर्जाओं में से सबसे कम ऊर्जा होती है। सीमित मामले में जब गैर-रैखिक ऊर्जा फलन द्विघात होता है तो ये समीकरण परिचित ऊर्जा फलन और शास्त्रीय द्विआधारी हॉपफील्ड नेटवर्क के लिए अद्यतन नियम तक कम हो जाते हैं। इन नेटवर्कों की स्मृति भंडारण क्षमता की गणना यादृच्छिक द्विआधारी पैटर्न के लिए की जा सकती है। विद्युत ऊर्जा फलन के लिए स्मृतियों की अधिकतम संख्या जिसे बिना त्रुटियों के इस नेटवर्क से संग्रहीत और पुनर्प्राप्त किया जा सकता है, द्वारा दी गई है। एक घातीय ऊर्जा फलन के लिए स्मृति भंडारण क्षमता विशेषता न्यूरॉन्स की संख्या में घातीय है निरंतर चर आधुनिक हॉपफील्ड नेटवर्क या घने सहयोगी स्मृतियों को निरंतर चर और निरंतर समय में सबसे अच्छी तरह से समझा जा सकता है। नेटवर्क वास्तुकला पर विचार करें, जो Fig.1 में दिखाया गया है, और न्यूरॉन्स की स्थिति के विकास के लिए समीकरण जहां विशेषता न्यूरॉन्स की धाराओं को दर्शाया जाता है, और स्मृति न्यूरॉन्स की धाराओं को (छिपे हुए न्यूरॉन्स के लिए खड़ा है) द्वारा दर्शाया जाता है। फीचर न्यूरॉन्स या मेमोरी न्यूरॉन्स के बीच कोई सिनैप्टिक कनेक्शन नहीं हैं। एक मैट्रिक्स एक विशेषता न्यूरॉन से स्मृति न्यूरॉन तक सिनेप्स की ताकत को दर्शाता है। सिनेप्स को सममित माना जाता है, ताकि एक ही मान मेमोरी न्यूरॉन से फीचर न्यूरॉन तक एक अलग भौतिक सिनेप्स की विशेषता हो। स्मृति न्यूरॉन्स और विशेषता न्यूरॉन्स के आउटपुट को और द्वारा दर्शाया जाता है, जो संबंधित धाराओं के गैर-रैखिक कार्य हैं। सामान्य तौर पर ये आउटपुट उस परत में सभी न्यूरॉन्स की धाराओं पर निर्भर कर सकते हैं ताकि और। न्यूरॉन्स के दो समूहों के लिए लैग्रैन्जियन कार्यों के व्युत्पन्न के रूप में इन सक्रियण कार्य को परिभाषित करना सुविधाजनक हैइस तरह से लैग्रैन्जियन कार्यों को निर्दिष्ट करने के बाद न्यूरॉन की स्थितियों के लिए समीकरणों के विशिष्ट रूप को पूरी तरह से परिभाषित किया जाता है। अंत में, न्यूरॉन्स के दो समूहों के लिए समय स्थिरांक को और द्वारा दर्शाया जाता है, जो नेटवर्क के लिए इनपुट करंट है जिसे प्रस्तुत डेटा द्वारा संचालित किया जा सकता है। गैर-रैखिक विभेदक समीकरणों की सामान्य प्रणालियों में कई जटिल व्यवहार हो सकते हैं जो गैर-रैखिकताओं और प्रारंभिक स्थितियों के चयन पर निर्भर कर सकते हैं। हॉपफील्ड नेटवर्क के लिए, हालांकि, ऐसा नहीं है-गतिशील प्रक्षेपवक्र हमेशा एक निश्चित बिंदु आकर्षक स्थिति में परिवर्तित होते हैं। यह गुण प्राप्त किया जाता है क्योंकि ये समीकरण विशेष रूप से इंजीनियर होते हैं ताकि उनका एक अंतर्निहित ऊर्जा कार्य हो वर्ग कोष्ठक में समूहीकृत शब्द न्यूरॉन्स की स्थितियों के संबंध में लैग्रैन्जियन कार्य के एक लीजेंड्रे परिवर्तन का प्रतिनिधित्व करते हैं। यदि लैग्रैन्जियन कार्यों के हेसियन मैट्रिक्स सकारात्मक अर्ध-निश्चित हैं, तो ऊर्जा कार्य गतिशील प्रक्षेपवक्र पर कम होने की गारंटी है यह गुण यह साबित करना संभव बनाता है कि न्यूरॉन्स की गतिविधियों के अस्थायी विकास का वर्णन करने वाले गतिशील समीकरणों की प्रणाली अंततः एक निश्चित बिंदु आकर्षक स्थिति तक पहुंच जाएगी। कुछ स्थितियों में कोई यह मान सकता है कि छिपे हुए न्यूरॉन्स की गतिशीलता विशेषता न्यूरॉन्स की तुलना में बहुत तेज समय पैमाने पर संतुलित होती है। इस मामले में प्रणाली में दूसरे समीकरण () के स्थिर अवस्था समाधान का उपयोग विशेषता न्यूरॉन्स के आउटपुट के माध्यम से छिपी हुई इकाइयों की धाराओं को व्यक्त करने के लिए किया जा सकता है। इससे सामान्य सिद्धांत () को केवल फीचर न्यूरॉन्स के लिए एक प्रभावी सिद्धांत तक कम करना संभव हो जाता है। परिणामस्वरूप प्रभावी अद्यतन नियम और लैग्रैन्जियन कार्यों के विभिन्न सामान्य विकल्पों के लिए ऊर्जा Fig.2 में दिखाई गई है। लॉग-सम-एक्सपोनेंशियल लैग्रैन्जियन फंक्शन के मामले में फीचर न्यूरॉन्स की अवस्थाओं के लिए अद्यतन नियम (यदि एक बार लागू किया जाता है) आमतौर पर कई आधुनिक एआई प्रणालियों में उपयोग किया जाने वाला ध्यान तंत्र है (संदर्भ देखें। निरंतर समय निर्माण से इस परिणाम की व्युत्पत्ति के लिए)। निरंतर चर के साथ शास्त्रीय हॉपफील्ड नेटवर्क के साथ संबंध निरंतर हॉपफील्ड नेटवर्क के शास्त्रीय निर्माण को एक छिपी हुई परत के साथ आधुनिक हॉपफील्ड नेटवर्क के एक विशेष सीमित मामले के रूप में समझा जा सकता है। क्रमिक प्रतिक्रिया वाले न्यूरॉन्स के लिए निरंतर हॉपफील्ड नेटवर्क को आम तौर पर गतिशील समीकरणों और ऊर्जा कार्य द्वारा वर्णित किया जाता है जहां, और सक्रियण कार्य का व्युत्क्रम है। यह मॉडल मॉडलों के वर्ग की एक विशेष सीमा है जिसे मॉडल ए कहा जाता है, जिसमें लैग्रैन्जियन कार्यों के निम्नलिखित विकल्प हैं, जो परिभाषा () के अनुसार, सक्रियण कार्यों की ओर ले जाते हैं यदि हम छिपे हुए न्यूरॉन्स को एकीकृत करते हैं तो समीकरणों की प्रणाली () फीचर न्यूरॉन्स () के साथ समीकरणों तक कम हो जाती है, और ऊर्जा () के लिए सामान्य अभिव्यक्ति प्रभावी ऊर्जा तक कम हो जाती है जबकि समीकरण () में पहले दो शब्द समीकरण () के समान हैं, तीसरे शब्द सतही रूप से अलग दिखते हैं। समीकरण () में यह विशेषता न्यूरॉन्स के लिए लैग्रैन्जियन का एक लीजेंड्रे परिवर्तन है, जबकि () में तीसरा पद व्युत्क्रम सक्रियण कार्य का एक अभिन्न अंग है। फिर भी, ये दोनों अभिव्यक्तियाँ वास्तव में समतुल्य हैं, क्योंकि किसी फलन के व्युत्पन्न और उसके लीजेंड्रे परिवर्तन एक दूसरे के व्युत्क्रम फलन हैं। यह देखने का सबसे आसान तरीका है कि ये दोनों शब्द स्पष्ट रूप से समान हैं, प्रत्येक के संबंध में अंतर करना है। दोनों अभिव्यक्तियों के लिए इन अंतरों के परिणाम समान हैं। इस प्रकार, दोनों अभिव्यक्तियाँ एक योगात्मक स्थिरांक के बराबर हैं। यह इस प्रमाण को पूरा करता है कि निरंतर अवस्थाओं के साथ शास्त्रीय हॉपफील्ड नेटवर्क ऊर्जा () के साथ आधुनिक हॉपफील्ड नेटवर्क () का एक विशेष सीमित मामला है। आधुनिक हॉपफील्ड नेटवर्क के सामान्य निर्माण जैविक तंत्रिका नेटवर्क में विभिन्न प्रकार की कोशिकाओं के संदर्भ में बड़ी मात्रा में विषमता है। यह खंड विषमता की चरम डिग्री मानते हुए पूरी तरह से जुड़े आधुनिक हॉपफील्ड नेटवर्क के गणितीय मॉडल का वर्णन करता हैः हर एक न्यूरॉन अलग है। विशेष रूप से, एक ऊर्जा कार्य और संबंधित गतिशील समीकरणों को यह मानते हुए वर्णित किया जाता है कि प्रत्येक न्यूरॉन का अपना सक्रियण कार्य और गतिज समय पैमाना होता है। नेटवर्क को पूरी तरह से जुड़ा हुआ माना जाता है, ताकि प्रत्येक न्यूरॉन वजन, सूचकांकों के सममित मैट्रिक्स का उपयोग करके हर दूसरे न्यूरॉन से जुड़ा हो और नेटवर्क में विभिन्न न्यूरॉन्स की गणना करें, देखें Fig.3। गणितीय रूप से इस समस्या को तैयार करने का सबसे आसान तरीका एक लैग्रैन्जियन फ़ंक्शन के माध्यम से वास्तुकला को परिभाषित करना है जो नेटवर्क में सभी न्यूरॉन्स की गतिविधियों पर निर्भर करता है। प्रत्येक न्यूरॉन के लिए सक्रियण कार्य को उस न्यूरॉन की गतिविधि के संबंध में लैग्रैन्जियन के आंशिक व्युत्पन्न के रूप में परिभाषित किया गया है। सबसे सरल मामले में, जब लैग्रैन्जियन विभिन्न न्यूरॉन्स के लिए योगात्मक होता है, तो इस परिभाषा के परिणामस्वरूप सक्रियण होता है जो उस न्यूरॉन की गतिविधि का एक गैर-रैखिक कार्य है। गैर-योजक लैग्रेन्जियन के लिए यह सक्रियण कार्य न्यूरॉन्स के एक समूह की गतिविधियों पर निर्भर कर सकता है। उदाहरण के लिए, इसमें कंट्रास्टिव (सॉफ्टमैक्स) या विभाजनकारी सामान्यीकरण हो सकता है। किसी दिए गए न्यूरॉन के अस्थायी विकास का वर्णन करने वाले गतिशील समीकरण इस प्रकार दिए गए हैं यह समीकरण तंत्रिका विज्ञान में फायरिंग रेट मॉडल नामक मॉडल के वर्ग से संबंधित है। प्रत्येक न्यूरॉन सभी न्यूरॉन्स से अक्षतंतु आउटपुट एकत्र करता है, उन्हें सिनेप्टिक गुणांक के साथ भारित करता है और अपनी समय-निर्भर गतिविधि का उत्पादन करता है। लौकिक विकास में एक समय स्थिरांक होता है, जो सामान्य रूप से प्रत्येक न्यूरॉन के लिए अलग-अलग हो सकता है। इस नेटवर्क में एक वैश्विक ऊर्जा कार्य है जहां पहले दो शब्द न्यूरॉन्स की धाराओं के संबंध में लैग्रैन्जियन कार्य के लीजेंड्रे परिवर्तन का प्रतिनिधित्व करते हैं। इस ऊर्जा फलन के अस्थायी व्युत्पन्न की गणना गतिशील प्रक्षेपवक्रों पर की जा सकती है (विवरण के लिए देखें) अंतिम असमानता संकेत यह मानता है कि मैट्रिक्स (या इसका सममित भाग) सकारात्मक अर्ध-निश्चित है। यदि, इसके अलावा, ऊर्जा फलन नीचे से घिरा हुआ है, तो गैर-रैखिक गतिशील समीकरणों को एक निश्चित बिंदु आकर्षण अवस्था में अभिसरण करने की गारंटी है। लैग्रैन्जियन कार्यों के संदर्भ में इस नेटवर्क को तैयार करने का लाभ यह है कि यह सक्रियण कार्यों के विभिन्न विकल्पों और न्यूरॉन्स की विभिन्न वास्तुशिल्प व्यवस्थाओं के साथ आसानी से प्रयोग करना संभव बनाता है। उन सभी लचीले विकल्पों के लिए अभिसरण की शर्तें मैट्रिक्स के गुणों और ऊर्जा फलन पर निचली सीमा के अस्तित्व द्वारा निर्धारित की जाती हैं। पदानुक्रमित सहयोगी स्मृति नेटवर्क न्यूरॉन्स को परतों में व्यवस्थित किया जा सकता है ताकि किसी दिए गए परत में प्रत्येक न्यूरॉन का समान सक्रियण कार्य और समान गतिशील समय पैमाना हो। यदि हम यह मान लेते हैं कि परत (पार्श्व कनेक्शन) के भीतर न्यूरॉन्स के बीच कोई क्षैतिज कनेक्शन नहीं हैं और कोई स्किप-लेयर कनेक्शन नहीं हैं, तो सामान्य रूप से पूरी तरह से जुड़ा हुआ नेटवर्क (), () Fig.4 में दिखाए गए आर्किटेक्चर में कम हो जाता है। इसमें निरंतर चर और सक्रियण कार्यों द्वारा वर्णित अवस्थाओं के साथ बार-बार जुड़े न्यूरॉन्स की परतें होती हैं, सूचकांक नेटवर्क की परतों की गणना करता है, और सूचकांक उस परत में अलग-अलग न्यूरॉन्स की गणना करता है। सक्रियण कार्य परत में सभी न्यूरॉन्स की गतिविधियों पर निर्भर कर सकते हैं। प्रत्येक परत में न्यूरॉन्स की एक अलग संख्या हो सकती है। ये न्यूरॉन्स पूर्ववर्ती और बाद की परतों में न्यूरॉन्स के साथ बार-बार जुड़े होते हैं। भार के मैट्रिक्स जो परतों में न्यूरॉन्स को जोड़ते हैं और उनके द्वारा दर्शाए जाते हैं (भार के लिए ऊपरी सूचकांकों का क्रम निचले सूचकांकों के क्रम के समान है, इसके ऊपर के उदाहरण में इसका मतलब है कि सूचकांक परत में न्यूरॉन्स की गणना करता है, और सूचकांक परत में न्यूरॉन्स की गणना करता है)। फीडफॉरवर्ड भार और फीडबैक भार बराबर हैं। न्यूरॉन्स की अवस्थाओं के लिए गतिशील समीकरणों को सीमा स्थितियों के साथ लिखा जा सकता है पारंपरिक फीडफॉरवर्ड नेटवर्क से इन समीकरणों का मुख्य अंतर दूसरे पद की उपस्थिति है, जो उच्च परतों से प्रतिक्रिया के लिए जिम्मेदार है। ये ऊपर-नीचे संकेत निचली परतों में न्यूरॉन्स को प्रस्तुत उत्तेजनाओं के प्रति उनकी प्रतिक्रिया तय करने में मदद करते हैं। सामान्य विधि का पालन करते हुए-th छिपी हुई परत के लिए एक लैग्रैन्जियन फ़ंक्शन पेश करना सुविधाजनक है, जो उस परत में सभी न्यूरॉन्स की गतिविधियों पर निर्भर करता है। उस परत में सक्रियण कार्यों को लैग्रैन्जियन के आंशिक व्युत्पन्न के रूप में परिभाषित किया जा सकता है इन परिभाषाओं के साथ ऊर्जा (लियापुनोव) कार्य द्वारा दिया जाता है यदि लैग्रैन्जियन कार्य, या समकक्ष रूप से सक्रियण कार्य, इस तरह से चुने जाते हैं कि प्रत्येक परत के लिए हेसियन सकारात्मक अर्ध-निश्चित हैं और समग्र ऊर्जा नीचे से बंधी हुई है, तो इस प्रणाली को एक निश्चित बिंदु आकर्षण अवस्था में अभिसरण करने की गारंटी है। इस ऊर्जा फलन का अस्थायी व्युत्पन्न इस प्रकार दिया गया है, पदानुक्रमित स्तरित नेटवर्क वास्तव में वैश्विक ऊर्जा फलन के साथ एक आकर्षक नेटवर्क है। इस नेटवर्क को सिनैप्टिक भार के एक पदानुक्रमित सेट द्वारा वर्णित किया गया है जिसे प्रत्येक विशिष्ट समस्या के लिए सीखा जा सकता है। संदर्भ तंत्रिका नेटवर्क