Spiking neural network
स्पाइकिंग न्यूरल नेटवर्क (एस. एन. एन.) कृत्रिम न्यूरल नेटवर्क हैं जो प्राकृतिक न्यूरल नेटवर्क की अधिक बारीकी से नकल करते हैं। न्यूरोनल और सिनेप्टिक अवस्था के अलावा, एस. एन. एन. अपने संचालन मॉडल में समय की अवधारणा को शामिल करते हैं। विचार यह है कि एस. एन. एन. में न्यूरॉन्स प्रत्येक प्रसार चक्र पर जानकारी प्रसारित नहीं करते हैं (जैसा कि यह विशिष्ट बहु-परत परसेप्ट्रॉन नेटवर्क के साथ होता है), बल्कि केवल तब जानकारी प्रसारित करते हैं जब एक झिल्ली क्षमता-अपने झिल्ली विद्युत आवेश से संबंधित न्यूरॉन की एक आंतरिक गुणवत्ता-एक विशिष्ट मूल्य तक पहुंचती है, जिसे सीमा कहा जाता है। जब झिल्ली क्षमता सीमा तक पहुँचती है, तो न्यूरॉन आग लगाता है, और एक संकेत उत्पन्न करता है जो अन्य न्यूरॉन्स की यात्रा करता है, जो बदले में, इस संकेत के जवाब में उनकी क्षमता को बढ़ाता या कम करता है। एक न्यूरॉन मॉडल जो सीमा पार करने के समय आग लगाता है, उसे स्पाइकिंग न्यूरॉन मॉडल भी कहा जाता है। सबसे प्रमुख स्पाइकिंग न्यूरॉन मॉडल लीकी इंटीग्रेट-एंड-फायर मॉडल है। इंटीग्रेट-एंड-फायर मॉडल में, क्षणिक सक्रियण स्तर (एक विभेदक समीकरण के रूप में मॉडल किया गया) को आम तौर पर न्यूरॉन की स्थिति माना जाता है, जिसमें आने वाले स्पाइक्स इस मूल्य को अधिक या कम करते हैं, जब तक कि अवस्था अंततः या तो क्षय नहीं हो जाती है या-यदि फायरिंग सीमा तक पहुँच जाती है-न्यूरॉन में आग लग जाती है। फायरिंग के बाद, स्थिति चर को कम मूल्य पर रीसेट किया जाता है। बाहर जाने वाली स्पाइक ट्रेन को एक वास्तविक-मूल्य संख्या के रूप में व्याख्या करने के लिए विभिन्न डिकोडिंग विधियां मौजूद हैं, जो या तो स्पाइक्स की आवृत्ति (दर-कोड), उत्तेजना के बाद समय-से-पहले-स्पाइक, या स्पाइक्स के बीच के अंतराल पर निर्भर करती हैं। कई बहु-परत कृत्रिम तंत्रिका नेटवर्क पूरी तरह से जुड़े हुए हैं, जो पिछली परत में प्रत्येक न्यूरॉन से इनपुट प्राप्त करते हैं और बाद की परत में प्रत्येक न्यूरॉन को संकेत देते हैं। हालाँकि इन नेटवर्कों ने कई क्षेत्रों में सफलताएँ हासिल की हैं, लेकिन वे जैविक रूप से गलत हैं और किसी जीवित चीज़ के मस्तिष्क में न्यूरॉन्स के संचालन तंत्र की नकल नहीं करते हैं। एक स्पाइकिंग न्यूरॉन का जैविक रूप से प्रेरित हॉजकिन-हक्सले मॉडल 1952 में प्रस्तावित किया गया था। यह मॉडल वर्णन करता है कि कार्रवाई क्षमताओं को कैसे शुरू किया जाता है और प्रचारित किया जाता है। न्यूरॉन्स के बीच संचार, जिसके लिए सिनैप्टिक अंतराल में रासायनिक न्यूरोट्रांसमीटर के आदान-प्रदान की आवश्यकता होती है, का वर्णन विभिन्न मॉडलों में किया गया है, जैसे कि इंटीग्रेट-एंड-फायर मॉडल, फिट्जहुग-नागुमो मॉडल (1961-1962), और हिंदमार्श-रोज़ मॉडल (1984)। लीकी इंटीग्रेट-एंड-फायर मॉडल (या एक व्युत्पन्न) का उपयोग आमतौर पर किया जाता है क्योंकि हॉजकिन-हक्सले मॉडल की तुलना में इसकी गणना करना आसान है। मस्तिष्क में जानकारी को क्रिया क्षमता (न्यूरॉन स्पाइक्स) के रूप में दर्शाया जाता है, जिसे स्पाइक ट्रेनों या मस्तिष्क गतिविधि की समन्वित तरंगों में समूहीकृत किया जा सकता है। तंत्रिका विज्ञान का एक मौलिक प्रश्न यह निर्धारित करना है कि क्या न्यूरॉन्स एक दर या अस्थायी कोड द्वारा संवाद करते हैं। अस्थायी कोडिंग से पता चलता है कि एक एकल स्पाइकिंग न्यूरॉन एक सिग्मॉइडल न्यूरल नेट पर सैकड़ों छिपी हुई इकाइयों को बदल सकता है। एस. एन. एन. की गणना असतत क्षेत्र के बजाय निरंतर में की जाती है। विचार यह है कि न्यूरॉन्स प्रसार की प्रत्येक पुनरावृत्ति में सक्रियण के लिए परीक्षण नहीं कर सकते हैं (जैसा कि एक विशिष्ट बहुस्तरीय परसेप्ट्रॉन नेटवर्क में होता है), लेकिन केवल तभी जब उनकी झिल्ली क्षमता एक निश्चित मूल्य तक पहुंच जाती है। जब एक न्यूरॉन सक्रिय होता है, तो यह एक संकेत उत्पन्न करता है जो जुड़े हुए न्यूरॉन्स को पारित किया जाता है, जिससे उनकी झिल्ली क्षमता बढ़ जाती है या कम हो जाती है। एक स्पाइकिंग न्यूरल नेटवर्क में, एक न्यूरॉन की वर्तमान स्थिति को इसकी झिल्ली क्षमता (संभवतः एक विभेदक समीकरण के रूप में मॉडल किया गया) के रूप में परिभाषित किया जाता है। एक इनपुट पल्स के कारण झिल्ली की क्षमता कुछ समय के लिए बढ़ती है और फिर धीरे-धीरे कम होती जाती है। पल्स आवृत्ति और पल्स अंतराल दोनों को ध्यान में रखते हुए इन पल्स अनुक्रमों को एक संख्या के रूप में व्याख्या करने के लिए एन्कोडिंग योजनाओं का निर्माण किया गया है। नाड़ी उत्पादन समय पर आधारित एक तंत्रिका नेटवर्क मॉडल स्थापित किया जा सकता है। नाड़ी की घटना के सटीक समय का उपयोग करते हुए, एक तंत्रिका नेटवर्क अधिक जानकारी का उपयोग कर सकता है और बेहतर कंप्यूटिंग गुण प्रदान कर सकता है। एस. एन. एन. दृष्टिकोण पारंपरिक ए. एन. एन. के द्विआधारी उत्पादन के बजाय एक निरंतर उत्पादन उत्पन्न करता है। पल्स ट्रेनों की आसानी से व्याख्या नहीं की जा सकती है, इसलिए उपरोक्त के रूप में एन्कोडिंग योजनाओं की आवश्यकता है। हालांकि, एक पल्स ट्रेन प्रतिनिधित्व स्पेटिओटेम्पोरल डेटा (या निरंतर वास्तविक-विश्व संवेदी डेटा वर्गीकरण) को संसाधित करने के लिए अधिक उपयुक्त हो सकता है। एस. एन. एन. न्यूरॉन्स को केवल आस-पास के न्यूरॉन्स से जोड़कर स्थान पर विचार करते हैं ताकि वे इनपुट ब्लॉकों को अलग से संसाधित कर सकें (सी. एन. एन. के फिल्टर का उपयोग करने के समान)। वे जानकारी को कूटबद्ध करके समय को पल्स ट्रेनों के रूप में मानते हैं ताकि द्विआधारी कूटलेखन में जानकारी न खोए। यह एक आवर्ती तंत्रिका नेटवर्क (आर. एन. एन.) की अतिरिक्त जटिलता से बचाता है। यह पता चला है कि आवेग न्यूरॉन्स पारंपरिक कृत्रिम न्यूरॉन्स की तुलना में अधिक शक्तिशाली कम्प्यूटेशनल इकाइयाँ हैं। एस. एन. एन. सैद्धांतिक रूप से दूसरी पीढ़ी के नेटवर्क की तुलना में अधिक शक्तिशाली हैं। ]; हालाँकि, एस. एन. एन. प्रशिक्षण के मुद्दे और हार्डवेयर आवश्यकताएँ उनके उपयोग को सीमित करती हैं। हालाँकि हेब्बियन लर्निंग और एस. टी. डी. पी. जैसे गैर-पर्यवेक्षित जैविक रूप से प्रेरित सीखने के तरीके उपलब्ध हैं, लेकिन एस. एन. एन. के लिए कोई प्रभावी पर्यवेक्षित प्रशिक्षण विधि उपयुक्त नहीं है जो दूसरी पीढ़ी के नेटवर्क की तुलना में बेहतर प्रदर्शन प्रदान कर सके। एस. एन. एन. का स्पाइक-आधारित सक्रियण अवकलनीय नहीं है, इस प्रकार त्रुटि बैकप्रोपेगेशन करने के लिए ग्रेडिएंट डिसेंट आधारित प्रशिक्षण विधियों को विकसित करना कठिन हो जाता है, हालांकि कुछ हाल के एल्गोरिदम जैसे कि नॉरमैड और मल्टीलेयर नॉरमैड ने स्पाइक आधारित सक्रियण के ग्रेडिएंट के उपयुक्त अनुमान के माध्यम से अच्छे प्रशिक्षण प्रदर्शन का प्रदर्शन किया है। एस. एन. एन. में पारंपरिक ए. एन. एन. की तुलना में यथार्थवादी तंत्रिका मॉडल का अनुकरण करने के लिए बहुत अधिक कम्प्यूटेशनल लागत होती है। पल्स-कपल्ड न्यूरल नेटवर्क (पी. सी. एन. एन.) अक्सर एस. एन. एन. के साथ भ्रमित होते हैं। पी. सी. एन. एन. को एक प्रकार के एस. एन. एन. के रूप में देखा जा सकता है। वर्तमान में एस. एन. एन. का उपयोग करते समय कुछ समस्याएं हैं जिन पर शोधकर्ता सक्रिय रूप से काम कर रहे हैं। पहली चुनौती स्पाइकिंग नॉनलीनियरिटी की नॉनडिफरेंशियाबिलिटी से संबंधित है। फॉरवर्ड-और बैकवर्ड-लर्निंग दोनों विधियों के लिए अभिव्यक्तियों में तंत्रिका सक्रियण कार्य का व्युत्पन्न होता है जो गैर-विभेदक है क्योंकि न्यूरॉन का उत्पादन या तो 1 होता है जब यह बढ़ता है, और अन्यथा 0 होता है। द्विआधारी स्पाइकिंग अरैखिकता का यह सभी-या-कुछ नहीं व्यवहार प्रवणता को "बहने" से रोकता है और एल. आई. एफ. न्यूरॉन्स को प्रवणता-आधारित अनुकूलन के लिए अनुपयुक्त बनाता है। दूसरी चुनौती अनुकूलन एल्गोरिदम के कार्यान्वयन से संबंधित है। मानक बी. पी. गणना, स्मृति और संचार के मामले में महंगा हो सकता है और इसे लागू करने वाले हार्डवेयर (जैसे, एक कंप्यूटर, मस्तिष्क, या न्यूरोमोर्फिक उपकरण) द्वारा निर्धारित बाधाओं के लिए खराब रूप से अनुकूल हो सकता है। पहली चुनौती के संबंध में इसे दूर करने के लिए कई दृष्टिकोण हैं। उनमें से कुछ हैंः पारंपरिक रूप से प्रशिक्षित "दर-आधारित" एन. एन. का एस. एन. एन. में अनुवाद करने वाली छिपी हुई इकाइयों के लिए पूरी तरह से जैविक रूप से प्रेरित स्थानीय शिक्षण नियमों का सहारा लेना, नेटवर्क मॉडल को सुचारू बनाने के लिए एक एस. जी. (सुरोगेट ग्रेडिएंट) को वास्तविक ग्रेडिएंट की निरंतर छूट के रूप में परिभाषित करना। इसके अलावा, एस. एन. एन. जैविक जीवों के केंद्रीय तंत्रिका तंत्र का मॉडल बना सकते हैं, जैसे कि एक कीट जो पर्यावरण के पूर्व ज्ञान के बिना भोजन की तलाश करता है। उनके सापेक्ष यथार्थवाद के कारण, उनका उपयोग जैविक तंत्रिका परिपथ के संचालन का अध्ययन करने के लिए किया जा सकता है। एक जैविक न्यूरोनल परिपथ की स्थलविज्ञान और उसके कार्य के बारे में एक परिकल्पना के साथ शुरू करते हुए, इस परिपथ की रिकॉर्डिंग की तुलना संबंधित एस. एन. एन. के उत्पादन से की जा सकती है, जो परिकल्पना की संभाव्यता का मूल्यांकन करती है। हालांकि, एस. एन. एन. के लिए प्रभावी प्रशिक्षण तंत्र की कमी है, जो कंप्यूटर दृष्टि कार्यों सहित कुछ अनुप्रयोगों के लिए अवरोधक हो सकता है। 2019 तक एस. एन. एन. सटीकता के मामले में ए. एन. एन. से पीछे हैं, लेकिन अंतर कम हो रहा है, और कुछ कार्यों पर गायब हो गया है। छवि आधारित डेटा के लिए एस. एन. एन. का उपयोग करते समय हमें स्थिर छवियों को द्विआधारी स्पाइक ट्रेन कोडिंग में बदलने की आवश्यकता होती है। एन्कोडिंग के प्रकारः अस्थायी कोडिंग प्रति न्यूरॉन एक स्पाइक उत्पन्न करती है जिसमें स्पाइक विलंबता पिक्सेल तीव्रता के व्युत्क्रमानुपाती होती है। दर कोडिंग पिक्सेल तीव्रता को एक स्पाइक ट्रेन में परिवर्तित करती है जहां स्पाइक्स की संख्या पिक्सेल तीव्रता के समानुपाती होती है। डायरेक्ट कोडिंग प्रत्येक समय-चरण के लिए फ्लोट मूल्य उत्पन्न करने के लिए एक प्रशिक्षित परत का उपयोग करती है। हमारे पास एक सीखने योग्य परत है जो प्रत्येक पिक्सेल को निश्चित समय पर फ्लोट संख्या में परिवर्तित करती है और फिर उत्पन्न फ्लोटिंग संख्याओं पर थ्रेसहोल्ड का उपयोग यह देखने के लिए किया जाता है कि क्या वे 1 या 0 होंगे। चरण कोडिंग वैश्विक ऑसिलेटर के आधार पर अस्थायी जानकारी को स्पाइक पैटर्न में कूटबद्ध करती है। बर्स्ट कोडिंग एक छोटी अवधि में स्पाइक्स के विस्फोट को प्रसारित करती है, जिससे न्यूरॉन्स के बीच सिनैप्टिक संचार की विश्वसनीयता बढ़ जाती है। सॉफ्टवेयर अनुप्रयोग सॉफ्टवेयर की एक विविध श्रृंखला एस. एन. एन. का अनुकरण कर सकती है। इस सॉफ्टवेयर को इसके उपयोग के अनुसार वर्गीकृत किया जा सकता हैः एस. एन. एन. अनुकरण ये उच्च स्तर के विवरण और सटीकता के साथ जटिल तंत्रिका मॉडल का अनुकरण करते हैं। बड़े नेटवर्क के लिए आमतौर पर लंबी प्रक्रिया की आवश्यकता होती है। उम्मीदवारों में शामिल हैंः ब्रायन-इकोले नॉर्मल सुपरियर में रोमेन ब्रेट और डैन गुडमैन द्वारा विकसित; जेनेसिस (जीएनरल न्यूरल सिमुलेशन सिस्टम)-कैल्टेक में जेम्स बोवर की प्रयोगशाला में विकसित; एनईएसटी-एनईएसटी इनिशिएटिव द्वारा विकसित; न्यूरॉन-मुख्य रूप से येल विश्वविद्यालय और ड्यूक विश्वविद्यालय में माइकल हाइन्स, जॉन डब्ल्यू. मूर और टेड कार्नेवेल द्वारा विकसित; हार्डवेयर फ्यूचर न्यूरोमोर्फिक आर्किटेक्चर में ऐसे अरबों नैनोसाइनेप्स शामिल होंगे, जिनके लिए प्लास्टिसिटी के लिए जिम्मेदार भौतिक तंत्र की स्पष्ट समझ की आवश्यकता होती है। फेरोइलेक्ट्रिक सुरंग जंक्शनों पर आधारित प्रायोगिक प्रणालियों का उपयोग यह दिखाने के लिए किया गया है कि एसटीडीपी का उपयोग विषम ध्रुवीकरण स्विचिंग से किया जा सकता है। संयुक्त स्कैनिंग प्रोब इमेजिंग, विद्युत परिवहन और परमाणु पैमाने पर आणविक गतिकी के माध्यम से, चालन भिन्नताओं को डोमेन के न्यूक्लिएशन-प्रभुत्व वाले उलट द्वारा मॉडल किया जा सकता है। सिमुलेशन से पता चलता है कि फेरोइलेक्ट्रिक नैनोसाइनेप्स की सरणियाँ स्वायत्त रूप से अनुमानित तरीके से पैटर्न को पहचानना सीख सकती हैं, जिससे गैर-पर्यवेक्षित सीखने की दिशा में रास्ता खुल जाता है। अकीडा ब्रेनचिप द्वारा विकसित 12 लाख कृत्रिम न्यूरॉन्स और 10 अरब कृत्रिम सिनेप्स के साथ एक पूरी तरह से डिजिटल घटना-आधारित तंत्रिका प्रसंस्करण उपकरण है। घटना-आधारित स्वामित्व का उपयोग करते हुए, यह विशिष्ट बिंदुओं पर आवश्यक निवेश का विश्लेषण करता है। परिणाम ऑन-चिप मेमोरी इकाइयों में संग्रहीत किए जाते हैं। न्यूरोग्रिड एक ऐसा बोर्ड है जो सीधे हार्डवेयर में स्पाइकिंग न्यूरल नेटवर्क का अनुकरण कर सकता है। (स्टैनफोर्ड विश्वविद्यालय) स्पाइननेकर (स्पाइकिंग न्यूरल नेटवर्क आर्किटेक्चर) एआरएम प्रोसेसर का उपयोग छह-परत वाले थैलेमोकोर्टिकल मॉडल पर आधारित बड़े पैमाने पर समानांतर कंप्यूटिंग प्लेटफॉर्म के निर्माण खंड के रूप में करता है। (मैनचेस्टर विश्वविद्यालय) स्पिननेकर प्रणाली ए. आर. एम. वास्तुकला का उपयोग करते हुए कस्टम डिजिटल मल्टीकोर चिप्स पर वास्तविक समय में चलने वाले संख्यात्मक मॉडल पर आधारित है। यह कस्टम डिजिटल चिप्स प्रदान करता है, जिनमें से प्रत्येक में अठारह कोर और एक साझा स्थानीय 128 एमबीटी रैम है, जिसमें कुल 1,000,000 कोर हैं। एक एकल चिप वास्तविक समय में चलने वाले 80 लाख प्लास्टिक सिनेप्स के साथ 16,000 न्यूरॉन्स का अनुकरण कर सकती है। ट्रूनॉर्थ एक प्रोसेसर है जिसमें 54 करोड़ ट्रांजिस्टर होते हैं जो केवल 70 मिलीवाट की खपत करते हैं; पर्सनल कंप्यूटर में अधिकांश प्रोसेसर में लगभग 14 करोड़ ट्रांजिस्टर होते हैं और इसके लिए 35 वाट या उससे अधिक की आवश्यकता होती है। आई. बी. एम. ट्रूनॉर्थ के पीछे के डिजाइन सिद्धांत को न्यूरोमोर्फिक कंप्यूटिंग के रूप में संदर्भित करता है। इसका प्राथमिक उद्देश्य प्रतिरूप की पहचान करना है। जबकि आलोचकों का कहना है कि चिप पर्याप्त शक्तिशाली नहीं है, इसके समर्थक बताते हैं कि यह केवल पहली पीढ़ी है, और बेहतर पुनरावृत्तियों की क्षमताएं स्पष्ट हो जाएंगी। (आईबीएम) गैर-पर्यवेक्षित शिक्षण विधियों के अनुसार प्रशिक्षित स्पाइकिंग नेटवर्क की बेंचमार्क वर्गीकरण क्षमताओं का परीक्षण सामान्य बेंचमार्क डेटासेट, जैसे कि आइरिस, विस्कॉन्सिन स्तन कैंसर या स्टेटलॉग लैंडसैट डेटासेट पर किया गया है। सूचना एन्कोडिंग और नेटवर्क डिजाइन के लिए विभिन्न दृष्टिकोणों का उपयोग किया गया है। उदाहरण के लिए, डेटा क्लस्टरिंग और वर्गीकरण के लिए एक 2-परत फीडफॉरवर्ड नेटवर्क। होपफील्ड (1995) में प्रस्तावित विचार के आधार पर लेखकों ने स्थानीय ग्रहणशील क्षेत्रों के मॉडल को रेडियल आधार कार्यों (आरबीएफ) और स्पाइकिंग न्यूरॉन्स के गुणों को मिलाकर फ्लोटिंग-पॉइंट प्रतिनिधित्व वाले इनपुट संकेतों (वर्गीकृत डेटा) को स्पाइकिंग प्रतिनिधित्व में परिवर्तित करने के लिए लागू किया। कोडी कॉग्निटिव आर्किटेक्चर कॉग्निटिव मैप कॉग्निटिव कंप्यूटर कम्प्यूटेशनल न्यूरोसाइंस न्यूरल कोडिंग न्यूरल कोरिलेट न्यूरल डिकोडिंग न्यूरोएथोलॉजी न्यूरोइन्फॉर्मेटिक्स तंत्रिका गणना के मॉडल गति धारणा प्रणाली तंत्रिका विज्ञान संदर्भ कम्प्यूटेशनल सांख्यिकी कृत्रिम तंत्रिका नेटवर्क वीडियो क्लिप वाले लेख कम्प्यूटेशनल न्यूरोसाइंस