Deep learning
डीप लर्निंग मशीन लर्निंग विधियों का उपसमुच्चय है जो प्रतिनिधित्व सीखने के साथ कृत्रिम तंत्रिका नेटवर्क पर आधारित हैं। गहन शिक्षण में "गहन" विशेषण नेटवर्क में कई परतों के उपयोग को संदर्भित करता है। उपयोग की जाने वाली विधियों को या तो पर्यवेक्षित, अर्ध-पर्यवेक्षित या गैर-पर्यवेक्षित किया जा सकता है। गहन तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका तंत्रिका कृत्रिम तंत्रिका नेटवर्क (ए. एन. एन.) जैविक प्रणालियों में सूचना प्रसंस्करण और वितरित संचार नोड्स से प्रेरित थे। ए. एन. एन. में जैविक मस्तिष्क से विभिन्न अंतर होते हैं। विशेष रूप से, कृत्रिम तंत्रिका नेटवर्क स्थिर और प्रतीकात्मक होते हैं, जबकि अधिकांश जीवित जीवों का जैविक मस्तिष्क गतिशील (प्लास्टिक) और अनुरूप होता है। डीप लर्निंग मशीन लर्निंग एल्गोरिदम का एक वर्ग है जो कच्चे इनपुट से उच्च-स्तरीय विशेषताओं को उत्तरोत्तर निकालने के लिए कई परतों का उपयोग करता है। उदाहरण के लिए, छवि प्रसंस्करण में, निचली परतें किनारों की पहचान कर सकती हैं, जबकि उच्च परतें मानव के लिए प्रासंगिक अवधारणाओं की पहचान कर सकती हैं जैसे कि अंक या अक्षर या चेहरे। गहन शिक्षण को देखने के लिए एक अन्य कोण से, गहन शिक्षण एक स्रोत (जैसे, कुत्तों की एक छवि) से एक सीखी हुई वस्तु (कुत्तों) तक "कंप्यूटर-सिमुलेट" या मानव सीखने की प्रक्रियाओं को "स्वचालित" करने को संदर्भित करता है। इसलिए, "गहन" सीखने या "गहन" सीखने के रूप में गढ़ा गया एक विचार समझ में आता है। गहनतम सीखना एक स्रोत से अंतिम सीखी गई वस्तु तक पूरी तरह से स्वचालित सीखने को संदर्भित करता है। इस प्रकार एक गहन शिक्षण एक मिश्रित शिक्षण प्रक्रिया को संदर्भित करता हैः एक स्रोत से एक सीखी गई अर्ध-वस्तु तक एक मानव सीखने की प्रक्रिया, जिसके बाद मानव द्वारा सीखी गई अर्ध-वस्तु से एक अंतिम सीखी गई वस्तु तक एक कंप्यूटर सीखने की प्रक्रिया होती है। अधिकांश आधुनिक गहन शिक्षण मॉडल बहु-स्तरीय कृत्रिम तंत्रिका नेटवर्क जैसे कि कन्वोलुशनल न्यूरल नेटवर्क और ट्रांसफॉर्मर पर आधारित होते हैं, हालांकि उनमें प्रस्तावक सूत्र या अव्यक्त चर भी शामिल हो सकते हैं जो गहरे उत्पादक मॉडल जैसे कि गहरे विश्वास नेटवर्क और गहरे बोल्ट्जमैन मशीनों में नोड्स में परत-वार व्यवस्थित होते हैं। गहन शिक्षण में, प्रत्येक स्तर अपने इनपुट डेटा को थोड़ा अधिक अमूर्त और समग्र प्रतिनिधित्व में बदलना सीखता है। एक छवि पहचान अनुप्रयोग में, कच्चा इनपुट पिक्सेल का एक मैट्रिक्स हो सकता है; पहली प्रतिनिधित्व परत पिक्सेल को अमूर्त कर सकती है और किनारों को कूटबद्ध कर सकती है; दूसरी परत किनारों की व्यवस्था को रचना और कूटबद्ध कर सकती है; तीसरी परत एक नाक और आंखों को कूटबद्ध कर सकती है; और चौथी परत पहचान सकती है कि छवि में एक चेहरा है। महत्वपूर्ण रूप से, एक गहरी सीखने की प्रक्रिया यह सीख सकती है कि कौन सी विशेषताओं को अपने आप में किस स्तर पर बेहतर तरीके से रखा जाए। यह हाथ-ट्यूनिंग की आवश्यकता को समाप्त नहीं करता है; उदाहरण के लिए, परतों और परत आकारों की अलग-अलग संख्या अमूर्तता की अलग-अलग डिग्री प्रदान कर सकती है। "डीप लर्निंग" में "डीप" शब्द उन परतों की संख्या को संदर्भित करता है जिनके माध्यम से डेटा को परिवर्तित किया जाता है। अधिक सटीक रूप से, गहन शिक्षण प्रणालियों में एक पर्याप्त क्रेडिट असाइनमेंट पथ (सीएपी) गहराई होती है। सी. ए. पी. इनपुट से आउटपुट में परिवर्तनों की श्रृंखला है। सी. ए. पी. इनपुट और आउटपुट के बीच संभावित कारण संबंध का वर्णन करते हैं। एक फीडफॉरवर्ड न्यूरल नेटवर्क के लिए, सीएपी की गहराई नेटवर्क की होती है और छिपी हुई परतों की संख्या और एक होती है (क्योंकि आउटपुट परत भी मानकीकृत होती है)। आवर्ती तंत्रिका नेटवर्क के लिए, जिसमें एक संकेत एक परत के माध्यम से एक से अधिक बार प्रसारित हो सकता है, सीएपी की गहराई संभावित रूप से असीमित है। गहराई की कोई भी सार्वभौमिक रूप से सहमत सीमा गहरी शिक्षा से उथली शिक्षा को विभाजित नहीं करती है, लेकिन अधिकांश शोधकर्ता इस बात से सहमत हैं कि गहरी शिक्षा में सीएपी की गहराई 2 से अधिक होती है। गहराई 2 के सीएपी को इस अर्थ में एक सार्वभौमिक सन्निकटक के रूप में दिखाया गया है कि यह किसी भी कार्य का अनुकरण कर सकता है। इसके अलावा, अधिक परतें नेटवर्क की कार्य सन्निकटन क्षमता को नहीं जोड़ती हैं। डीप मॉडल (सीएपी> 2) उथले मॉडल की तुलना में बेहतर सुविधाओं को निकालने में सक्षम हैं और इसलिए, अतिरिक्त परतें सुविधाओं को प्रभावी ढंग से सीखने में मदद करती हैं। गहन शिक्षण संरचनाओं का निर्माण लालची परत-दर-परत विधि से किया जा सकता है। गहन शिक्षा इन अमूर्तताओं को अलग करने में मदद करती है और यह चुनने में मदद करती है कि कौन सी विशेषताएं प्रदर्शन में सुधार करती हैं। पर्यवेक्षित शिक्षण कार्यों के लिए, गहन शिक्षण विधियाँ मुख्य घटकों के समान कॉम्पैक्ट मध्यवर्ती प्रतिनिधित्वों में डेटा का अनुवाद करके और प्रतिनिधित्व में अतिरेक को दूर करने वाली स्तरित संरचनाओं को प्राप्त करके फीचर इंजीनियरिंग को समाप्त कर देती हैं। गहन शिक्षण एल्गोरिदम को गैर-पर्यवेक्षित शिक्षण कार्यों पर लागू किया जा सकता है। यह एक महत्वपूर्ण लाभ है क्योंकि बिना लेबल वाला डेटा लेबल वाले डेटा की तुलना में अधिक प्रचुर मात्रा में होता है। गहरी संरचनाओं के उदाहरण जिन्हें बिना किसी पर्यवेक्षण के प्रशिक्षित किया जा सकता है, वे गहरे विश्वास नेटवर्क हैं। व्याख्याएँ गहरे तंत्रिका तंत्र की व्याख्या आम तौर पर सार्वभौमिक सन्निकटन प्रमेय या संभावित अनुमान के संदर्भ में की जाती है। क्लासिक सार्वभौमिक सन्निकटन प्रमेय अनुमानित निरंतर कार्यों के लिए सीमित आकार की एक छिपी हुई परत के साथ फीडफॉरवर्ड तंत्रिका नेटवर्क की क्षमता से संबंधित है। 1989 में, पहला प्रमाण जॉर्ज साइबेन्को द्वारा सिग्मॉइड सक्रियण कार्यों के लिए प्रकाशित किया गया था और 1991 में कर्ट हॉर्निक द्वारा फीड-फॉरवर्ड मल्टी-लेयर आर्किटेक्चर के लिए सामान्यीकृत किया गया था। हाल के काम से यह भी पता चला है कि सार्वभौमिक सन्निकटन गैर-सीमित सक्रियण कार्यों जैसे कि कुनिहिको फुकुशिमा की संशोधित रैखिक इकाई के लिए भी लागू होता है। गहरे तंत्रिका नेटवर्क के लिए सार्वभौमिक सन्निकटन प्रमेय सीमित चौड़ाई वाले नेटवर्क की क्षमता से संबंधित है लेकिन गहराई को बढ़ने दिया जाता है। लू और अन्य। यह साबित हुआ कि यदि आरईएलयू सक्रियण के साथ एक गहरे तंत्रिका नेटवर्क की चौड़ाई इनपुट आयाम से सख्ती से बड़ी है, तो नेटवर्क किसी भी लेबस्ग इंटीग्रेबल फ़ंक्शन का अनुमान लगा सकता है; यदि चौड़ाई इनपुट आयाम से छोटी या बराबर है, तो एक गहरा तंत्रिका नेटवर्क एक सार्वभौमिक सन्निकटक नहीं है। संभावित व्याख्या मशीन लर्निंग के क्षेत्र से ली गई है। इसमें निष्कर्ष के साथ-साथ प्रशिक्षण और परीक्षण की अनुकूलन अवधारणाएं हैं, जो क्रमशः फिटिंग और सामान्यीकरण से संबंधित हैं। अधिक विशेष रूप से, संभावित व्याख्या सक्रियण अरैखिकता को एक संचयी वितरण कार्य के रूप में मानती है। संभावित व्याख्या ने तंत्रिका नेटवर्क में नियमितकर्ता के रूप में ड्रॉपआउट की शुरुआत की। संभावित व्याख्या को हॉपफील्ड, विड्रो और नरेंद्र सहित शोधकर्ताओं द्वारा पेश किया गया था और बिशप जैसे सर्वेक्षणों में इसे लोकप्रिय बनाया गया था। तंत्रिका नेटवर्क दो प्रकार के होते हैंः फीडफॉरवर्ड न्यूरल नेटवर्क (एफ. एन. एन.) और रिकरेंट न्यूरल नेटवर्क (आर. एन. एन.)। आर. एन. एन. की संपर्क संरचना में चक्र होते हैं, एफ. एन. एन. में नहीं। 1920 के दशक में, विल्हेल्म लेंज और अर्न्स्ट इसिंग ने इसिंग मॉडल का निर्माण और विश्लेषण किया जो अनिवार्य रूप से एक गैर-शिक्षण आरएनएन वास्तुकला है जिसमें न्यूरॉन जैसे दहलीज तत्व शामिल हैं। 1972 में, शूनिची अमरी ने इस वास्तुकला को अनुकूली बनाया। 1982 में जॉन हॉपफील्ड ने उनके अध्ययन आर. एन. एन. को लोकप्रिय बनाया। आर. एन. एन. भाषण पहचान और भाषा प्रसंस्करण के लिए केंद्रीय बन गए हैं। चार्ल्स टेपर्ट लिखते हैं कि फ्रैंक रोसेनब्लैट ने आज की गहन शिक्षण प्रणालियों के सभी बुनियादी अवयवों का विकास और अन्वेषण किया, रोसेनब्लैट की 1962 की पुस्तक का उल्लेख करते हुए जिसने 3 परतों के साथ एक बहुस्तरीय परसेप्ट्रॉन (एमएलपी) की शुरुआत कीः एक इनपुट परत, यादृच्छिक भार के साथ एक छिपी हुई परत जो नहीं सीखी, और एक आउटपुट परत। हालाँकि, चूंकि केवल आउटपुट परत में सीखने के संबंध थे, यह अभी तक गहन शिक्षण नहीं था। इसे बाद में एक चरम सीखने की मशीन कहा गया। पर्यवेक्षित, गहरे, फीडफॉरवर्ड, बहुस्तरीय परसेप्ट्रॉन के लिए पहला सामान्य, कार्यशील शिक्षण एल्गोरिथ्म 1967 में एलेक्सी इवाखनेन्को और लापा द्वारा प्रकाशित किया गया था। 1971 के एक पेपर में डेटा हैंडलिंग की समूह विधि द्वारा प्रशिक्षित आठ परतों के साथ एक गहरे नेटवर्क का वर्णन किया गया था। स्टोकेस्टिक ग्रेडिएंट डिसेंट द्वारा प्रशिक्षित पहला डीप लर्निंग मल्टीलेयर परसेप्ट्रॉन 1967 में शुनइची अमरी द्वारा प्रकाशित किया गया था। अमरी के छात्र सैतो द्वारा किए गए कंप्यूटर प्रयोगों में, दो परिवर्तनीय परतों के साथ एक पाँच परत वाला एम. एल. पी. ने गैर-रैखिक रूप से अलग करने योग्य पैटर्न वर्गों को वर्गीकृत करने के लिए आंतरिक प्रतिनिधित्व सीखा। 1987 में मैथ्यू ब्रांड ने बताया कि यादृच्छिक इनपुट/आउटपुट नमूनों के छोटे बैचों पर ग्रेडिएंट डिसेंट के माध्यम से गैर-तुच्छ सर्किट गहराई के तर्क कार्यों को पुनः पेश करने के लिए विस्तृत 12-परत गैर-रैखिक परसेप्ट्रॉन को पूरी तरह से प्रशिक्षित किया जा सकता है, लेकिन निष्कर्ष निकाला कि समकालीन हार्डवेयर (उप-मेगाफ्लॉप कंप्यूटर) पर प्रशिक्षण समय ने तकनीक को अव्यावहारिक बना दिया, और एकल परिवर्तनीय परत के लिए एक इनपुट हैश के रूप में निश्चित यादृच्छिक प्रारंभिक परतों का उपयोग करने का प्रस्ताव रखा। इसके बजाय, हार्डवेयर और हाइपरपैरामीटर ट्यूनिंग में बाद के विकास ने एंड-टू-एंड स्टोकेस्टिक ग्रेडिएंट डिसेंट को वर्तमान में प्रमुख प्रशिक्षण तकनीक बना दिया है। 1970 में, सेप्पो लिनैनमा ने नेस्टेड डिफ्रेंटिएबल फ़ंक्शंस के असतत जुड़े नेटवर्क के स्वचालित विभेदन के रिवर्स मोड को प्रकाशित किया। यह बैकप्रोपेगेशन के रूप में जाना जाने लगा। यह 1673 में गॉटफ्राइड विल्हेम लीबनिज़ द्वारा विभेदक नोड्स के नेटवर्क के लिए व्युत्पन्न श्रृंखला नियम का एक कुशल अनुप्रयोग है। "बैक-प्रोपेगेटिंग एरर्स" शब्दावली वास्तव में 1962 में रोसेनब्लैट द्वारा पेश की गई थी, लेकिन उन्हें नहीं पता था कि इसे कैसे लागू किया जाए, हालांकि नियंत्रण सिद्धांत के संदर्भ में हेनरी जे. केली के पास पहले से ही 1960 में बैकप्रोपेगेशन का निरंतर अग्रदूत था। 1982 में, पॉल वेरबोस ने एम. एल. पी. पर बैकप्रोपेगेशन को उस तरह से लागू किया जो मानक बन गया है। 1985 में, डेविड ई. रुमेलहार्ट और अन्य। तकनीक का एक प्रयोगात्मक विश्लेषण प्रकाशित किया। कन्वोलुशनल परतों और डाउनसैंपलिंग परतों के साथ कन्वोलुशनल न्यूरल नेटवर्क (सी. एन. एन.) के लिए गहन शिक्षण वास्तुकला 1980 में कुनिहिको फुकुशिमा द्वारा पेश किए गए नियोकॉग्निट्रॉन के साथ शुरू हुई। 1969 में, उन्होंने आर. ई. एल. यू. (रेक्टिफाइड लीनियर यूनिट) सक्रियण कार्य भी शुरू किया। रेक्टिफायर सी. एन. एन. और सामान्य रूप से गहन सीखने के लिए सबसे लोकप्रिय सक्रियण कार्य बन गया है। सी. एन. एन. कंप्यूटर दृष्टि के लिए एक आवश्यक उपकरण बन गया है। डीप लर्निंग शब्द को 1986 में रीना डेक्टर द्वारा मशीन लर्निंग समुदाय के लिए और 2000 में इगोर आइजेनबर्ग और सहयोगियों द्वारा बूलियन थ्रेसहोल्ड न्यूरॉन्स के संदर्भ में कृत्रिम तंत्रिका नेटवर्क के लिए पेश किया गया था। 1988 में, वेई झांग और अन्य। वर्णमाला पहचान के लिए बैकप्रोपेगेशन एल्गोरिथ्म को एक कन्वोलुशनल न्यूरल नेटवर्क (छवि विशेषता परतों और अंतिम पूरी तरह से जुड़ी परत के बीच कन्वोलुशनल इंटरकनेक्शन के साथ एक सरलीकृत नियोकॉग्निट्रॉन) पर लागू किया गया। उन्होंने एक ऑप्टिकल कंप्यूटिंग प्रणाली के साथ सीएनएन के कार्यान्वयन का भी प्रस्ताव रखा। 1989 में, यान लेकुन और अन्य। डाक पर हस्तलिखित ज़िप कोड को पहचानने के उद्देश्य से सी. एन. एन. को बैकप्रोपेगेशन लागू किया गया। जबकि एल्गोरिथ्म ने काम किया, प्रशिक्षण के लिए 3 दिनों की आवश्यकता थी। इसके बाद, वेई झांग और अन्य। अंतिम पूरी तरह से जुड़ी परत को हटाकर अपने मॉडल को संशोधित किया और इसे 1991 में चिकित्सा छवि वस्तु विभाजन और 1994 में मैमोग्राम में स्तन कैंसर का पता लगाने के लिए लागू किया। लेनट-5 (1998), यान लेकुन एट अल द्वारा 7-स्तरीय सी. एन. एन., जो अंकों को वर्गीकृत करता है, कई बैंकों द्वारा 32x32 पिक्सेल छवियों में डिजिटल किए गए चेक पर हाथ से लिखे गए नंबरों को पहचानने के लिए लागू किया गया था। 1980 के दशक में, बैकप्रोपेगेशन ने लंबे क्रेडिट असाइनमेंट रास्तों के साथ गहन सीखने के लिए अच्छी तरह से काम नहीं किया। इस समस्या को दूर करने के लिए, जुर्गेन श्मिधुबर (1992) ने स्व-पर्यवेक्षित शिक्षा द्वारा एक समय में एक स्तर पर पूर्व-प्रशिक्षित आर. एन. एन. के पदानुक्रम का प्रस्ताव रखा। यह कई स्व-व्यवस्थित समय पैमाने पर आंतरिक प्रतिनिधित्व सीखने के लिए भविष्यसूचक कोडिंग का उपयोग करता है। यह डाउनस्ट्रीम गहन शिक्षा को काफी हद तक सुविधाजनक बना सकता है। आर. एन. एन. पदानुक्रम को एक एकल आर. एन. एन. में ध्वस्त किया जा सकता है, एक उच्च स्तर के चंकर नेटवर्क को निचले स्तर के स्वचालित नेटवर्क में आसुत करके। 1993 में, एक चंकर ने एक गहन शिक्षण कार्य को हल किया जिसकी गहराई 1000 से अधिक थी। 1992 में, जुर्गेन श्मिधुबर ने आर. एन. एन. का एक विकल्प भी प्रकाशित किया जिसे अब रैखिक ट्रांसफॉर्मर या रैखिक स्व-ध्यान के साथ एक ट्रांसफॉर्मर कहा जाता है (एक सामान्यीकरण ऑपरेटर को छोड़कर)। यह ध्यान की आंतरिक स्पॉटलाइट सीखता हैः एक धीमा फीडफॉरवर्ड न्यूरल नेटवर्क स्वयं-उत्पन्न सक्रियण पैटर्न एफ. आर. ओ. एम. और टी. ओ. (जिन्हें अब स्वयं-ध्यान के लिए कुंजी और मूल्य कहा जाता है) के बाहरी उत्पादों के माध्यम से दूसरे न्यूरल नेटवर्क के तेज वजन को नियंत्रित करने के लिए ढाल वंश द्वारा सीखता है। यह तेज वजन ध्यान मानचित्रण एक क्वेरी पैटर्न पर लागू किया जाता है। आधुनिक ट्रांसफॉर्मर आशीष वासवानी आदि द्वारा पेश किया गया था। अल। उनके 2017 के पेपर "अटेंशन इज ऑल यू नीड" में। यह इसे एक सॉफ्टमैक्स ऑपरेटर और एक प्रोजेक्शन मैट्रिक्स के साथ जोड़ता है। ट्रांसफॉर्मर तेजी से प्राकृतिक भाषा प्रसंस्करण के लिए पसंद का मॉडल बन गए हैं। कई आधुनिक बड़े भाषा मॉडल जैसे चैटजीपीटी, जीपीटी-4 और बीईआरटी इसका उपयोग करते हैं। ट्रांसफॉर्मर का उपयोग कंप्यूटर दृष्टि में भी तेजी से किया जा रहा है। 1991 में, जुर्गेन श्मिधुबर ने प्रतिकूल तंत्रिका नेटवर्क भी प्रकाशित किए जो एक शून्य-राशि खेल के रूप में एक दूसरे के साथ प्रतिस्पर्धा करते हैं, जहां एक नेटवर्क का लाभ दूसरे नेटवर्क का नुकसान है। पहला नेटवर्क एक उत्पादक मॉडल है जो आउटपुट पैटर्न पर संभाव्यता वितरण का मॉडल बनाता है। दूसरा नेटवर्क इन प्रतिरूपों के प्रति पर्यावरण की प्रतिक्रियाओं की भविष्यवाणी करने के लिए ढाल वंश द्वारा सीखता है। इसे "कृत्रिम जिज्ञासा" कहा जाता था। 2014 में, इस सिद्धांत का उपयोग इयान गुडफेलो एट अल द्वारा एक उत्पादक प्रतिकूल नेटवर्क (जी. ए. एन.) में किया गया था। यहाँ पर्यावरणीय प्रतिक्रिया 1 या 0 है जो इस बात पर निर्भर करती है कि पहले नेटवर्क का आउटपुट किसी दिए गए सेट में है या नहीं। इसका उपयोग यथार्थवादी डीपफेक बनाने के लिए किया जा सकता है। टेरो कर्रास एट द्वारा प्रगतिशील जी. ए. एन. पर आधारित एनवीडिया के स्टाइल जी. ए. एन. (2018) द्वारा उत्कृष्ट छवि गुणवत्ता प्राप्त की गई है। अल। यहाँ जी. ए. एन. जनरेटर को पिरामिड शैली में छोटे से बड़े पैमाने पर उगाया जाता है। सेप होक्रेइटर की डिप्लोमा थीसिस (1991) को उनके पर्यवेक्षक श्मिधुबर ने "मशीन लर्निंग के इतिहास में सबसे महत्वपूर्ण दस्तावेजों में से एक" कहा था। इसने न केवल तंत्रिका इतिहास कंप्रेसर का परीक्षण किया, बल्कि लुप्त होती ढाल समस्या की पहचान और विश्लेषण भी किया। होक्रेइटर ने इस समस्या को हल करने के लिए आवर्ती अवशिष्ट कनेक्शन का प्रस्ताव रखा। इसने 1997 में प्रकाशित लंबी अल्पकालिक स्मृति (एल. एस. टी. एम.) नामक गहन शिक्षण पद्धति को जन्म दिया। एल. एस. टी. एम. आवर्ती तंत्रिका नेटवर्क लंबे क्रेडिट असाइनमेंट पथ के साथ "बहुत गहरी शिक्षा" कार्यों को सीख सकते हैं जिनके लिए उन घटनाओं की यादों की आवश्यकता होती है जो हजारों अलग-अलग समय कदम पहले हुई थीं। फॉरगेट गेट के साथ "वेनिला एलएसटीएम" 1999 में फेलिक्स गेर्स, श्मिधुबर और फ्रेड कमिंस द्वारा पेश किया गया था। एल. एस. टी. एम. 20वीं सदी का सबसे अधिक उद्धृत तंत्रिका नेटवर्क बन गया है। 2015 में, रुपेश कुमार श्रीवास्तव, क्लाउस ग्रेफ और श्मिधुबर ने राजमार्ग नेटवर्क बनाने के लिए एलएसटीएम सिद्धांतों का उपयोग किया, जो सैकड़ों परतों वाला एक फीडफॉरवर्ड तंत्रिका नेटवर्क है, जो पिछले नेटवर्क की तुलना में बहुत गहरा है। 7 महीने बाद, कैमिंग हे, शियांग्यू झांग; शाओकिंग रेन और जियान सन ने अवशिष्ट तंत्रिका नेटवर्क नामक एक ओपन-गेटेड या गेटलेस हाईवे नेटवर्क संस्करण के साथ इमेजनेट 2015 प्रतियोगिता जीती। यह 21वीं सदी का सबसे अधिक उद्धृत तंत्रिका नेटवर्क बन गया है। 1994 में, आंद्रे डी कार्वाल्हो ने माइक फेयरहर्स्ट और डेविड बिसेट के साथ मिलकर एक बहु-परत वाले बूलियन तंत्रिका नेटवर्क के प्रयोगात्मक परिणाम प्रकाशित किए, जिसे भार रहित तंत्रिका नेटवर्क के रूप में भी जाना जाता है, जो एक 3-परत वाले स्व-व्यवस्थित सुविधा निष्कर्षण तंत्रिका नेटवर्क मॉड्यूल (एस. ओ. एफ. टी.) से बना है, जिसके बाद एक बहु-परत वर्गीकरण तंत्रिका नेटवर्क मॉड्यूल (जी. एस. एन.) है, जिसे स्वतंत्र रूप से प्रशिक्षित किया गया था। विशेषता निष्कर्षण मॉड्यूल में प्रत्येक परत पिछली परत के संबंध में बढ़ती जटिलता के साथ विशेषताओं को निकालती है। 1995 में, ब्रेंडन फ्रे ने प्रदर्शित किया कि पीटर दयान और हिंटन के साथ सह-विकसित वेक-स्लीप एल्गोरिदम का उपयोग करके छह पूरी तरह से जुड़ी परतों और कई सौ छिपी हुई इकाइयों वाले नेटवर्क को प्रशिक्षित करना (दो दिनों में) संभव था। 1997 के बाद से, स्वेन बेह्नके ने निर्णयों में संदर्भ को लचीले ढंग से शामिल करने और स्थानीय अस्पष्टताओं को बार-बार हल करने के लिए पार्श्व और पिछड़े कनेक्शनों द्वारा न्यूरल एब्स्ट्रैक्शन पिरामिड में फीड-फॉरवर्ड पदानुक्रमित दृष्टिकोण का विस्तार किया। कृत्रिम तंत्रिका नेटवर्क (ए. एन. एन.) की कम्प्यूटेशनल लागत और मस्तिष्क अपने जैविक नेटवर्क को कैसे तार करता है, इसकी समझ की कमी के कारण 1990 और 2000 के दशक में गैबर फिल्टर और सपोर्ट वेक्टर मशीन (एस. वी. एम.) जैसी कार्य-विशिष्ट हस्तनिर्मित विशेषताओं का उपयोग करने वाले सरल मॉडल एक लोकप्रिय विकल्प थे। भाषण पहचान के लिए ए. एन. एन. की उथली और गहरी शिक्षा (जैसे, आवर्ती जाल) दोनों का कई वर्षों से पता लगाया गया है। इन विधियों ने भेदभावपूर्ण रूप से प्रशिक्षित भाषण के उत्पादक मॉडल पर आधारित गैर-समान आंतरिक-हस्तशिल्प गौसियन मिश्रण मॉडल/हिडन मार्कोव मॉडल (जी. एम. एम.-एच. एम. एम.) प्रौद्योगिकी को कभी भी पीछे नहीं छोड़ा। प्रमुख कठिनाइयों का विश्लेषण किया गया है, जिसमें तंत्रिका भविष्यसूचक मॉडल में ढाल घटाना और कमजोर अस्थायी सहसंबंध संरचना शामिल हैं। अतिरिक्त कठिनाइयाँ प्रशिक्षण डेटा की कमी और सीमित कंप्यूटिंग शक्ति थीं। अधिकांश भाषण पहचान शोधकर्ता जनरेटिव मॉडलिंग को आगे बढ़ाने के लिए तंत्रिका जाल से दूर चले गए। 1990 के दशक के अंत में एस. आर. आई. इंटरनेशनल में एक अपवाद था। अमेरिकी सरकार के एन. एस. ए. और डी. ए. आर. पी. ए. द्वारा वित्त पोषित, एस. आर. आई. ने भाषण और वक्ता की पहचान में गहरे तंत्रिका नेटवर्क का अध्ययन किया। लैरी हेक के नेतृत्व में वक्ता मान्यता दल ने 1998 के राष्ट्रीय मानक और प्रौद्योगिकी संस्थान वक्ता मान्यता मूल्यांकन में भाषण प्रसंस्करण में गहरे तंत्रिका नेटवर्क के साथ महत्वपूर्ण सफलता की सूचना दी। एस. आर. आई. डीप न्यूरल नेटवर्क को तब न्यून्स वेरिफायर में तैनात किया गया था, जो डीप लर्निंग के पहले प्रमुख औद्योगिक अनुप्रयोग का प्रतिनिधित्व करता है। हाथ से तैयार किए गए अनुकूलन पर "कच्चे" सुविधाओं को बढ़ाने के सिद्धांत को पहली बार 1990 के दशक के अंत में "कच्चे" स्पेक्ट्रोग्राम या रैखिक फ़िल्टर-बैंक सुविधाओं पर गहरे ऑटोएन्कोडर की वास्तुकला में सफलतापूर्वक खोजा गया था, जो मेल-सेप्स्ट्रल सुविधाओं पर अपनी श्रेष्ठता को दर्शाता है जिसमें स्पेक्ट्रोग्राम से निश्चित परिवर्तन के चरण होते हैं। भाषण की कच्ची विशेषताओं, तरंग रूपों ने बाद में उत्कृष्ट बड़े पैमाने पर परिणाम दिए। भाषण मान्यता एल. एस. टी. एम. द्वारा ले ली गई थी। 2003 में, एल. एस. टी. एम. ने कुछ कार्यों पर पारंपरिक भाषण पहचानने वालों के साथ प्रतिस्पर्धा करना शुरू कर दिया। 2006 में, एलेक्स ग्रेव्स, सैंटियागो फर्नांडीज, फॉस्टिनो गोमेज़ और श्मिधुबर ने इसे एलएसटीएम आरएनएन के ढेर में संयोजक अस्थायी वर्गीकरण (सीटीसी) के साथ जोड़ा। 2015 में, गूगल की स्पीच रिकग्निशन ने कथित तौर पर सीटीसी-प्रशिक्षित एलएसटीएम के माध्यम से 49 प्रतिशत की नाटकीय प्रदर्शन उछाल का अनुभव किया, जिसे उन्होंने गूगल वॉयस सर्च के माध्यम से उपलब्ध कराया। यान लेकुन के अनुसार, उद्योग में गहन शिक्षा का प्रभाव 2000 के दशक की शुरुआत में शुरू हुआ, जब सी. एन. एन. पहले से ही अमेरिका में लिखे गए सभी चेकों के अनुमानित 10 प्रतिशत से 20 प्रतिशत को संसाधित कर चुका था। बड़े पैमाने पर भाषण मान्यता के लिए गहन शिक्षा के औद्योगिक अनुप्रयोग 2010 के आसपास शुरू हुए। 2006 में, ज्योफ हिंटन, रुस्लान सलखुतदिनोव, ओसिंडरो और तेह के प्रकाशनों ने दिखाया कि कैसे एक कई-स्तरीय फीडफॉरवर्ड न्यूरल नेटवर्क को एक समय में एक परत को प्रभावी ढंग से पूर्व-प्रशिक्षित किया जा सकता है, प्रत्येक परत को एक गैर-पर्यवेक्षित प्रतिबंधित बोल्ट्जमैन मशीन के रूप में माना जाता है, फिर पर्यवेक्षित बैकप्रोपेगेशन का उपयोग करके इसे ठीक किया जाता है। शोधपत्रों में गहरे विश्वास के जाल के लिए सीखने का उल्लेख किया गया था। 2009 एन. आई. पी. एस. कार्यशाला ऑन डीप लर्निंग फॉर स्पीच रिकग्निशन भाषण के गहन उत्पादक मॉडलों की सीमाओं और इस संभावना से प्रेरित थी कि अधिक सक्षम हार्डवेयर और बड़े पैमाने पर डेटा सेट दिए जाने पर डीप न्यूरल नेट (डी. एन. एन.) व्यावहारिक हो सकते हैं। ऐसा माना जाता था कि डीप ट्रस्ट नेट (डी. बी. एन.) के उत्पादक मॉडल का उपयोग करके डी. एन. एन. को पूर्व-प्रशिक्षित करने से तंत्रिका जाल की मुख्य कठिनाइयों को दूर किया जा सकेगा। हालांकि, यह पता चला कि बड़ी, संदर्भ-निर्भर उत्पादन परतों के साथ डी. एन. एन. का उपयोग करते समय सीधे बैकप्रोपेगेशन के लिए बड़ी मात्रा में प्रशिक्षण डेटा के साथ पूर्व-प्रशिक्षण को बदलने से तत्कालीन अत्याधुनिक गौसियन मिश्रण मॉडल (जी. एम. एम.)/हिडन मार्कोव मॉडल (एच. एम. एम.) और अधिक उन्नत उत्पादक मॉडल-आधारित प्रणालियों की तुलना में त्रुटि दर नाटकीय रूप से कम हो गई। दो प्रकार की प्रणालियों द्वारा उत्पन्न मान्यता त्रुटियों की प्रकृति विशिष्ट रूप से अलग थी, जो सभी प्रमुख भाषण मान्यता प्रणालियों द्वारा तैनात मौजूदा अत्यधिक कुशल, रन-टाइम स्पीच डिकोडिंग प्रणाली में गहन शिक्षा को एकीकृत करने के लिए तकनीकी अंतर्दृष्टि प्रदान करती है। जी. एम. एम. (और अन्य उत्पादक भाषण मॉडल) बनाम डी. एन. एन. मॉडल के विपरीत, 2009-2010 के आसपास के विश्लेषण ने भाषण पहचान के लिए गहन शिक्षा में प्रारंभिक औद्योगिक निवेश को प्रोत्साहित किया। यह विश्लेषण विभेदक डी. एन. एन. और उत्पादक मॉडल के बीच तुलनीय प्रदर्शन (त्रुटि दर में 1.5% से कम) के साथ किया गया था। 2010 में, शोधकर्ताओं ने निर्णय पेड़ों द्वारा निर्मित संदर्भ-निर्भर एच. एम. एम. राज्यों के आधार पर डी. एन. एन. की बड़ी उत्पादन परतों को अपनाकर, टी. आई. एम. आई. टी. से बड़ी शब्दावली भाषण मान्यता तक गहरी शिक्षा का विस्तार किया। गहन शिक्षा विभिन्न विषयों, विशेष रूप से कंप्यूटर दृष्टि और स्वचालित भाषण पहचान (ए. एस. आर.) में अत्याधुनिक प्रणालियों का हिस्सा है। टी. आई. एम. आई. टी. (ए. एस. आर.) और एम. एन. आई. एस. टी. (छवि वर्गीकरण) जैसे आम तौर पर उपयोग किए जाने वाले मूल्यांकन सेटों के साथ-साथ बड़ी-शब्दावली वाले भाषण पहचान कार्यों की एक श्रृंखला के परिणामों में लगातार सुधार हुआ है। एल. एस. टी. एम. के लिए सी. टी. सी. द्वारा ए. एस. आर. के लिए कन्वोलुशनल न्यूरल नेटवर्क (सी. एन. एन.) को हटा दिया गया था। लेकिन कंप्यूटर दृष्टि में अधिक सफल हैं। हार्डवेयर में प्रगति ने गहन शिक्षा में नए सिरे से रुचि पैदा की है। 2009 में, एनवीडिया को गहन शिक्षण के "बिग बैंग" में शामिल किया गया था, "क्योंकि गहन-शिक्षण तंत्रिका नेटवर्क को एनवीडिया ग्राफिक्स प्रसंस्करण इकाइयों (जीपीयू) के साथ प्रशिक्षित किया गया था।" उस वर्ष, एंड्रयू एनजी ने निर्धारित किया कि जीपीयू गहन-शिक्षण प्रणालियों की गति को लगभग 100 गुना बढ़ा सकते हैं। विशेष रूप से, जी. पी. यू. मशीन लर्निंग में शामिल मैट्रिक्स/वेक्टर गणनाओं के लिए अच्छी तरह से अनुकूल हैं। जी. पी. यू. प्रशिक्षण एल्गोरिदम को परिमाण के क्रम से गति देते हैं, जिससे चलने का समय हफ्तों से दिनों तक कम हो जाता है। इसके अलावा, गहन शिक्षण मॉडल के कुशल प्रसंस्करण के लिए विशेष हार्डवेयर और एल्गोरिदम अनुकूलन का उपयोग किया जा सकता है। गहन शिक्षण क्रांति 2000 के दशक के अंत में, गहन शिक्षण ने मशीन शिक्षण प्रतियोगिताओं में अन्य तरीकों से बेहतर प्रदर्शन करना शुरू कर दिया। 2009 में, संपर्कवादी लौकिक वर्गीकरण (एलेक्स ग्रेव्स, सैंटियागो फर्नांडीज, फॉस्टिनो गोमेज़ और जुर्गेन श्मिधुबर, 2006) द्वारा प्रशिक्षित एक लंबी अल्पकालिक स्मृति, पैटर्न मान्यता प्रतियोगिता जीतने वाली पहली आरएनएन थी, जिसने जुड़े हुए हस्ताक्षर मान्यता में तीन प्रतियोगिताएँ जीतीं। गूगल ने बाद में स्मार्टफोन पर भाषण पहचानने के लिए सीटीसी-प्रशिक्षित एलएसटीएम का उपयोग किया। 2011 से 2012 तक छवि या वस्तु की पहचान में महत्वपूर्ण प्रभाव महसूस किए गए। हालाँकि बैकप्रोपेगेशन द्वारा प्रशिक्षित सी. एन. एन. दशकों से थे, और सी. एन. एन. सहित वर्षों से एन. एन. के जी. पी. यू. कार्यान्वयन, कंप्यूटर दृष्टि पर प्रगति के लिए जी. पी. यू. पर सी. एन. एन. के तेजी से कार्यान्वयन की आवश्यकता थी। 2011 में, डैन सिरेसन, उली मेयर, जोनाथन मास्की, लुका मारिया गैम्बार्डेला और जुर्गेन श्मिधुबर द्वारा डैननेट ने पहली बार एक दृश्य पैटर्न मान्यता प्रतियोगिता में अलौकिक प्रदर्शन हासिल किया, जिसमें पारंपरिक तरीकों को 3 के कारक से बेहतर प्रदर्शन किया गया। 2011 में भी, डैननेट ने आई. सी. डी. ए. आर. चीनी हस्तलेखन प्रतियोगिता जीती, और मई 2012 में, इसने आई. एस. बी. आई. छवि विभाजन प्रतियोगिता जीती। 2011 तक, सी. एन. एन. ने कंप्यूटर दृष्टि सम्मेलनों में एक प्रमुख भूमिका नहीं निभाई, लेकिन जून 2012 में, सिरेसन एट अल द्वारा एक पेपर। प्रमुख सम्मेलन में सी. वी. पी. आर. ने दिखाया कि जी. पी. यू. पर अधिकतम-पूलिंग सी. एन. एन. कैसे कई दृष्टि बेंचमार्क रिकॉर्ड में नाटकीय रूप से सुधार कर सकते हैं। सितंबर 2012 में, डैननेट ने कैंसर का पता लगाने के लिए बड़ी चिकित्सा छवियों के विश्लेषण पर आईसीपीआर प्रतियोगिता भी जीती, और अगले वर्ष भी इसी विषय पर एमआईसीसीएआई ग्रैंड चैलेंज जीता। अक्टूबर 2012 में, एलेक्स क्रिज़ेव्स्की, इल्या सटस्केवर और जेफ्री हिंटन द्वारा इसी तरह के एलेक्सनेट ने उथले मशीन सीखने के तरीकों पर एक महत्वपूर्ण अंतर से बड़े पैमाने पर इमेजनेट प्रतियोगिता जीती। करेन सिमोनयान और एंड्रयू ज़िसरमैन द्वारा वी. जी. जी.-16 नेटवर्क ने त्रुटि दर को और कम कर दिया और बड़े पैमाने पर भाषण मान्यता में एक समान प्रवृत्ति का पालन करते हुए इमेजनेट 2014 प्रतियोगिता जीती। छवि वर्गीकरण को तब छवियों के लिए विवरण (कैप्शन) उत्पन्न करने के अधिक चुनौतीपूर्ण कार्य तक विस्तारित किया गया था, अक्सर सीएनएन और एलएसटीएम के संयोजन के रूप में। 2012 में, जॉर्ज ई. डाहल के नेतृत्व में एक टीम ने एक दवा के जैव-आणविक लक्ष्य की भविष्यवाणी करने के लिए बहु-कार्य गहरे तंत्रिका नेटवर्क का उपयोग करके "मर्क आणविक गतिविधि चुनौती" जीती। 2014 में, सेप होकरेइटर के समूह ने पोषक तत्वों, घरेलू उत्पादों और दवाओं में पर्यावरणीय रसायनों के गैर-लक्षित और विषाक्त प्रभावों का पता लगाने के लिए गहन शिक्षा का उपयोग किया और एन. आई. एच., एफ. डी. ए. और एन. सी. ए. टी. एस. का "टॉक्स 21 डेटा चैलेंज" जीता। 2016 में, रोजर पार्लोफ ने एक "गहरी सीखने की क्रांति" का उल्लेख किया जिसने ए. आई. उद्योग को बदल दिया है। मार्च 2019 में, योशुआ बेंगियो, जेफ्री हिंटन और यान लेकुन को वैचारिक और इंजीनियरिंग सफलताओं के लिए ट्यूरिंग पुरस्कार से सम्मानित किया गया, जिन्होंने गहरे तंत्रिका नेटवर्क को कंप्यूटिंग का एक महत्वपूर्ण घटक बना दिया है। न्यूरल नेटवर्क आर्टिफिशियल न्यूरल नेटवर्क (ए. एन. एन.) या कनेक्शनिस्ट सिस्टम जैविक न्यूरल नेटवर्क से प्रेरित कंप्यूटिंग सिस्टम हैं जो जानवरों के दिमाग का गठन करते हैं। इस तरह की प्रणालियाँ आम तौर पर कार्य-विशिष्ट प्रोग्रामिंग के बिना उदाहरणों पर विचार करके कार्यों को करने के लिए सीखती हैं (उत्तरोत्तर अपनी क्षमता में सुधार करती हैं)। उदाहरण के लिए, छवि पहचान में, वे बिल्लियों वाली छवियों की पहचान करना सीख सकते हैं, उदाहरण के लिए उन छवियों का विश्लेषण करके जिन्हें मैन्युअल रूप से "बिल्ली" या "बिल्ली नहीं" के रूप में लेबल किया गया है और अन्य छवियों में बिल्लियों की पहचान करने के लिए विश्लेषणात्मक परिणामों का उपयोग कर सकते हैं। उन्होंने नियम-आधारित प्रोग्रामिंग का उपयोग करके पारंपरिक कंप्यूटर एल्गोरिदम के साथ व्यक्त करने के लिए अनुप्रयोगों में अधिकांश उपयोग को मुश्किल पाया है। ए. एन. एन. कृत्रिम न्यूरॉन्स नामक जुड़ी हुई इकाइयों के संग्रह पर आधारित है, (जैविक मस्तिष्क में जैविक न्यूरॉन्स के अनुरूप)। न्यूरॉन्स के बीच प्रत्येक संबंध (सिनेप्स) एक संकेत को दूसरे न्यूरॉन में संचारित कर सकता है। प्राप्त करने वाला (पोस्टसिनेप्टिक) न्यूरॉन संकेतों को संसाधित कर सकता है और फिर उससे जुड़े डाउनस्ट्रीम न्यूरॉन्स को संकेत दे सकता है। न्यूरॉन्स की अवस्था हो सकती है, जिसे आम तौर पर वास्तविक संख्याओं द्वारा दर्शाया जाता है, आमतौर पर 0 और 1 के बीच। न्यूरॉन्स और सिनेप्स का एक वजन भी हो सकता है जो सीखने की प्रगति के साथ बदलता है, जो संकेत की ताकत को बढ़ा या घटा सकता है जो यह नीचे की ओर भेजता है। आमतौर पर, न्यूरॉन्स परतों में व्यवस्थित होते हैं। विभिन्न परतें अपने निवेश पर विभिन्न प्रकार के परिवर्तन कर सकती हैं। संकेत पहली (इनपुट) से अंतिम (आउटपुट) परत तक यात्रा करते हैं, संभवतः परतों को कई बार पार करने के बाद। न्यूरल नेटवर्क दृष्टिकोण का मूल लक्ष्य समस्याओं को उसी तरह हल करना था जैसे मानव मस्तिष्क करता है। समय के साथ, ध्यान विशिष्ट मानसिक क्षमताओं के मिलान पर केंद्रित हुआ, जिससे बैकप्रोपेगेशन जैसे जीव विज्ञान से विचलन हुआ, या जानकारी को विपरीत दिशा में पारित किया गया और उस जानकारी को प्रतिबिंबित करने के लिए नेटवर्क को समायोजित किया गया। तंत्रिका नेटवर्क का उपयोग विभिन्न प्रकार के कार्यों में किया गया है, जिसमें कंप्यूटर दृष्टि, भाषण पहचान, मशीन अनुवाद, सामाजिक नेटवर्क फ़िल्टरिंग, बोर्ड और वीडियो गेम खेलना और चिकित्सा निदान शामिल हैं। 2017 तक, तंत्रिका नेटवर्क में आम तौर पर कुछ हजार से कुछ मिलियन इकाइयाँ और लाखों कनेक्शन होते हैं। यह संख्या मानव मस्तिष्क पर न्यूरॉन्स की संख्या से कम परिमाण के कई क्रम होने के बावजूद, ये नेटवर्क मनुष्यों से परे के स्तर पर कई कार्य कर सकते हैं (जैसे, चेहरों को पहचानना, या "गो" खेलना)। डीप न्यूरल नेटवर्क (डी. एन. एन.) एक कृत्रिम न्यूरल नेटवर्क (ए. एन. एन.) है जिसमें इनपुट और आउटपुट परतों के बीच कई परतें होती हैं। विभिन्न प्रकार के तंत्रिका तंत्र होते हैं लेकिन उनमें हमेशा एक ही घटक होते हैंः न्यूरॉन्स, सिनेप्स, भार, पूर्वाग्रह और कार्य। ये घटक एक संपूर्ण कार्य के रूप में मानव मस्तिष्क के समान कार्य करते हैं, और इन्हें किसी भी अन्य एम. एल. एल्गोरिदम की तरह प्रशिक्षित किया जा सकता है। उदाहरण के लिए, एक डी. एन. एन. जो कुत्ते की नस्लों को पहचानने के लिए प्रशिक्षित है, दी गई छवि पर जाएगा और इस संभावना की गणना करेगा कि छवि में कुत्ता एक निश्चित नस्ल है। उपयोगकर्ता परिणामों की समीक्षा कर सकता है और चुन सकता है कि नेटवर्क को कौन सी संभावनाएं प्रदर्शित करनी चाहिए (एक निश्चित सीमा से ऊपर, आदि)। और प्रस्तावित लेबल को वापस कर दें। प्रत्येक गणितीय हेरफेर को एक परत माना जाता है, और जटिल डी. एन. एन. में कई परतें होती हैं, इसलिए इसका नाम "डीप" नेटवर्क है। डी. एन. एन. जटिल गैर-रैखिक संबंधों का मॉडल बना सकते हैं। डी. एन. एन. वास्तुकला संरचनात्मक मॉडल उत्पन्न करती है जहाँ वस्तु को आदिम की एक स्तरित संरचना के रूप में व्यक्त किया जाता है। अतिरिक्त परतें निचली परतों से सुविधाओं की संरचना को सक्षम करती हैं, संभावित रूप से कम इकाइयों के साथ जटिल डेटा का मॉडलिंग एक समान प्रदर्शन करने वाले उथले नेटवर्क की तुलना में करती हैं। उदाहरण के लिए, यह साबित किया गया था कि उथले नेटवर्क की तुलना में डी. एन. एन. के साथ विरल बहुभिन्नरूपी बहुपदों का अनुमान लगाना तेजी से आसान है। गहन वास्तुकला में कुछ बुनियादी दृष्टिकोणों के कई रूप शामिल हैं। प्रत्येक वास्तुकला को विशिष्ट क्षेत्रों में सफलता मिली है। कई संरचनाओं के प्रदर्शन की तुलना करना हमेशा संभव नहीं होता है, जब तक कि उनका मूल्यांकन एक ही डेटा सेट पर नहीं किया गया हो। डी. एन. एन. आम तौर पर फीडफॉरवर्ड नेटवर्क होते हैं जिनमें डेटा बिना लूप किए इनपुट परत से आउटपुट परत में प्रवाहित होता है। सबसे पहले, डी. एन. एन. आभासी न्यूरॉन्स का एक नक्शा बनाता है और उनके बीच संबंधों के लिए यादृच्छिक संख्यात्मक मान, या "भार" निर्धारित करता है। भार और निवेश को गुणा किया जाता है और 0 और 1 के बीच एक आउटपुट देता है। यदि नेटवर्क किसी विशेष पैटर्न को सटीक रूप से नहीं पहचानता है, तो एक एल्गोरिथ्म वजन को समायोजित करेगा। इस तरह से एल्गोरिथ्म कुछ मापदंडों को अधिक प्रभावशाली बना सकता है, जब तक कि यह डेटा को पूरी तरह से संसाधित करने के लिए सही गणितीय हेरफेर निर्धारित नहीं करता है। आवर्ती तंत्रिका नेटवर्क (आर. एन. एन.), जिसमें डेटा किसी भी दिशा में प्रवाहित हो सकता है, का उपयोग भाषा मॉडलिंग जैसे अनुप्रयोगों के लिए किया जाता है। इस उपयोग के लिए लंबी अल्पकालिक स्मृति विशेष रूप से प्रभावी है। कन्वोलुशनल डीप न्यूरल नेटवर्क (सी. एन. एन.) का उपयोग कंप्यूटर दृष्टि में किया जाता है। सी. एन. एन. को स्वचालित भाषण पहचान (ए. एस. आर.) के लिए ध्वनिक मॉडलिंग पर भी लागू किया गया है। चुनौती ए. एन. एन. की तरह, सरल रूप से प्रशिक्षित डी. एन. एन. के साथ कई मुद्दे उत्पन्न हो सकते हैं। दो सामान्य मुद्दे ओवरफिटिंग और गणना का समय हैं। डी. एन. एन. में अमूर्तता की अतिरिक्त परतों के कारण ओवरफिटिंग होने की संभावना होती है, जो उन्हें प्रशिक्षण डेटा में दुर्लभ निर्भरताओं को मॉडल करने की अनुमति देता है। ओवरफिटिंग का मुकाबला करने के लिए प्रशिक्षण के दौरान नियमितकरण विधियों जैसे कि इवाखनेन्को की इकाई छंटाई या वजन क्षय (-नियमितकरण) या स्पार्सिटी (-नियमितकरण) को लागू किया जा सकता है। वैकल्पिक रूप से ड्रॉपआउट नियमितकरण यादृच्छिक रूप से प्रशिक्षण के दौरान छिपी परतों से इकाइयों को छोड़ देता है। यह दुर्लभ निर्भरताओं को बाहर करने में मदद करता है। अंत में, डेटा को फसल और घूर्णन जैसी विधियों के माध्यम से बढ़ाया जा सकता है ताकि छोटे प्रशिक्षण सेटों को आकार में बढ़ाया जा सके ताकि ओवरफिटिंग की संभावना को कम किया जा सके। डी. एन. एन. को कई प्रशिक्षण मापदंडों पर विचार करना चाहिए, जैसे कि आकार (परतों की संख्या और प्रति परत इकाइयों की संख्या), सीखने की दर और प्रारंभिक भार। समय और कम्प्यूटेशनल संसाधनों में लागत के कारण इष्टतम मापदंडों के लिए पैरामीटर स्थान के माध्यम से स्वीप करना संभव नहीं हो सकता है। विभिन्न चालें, जैसे कि बैचिंग (व्यक्तिगत उदाहरणों के बजाय एक साथ कई प्रशिक्षण उदाहरणों पर ढाल की गणना) गणना को तेज करती हैं। मैट्रिक्स और वेक्टर गणनाओं के लिए इस तरह के प्रसंस्करण संरचनाओं की उपयुक्तता के कारण कई-कोर वास्तुकलाओं (जैसे जीपीयू या इंटेल ज़ीऑन फाई) की बड़ी प्रसंस्करण क्षमताओं ने प्रशिक्षण में महत्वपूर्ण गति पैदा की है। वैकल्पिक रूप से, इंजीनियर अधिक सीधे और अभिसारी प्रशिक्षण एल्गोरिदम के साथ अन्य प्रकार के तंत्रिका नेटवर्क की तलाश कर सकते हैं। सी. एम. ए. सी. (सेरेबेलर मॉडल आर्टिकुलेशन कंट्रोलर) इस तरह का एक तंत्रिका तंत्र है। इसके लिए सीखने की दर या यादृच्छिक प्रारंभिक भार की आवश्यकता नहीं है। प्रशिक्षण प्रक्रिया को डेटा के एक नए बैच के साथ एक चरण में अभिसरण की गारंटी दी जा सकती है, और प्रशिक्षण एल्गोरिदम की कम्प्यूटेशनल जटिलता शामिल न्यूरॉन्स की संख्या के संबंध में रैखिक है। हार्डवेयर 2010 के दशक से, मशीन लर्निंग एल्गोरिदम और कंप्यूटर हार्डवेयर दोनों में प्रगति ने गहरे तंत्रिका नेटवर्क को प्रशिक्षित करने के लिए अधिक कुशल तरीकों को जन्म दिया है जिसमें गैर-रैखिक छिपी इकाइयों की कई परतें और एक बहुत बड़ी आउटपुट परत होती है। 2019 तक, ग्राफिक प्रसंस्करण इकाइयों (जी. पी. यू.) ने, अक्सर ए. आई.-विशिष्ट संवर्द्धन के साथ, बड़े पैमाने पर वाणिज्यिक क्लाउड ए. आई. को प्रशिक्षित करने के प्रमुख तरीके के रूप में सी. पी. यू. को विस्थापित कर दिया था। ओपनएआई ने एलेक्सनेट (2012) से अल्फा ज़ीरो (2017) तक की सबसे बड़ी गहन शिक्षण परियोजनाओं में उपयोग की जाने वाली हार्डवेयर गणना का अनुमान लगाया, और 3-4 महीने की दोहरीकरण-समय प्रवृत्ति के साथ आवश्यक गणना की मात्रा में 300,000 गुना वृद्धि पाई। डीप लर्निंग प्रोसेसर नामक विशेष इलेक्ट्रॉनिक सर्किट को डीप लर्निंग एल्गोरिदम को गति देने के लिए डिज़ाइन किया गया था। डीप लर्निंग प्रोसेसर में हुआवेई सेलफोन में न्यूरल प्रोसेसिंग यूनिट (एनपीयू) और गूगल क्लाउड प्लेटफॉर्म में टेन्सर प्रोसेसिंग यूनिट (टीपीयू) जैसे क्लाउड कंप्यूटिंग सर्वर शामिल हैं। सेरेब्रास सिस्टम्स ने उद्योग के सबसे बड़े प्रोसेसर, दूसरी पीढ़ी के वेफर स्केल इंजन (डब्ल्यू. एस. ई.-2) पर आधारित बड़े गहन शिक्षण मॉडल, सी. एस.-2 को संभालने के लिए एक समर्पित प्रणाली भी बनाई है। परमाणु रूप से पतले अर्धचालकों को ऊर्जा-कुशल गहन शिक्षण हार्डवेयर के लिए आशाजनक माना जाता है जहां तर्क संचालन और डेटा भंडारण दोनों के लिए एक ही बुनियादी उपकरण संरचना का उपयोग किया जाता है। 2020 में, मारेगा एट अल। फ्लोटिंग-गेट फील्ड-इफेक्ट ट्रांजिस्टर (एफ. जी. एफ. ई. टी.) पर आधारित लॉजिक-इन-मेमोरी उपकरणों और परिपथों को विकसित करने के लिए एक बड़े क्षेत्र की सक्रिय चैनल सामग्री के साथ प्रकाशित प्रयोग। 2021 में, जे. फेल्डमैन और अन्य। समानांतर संवहनी प्रसंस्करण के लिए एक एकीकृत फोटोनिक हार्डवेयर त्वरक का प्रस्ताव रखा। लेखक अपने इलेक्ट्रॉनिक समकक्षों की तुलना में एकीकृत फोटोनिक्स के दो प्रमुख लाभों की पहचान करते हैंः (1) आवृत्ति कंघी के संयोजन में तरंग दैर्ध्य विभाजन मल्टीप्लेक्सिंग के माध्यम से बड़े पैमाने पर समानांतर डेटा हस्तांतरण, और (2) अत्यधिक उच्च डेटा मॉडुलन गति। उनकी प्रणाली प्रति सेकंड खरबों बहु-संचयी संचालनों को निष्पादित कर सकती है, जो डेटा-भारी AI अनुप्रयोगों में एकीकृत फोटोनिक्स की क्षमता को दर्शाती है। अनुप्रयोग स्वचालित भाषण पहचान बड़े पैमाने पर स्वचालित भाषण पहचान गहन सीखने का पहला और सबसे विश्वसनीय सफल मामला है। एल. एस. टी. एम. आर. एन. एन. "वेरी डीप लर्निंग" कार्यों को सीख सकते हैं जिनमें हजारों अलग-अलग समय चरणों द्वारा अलग किए गए भाषण कार्यक्रमों वाले बहु-सेकंड अंतराल शामिल होते हैं, जहां एक बार का कदम लगभग 10 एमएस से मेल खाता है। कुछ कार्यों पर फॉरगेट गेट के साथ एल. एस. टी. एम. पारंपरिक भाषण पहचानकर्ताओं के साथ प्रतिस्पर्धी है। भाषण पहचान में प्रारंभिक सफलता टी. आई. एम. आई. टी. के आधार पर छोटे पैमाने पर पहचान कार्यों पर आधारित थी। डेटा सेट में अमेरिकी अंग्रेजी की आठ प्रमुख बोलियों के 630 वक्ता हैं, जहां प्रत्येक वक्ता 10 वाक्य पढ़ता है। इसका छोटा आकार कई विन्यासों को आजमाने की अनुमति देता है। इससे भी महत्वपूर्ण बात यह है कि टी. आई. एम. आई. टी. कार्य फोन-अनुक्रम पहचान से संबंधित है, जो शब्द-अनुक्रम पहचान के विपरीत, कमजोर फोन बिग्राम भाषा मॉडल की अनुमति देता है। इससे भाषण पहचान के ध्वनिक प्रतिरूपण पहलुओं की ताकत का अधिक आसानी से विश्लेषण किया जा सकता है। नीचे सूचीबद्ध त्रुटि दर, इन प्रारंभिक परिणामों सहित और प्रतिशत फोन त्रुटि दर (पी. ई. आर.) के रूप में मापा गया, 1991 से संक्षेपित किया गया है। 1990 के दशक के अंत में वक्ता की पहचान के लिए डी. एन. एन. की शुरुआत और 2009-2011 के आसपास भाषण की पहचान और <आई. डी. 2 के आसपास एल. एस. टी. एम. की शुरुआत ने आठ प्रमुख क्षेत्रों में प्रगति को गति दीः स्केल-अप/आउट और त्वरित डी. एन. एन. प्रशिक्षण और डिकोडिंग अनुक्रम भेदभावपूर्ण प्रशिक्षण अंतर्निहित तंत्र की ठोस समझ के साथ गहरे मॉडल द्वारा सुविधा प्रसंस्करण डी. एन. एन. और संबंधित गहरे मॉडल का अनुकूलन डी. एन. एन. और संबंधित गहरे मॉडल सी. एन. एन. द्वारा बहु-कार्य और हस्तांतरण शिक्षा और भाषण आर. एन. एन. और इसके समृद्ध एल. एस. टी. एम. रूपों के डोमेन ज्ञान का सर्वोत्तम दोहन करने के लिए उन्हें कैसे डिजाइन किया जाए। सभी प्रमुख वाणिज्यिक भाषण पहचान प्रणाली (जैसे, माइक्रोसॉफ्ट कोर्टाना, एक्सबॉक्स, स्काइप अनुवादक, अमेज़ॅन एलेक्सा, गूगल नाउ, एप्पल सिरी, बाइडू और आईफ्लाईटेक आवाज खोज, और नुआंस भाषण उत्पादों की एक श्रृंखला, आदि) ये गहन शिक्षा पर आधारित हैं। छवि पहचान छवि वर्गीकरण के लिए एक सामान्य मूल्यांकन सेट एमएनआईएसटी डेटाबेस डेटा सेट है। एम. एन. आई. एस. टी. हस्तलिखित अंकों से बना है और इसमें 60,000 प्रशिक्षण उदाहरण और 10,000 परीक्षण उदाहरण शामिल हैं। टी. आई. एम. आई. टी. की तरह, इसका छोटा आकार उपयोगकर्ताओं को कई विन्यासों का परीक्षण करने देता है। इस समूह पर परिणामों की एक व्यापक सूची उपलब्ध है। गहन शिक्षा-आधारित छवि पहचान "अलौकिक" बन गई है, जो मानव प्रतियोगियों की तुलना में अधिक सटीक परिणाम देती है। यह पहली बार 2011 में यातायात संकेतों की मान्यता में और 2014 में मानव चेहरों की पहचान के साथ हुआ था। गहन शिक्षण-प्रशिक्षित वाहन अब 360° कैमरा दृश्यों की व्याख्या करते हैं। एक अन्य उदाहरण फेशियल डिस्मॉर्फोलॉजी नॉवेल एनालिसिस (एफ. डी. एन. ए.) है जिसका उपयोग आनुवंशिक सिंड्रोम के एक बड़े डेटाबेस से जुड़े मानव विकृति के मामलों का विश्लेषण करने के लिए किया जाता है। दृश्य कला प्रसंस्करण छवि पहचान में हुई प्रगति से निकटता से संबंधित विभिन्न दृश्य कला कार्यों के लिए गहन शिक्षण तकनीकों का बढ़ता हुआ अनुप्रयोग है। डी. एन. एन. ने खुद को सक्षम साबित किया है, उदाहरण के लिए, किसी दी गई कलाकृति की शैली को पकड़ने वाली किसी पेंटिंग की शैली अवधि की पहचान करने और यादृच्छिक दृश्य इनपुट क्षेत्रों के आधार पर हड़ताली इमेजरी उत्पन्न करने वाले मनमाने फोटोग्राफ या वीडियो पर इसे दृश्य रूप से मनभावन तरीके से लागू करने में। 2000 के दशक की शुरुआत से भाषा मॉडल को लागू करने के लिए प्राकृतिक भाषा प्रसंस्करण तंत्रिका नेटवर्क का उपयोग किया जा रहा है। एल. एस. टी. एम. ने मशीन अनुवाद और भाषा मॉडलिंग में सुधार करने में मदद की। इस क्षेत्र में अन्य प्रमुख तकनीकें नकारात्मक नमूनाकरण और शब्द एम्बेडिंग हैं। वर्ड एम्बेडिंग, जैसे वर्ड2वेक, को एक गहन शिक्षण वास्तुकला में एक प्रतिनिधित्व परत के रूप में सोचा जा सकता है जो एक परमाणु शब्द को डेटासेट में अन्य शब्दों के सापेक्ष शब्द के स्थिति प्रतिनिधित्व में बदल देता है; स्थिति को वेक्टर स्पेस में एक बिंदु के रूप में दर्शाया जाता है। आर. एन. एन. इनपुट परत के रूप में शब्द एम्बेडिंग का उपयोग नेटवर्क को एक प्रभावी संरचनात्मक वेक्टर व्याकरण का उपयोग करके वाक्यों और वाक्यांशों का विश्लेषण करने की अनुमति देता है। एक संरचनात्मक वेक्टर व्याकरण को आर. एन. एन. द्वारा कार्यान्वित संभावित संदर्भ मुक्त व्याकरण (पी. सी. एफ. जी.) के रूप में सोचा जा सकता है। शब्द एम्बेडिंग के ऊपर बनाए गए पुनरावर्ती ऑटो-एन्कोडर वाक्य समानता का आकलन कर सकते हैं और व्याख्या का पता लगा सकते हैं। डीप न्यूरल आर्किटेक्चर निर्वाचन क्षेत्र पार्सिंग, सेंटीमेंट एनालिसिस, इंफॉर्मेशन रिट्रीवल, स्पोकन लैंग्वेज अंडरस्टैंडिंग, मशीन ट्रांसलेशन, कॉन्टेक्स्टुअल एंटिटी लिंकिंग, राइटिंग स्टाइल रिकग्निशन, नेम्ड-एंटिटी रिकग्निशन (टोकन क्लासिफिकेशन), टेक्स्ट क्लासिफिकेशन और अन्य के लिए सर्वोत्तम परिणाम प्रदान करते हैं। हाल के विकास वाक्य एम्बेडिंग के लिए शब्द एम्बेडिंग को सामान्य बनाते हैं। गूगल ट्रांसलेट (जी. टी.) एक बड़े एंड-टू-एंड लॉन्ग शॉर्ट-टर्म मेमोरी (एल. एस. टी. एम.) नेटवर्क का उपयोग करता है। गूगल न्यूरल मशीन ट्रांसलेशन (जी. एन. एम. टी.) एक उदाहरण-आधारित मशीन अनुवाद विधि का उपयोग करता है जिसमें प्रणाली "लाखों उदाहरणों से सीखती है।" यह "टुकड़ों के बजाय एक समय में पूरे वाक्यों" का अनुवाद करता है। गूगल ट्रांसलेट सौ से अधिक भाषाओं का समर्थन करता है। नेटवर्क "वाक्यांश-से-वाक्यांश अनुवाद को याद रखने के बजाय वाक्य के शब्दार्थ" को कूटबद्ध करता है। जीटी अधिकांश भाषा जोड़ों के बीच एक मध्यवर्ती के रूप में अंग्रेजी का उपयोग करता है। दवा की खोज और विष विज्ञान उम्मीदवार दवाओं का एक बड़ा प्रतिशत नियामक अनुमोदन प्राप्त करने में विफल रहता है। ये विफलताएं अपर्याप्त प्रभावकारिता (लक्ष्य पर प्रभाव), अवांछित बातचीत (लक्ष्य से बाहर के प्रभाव), या अप्रत्याशित विषाक्त प्रभावों के कारण होती हैं। शोध ने पोषक तत्वों, घरेलू उत्पादों और दवाओं में जैव आणविक लक्ष्यों, गैर-लक्ष्यों और पर्यावरणीय रसायनों के विषाक्त प्रभावों की भविष्यवाणी करने के लिए गहन शिक्षा के उपयोग का पता लगाया है। एटमनेट संरचना-आधारित तर्कसंगत दवा डिजाइन के लिए एक गहन शिक्षण प्रणाली है। एटमनेट का उपयोग इबोला वायरस और मल्टीपल स्क्लेरोसिस जैसे रोग लक्ष्यों के लिए नए उम्मीदवार जैव अणुओं की भविष्यवाणी करने के लिए किया गया था। 2017 में ग्राफ न्यूरल नेटवर्क का उपयोग पहली बार एक बड़े विष विज्ञान डेटा सेट में अणुओं के विभिन्न गुणों की भविष्यवाणी करने के लिए किया गया था। 2019 में, उत्पादक तंत्रिका नेटवर्क का उपयोग अणुओं का उत्पादन करने के लिए किया गया था जिन्हें प्रायोगिक रूप से चूहों में सभी तरह से मान्य किया गया था। ग्राहक संबंध प्रबंधन गहन सुदृढीकरण शिक्षा का उपयोग आर. एफ. एम. चर के संदर्भ में परिभाषित संभावित प्रत्यक्ष विपणन कार्यों के मूल्य का अनुमान लगाने के लिए किया गया है। अनुमानित मूल्य कार्य की ग्राहक जीवनकाल मूल्य के रूप में एक प्राकृतिक व्याख्या दिखाई गई थी। अनुशंसा प्रणालियाँ अनुशंसा प्रणालियों ने सामग्री-आधारित संगीत और पत्रिका अनुशंसाओं के लिए एक अव्यक्त कारक मॉडल के लिए सार्थक विशेषताओं को निकालने के लिए गहन शिक्षा का उपयोग किया है। मल्टी-व्यू डीप लर्निंग को कई क्षेत्रों से उपयोगकर्ता की प्राथमिकताओं को सीखने के लिए लागू किया गया है। मॉडल एक संकर सहयोगी और सामग्री-आधारित दृष्टिकोण का उपयोग करता है और कई कार्यों में सिफारिशों को बढ़ाता है। बायोइन्फॉर्मेटिक्स एक ऑटोएन्कोडर ए. एन. एन. का उपयोग जैव सूचना विज्ञान में जीन ऑन्टोलॉजी एनोटेशन और जीन-फंक्शन संबंधों की भविष्यवाणी करने के लिए किया गया था। चिकित्सा सूचना विज्ञान में, गहन शिक्षण का उपयोग पहनने योग्य वस्तुओं के डेटा और इलेक्ट्रॉनिक स्वास्थ्य रिकॉर्ड डेटा से स्वास्थ्य जटिलताओं की भविष्यवाणियों के आधार पर नींद की गुणवत्ता की भविष्यवाणी करने के लिए किया गया था। मेडिकल इमेज एनालिसिस डीप लर्निंग को कैंसर कोशिका वर्गीकरण, घाव का पता लगाने, अंग विभाजन और छवि वृद्धि जैसे चिकित्सा अनुप्रयोगों में प्रतिस्पर्धी परिणाम देने के लिए दिखाया गया है। आधुनिक गहन शिक्षण उपकरण विभिन्न रोगों का पता लगाने की उच्च सटीकता और निदान दक्षता में सुधार के लिए विशेषज्ञों द्वारा उनके उपयोग की सहायता को प्रदर्शित करते हैं। मोबाइल विज्ञापन मोबाइल विज्ञापन के लिए उपयुक्त मोबाइल दर्शकों को खोजना हमेशा चुनौतीपूर्ण होता है, क्योंकि किसी भी विज्ञापन सर्वर द्वारा विज्ञापन सेवा में लक्षित खंड बनाने और उपयोग करने से पहले कई डेटा बिंदुओं पर विचार और विश्लेषण किया जाना चाहिए। गहन शिक्षण का उपयोग बड़े, कई-आयामी विज्ञापन डेटासेट की व्याख्या करने के लिए किया गया है। अनुरोध/सेवा/क्लिक इंटरनेट विज्ञापन चक्र के दौरान कई डेटा अंक एकत्र किए जाते हैं। यह जानकारी विज्ञापन चयन में सुधार के लिए मशीन लर्निंग का आधार बन सकती है। डीप लर्निंग को डीनोइज़िंग, सुपर-रिज़ॉल्यूशन, इनपेन्टिंग और फिल्म कलराइजेशन जैसी विपरीत समस्याओं पर सफलतापूर्वक लागू किया गया है। इन अनुप्रयोगों में सीखने की विधियाँ शामिल हैं जैसे "प्रभावी छवि पुनर्स्थापना के लिए सिकुड़न क्षेत्र" जो एक छवि डेटासेट पर प्रशिक्षित होता है, और डीप इमेज प्रायर, जो उस छवि पर प्रशिक्षित होता है जिसे पुनर्स्थापना की आवश्यकता होती है। वित्तीय धोखाधड़ी का पता लगाने, वित्तीय धोखाधड़ी का पता लगाने, कर चोरी का पता लगाने और एंटी-मनी लॉन्ड्रिंग के लिए डीप लर्निंग को सफलतापूर्वक लागू किया जा रहा है। सैन्य संयुक्त राज्य अमेरिका के रक्षा विभाग ने अवलोकन के माध्यम से नए कार्यों में रोबोट को प्रशिक्षित करने के लिए गहन शिक्षा का उपयोग किया। आंशिक विभेदक समीकरण भौतिकी सूचित तंत्रिका नेटवर्क का उपयोग डेटा संचालित तरीके से आगे और विपरीत दोनों समस्याओं में आंशिक विभेदक समीकरणों को हल करने के लिए किया गया है। एक उदाहरण नेवियर-स्टोक्स समीकरणों द्वारा नियंत्रित पुनर्निर्माण द्रव प्रवाह है। भौतिकी सूचित तंत्रिका नेटवर्क का उपयोग करने के लिए अक्सर महंगे जाल उत्पादन की आवश्यकता नहीं होती है जिस पर पारंपरिक सी. एफ. डी. विधियाँ निर्भर करती हैं। छवि पुनर्निर्माण छवि से संबंधित मापों से अंतर्निहित छवियों का पुनर्निर्माण है। कई कार्यों ने विभिन्न अनुप्रयोगों, जैसे, वर्णक्रमीय इमेजिंग और अल्ट्रासाउंड इमेजिंग के लिए विश्लेषणात्मक तरीकों की तुलना में गहन शिक्षण विधियों के बेहतर और बेहतर प्रदर्शन को दिखाया। एपिजेनेटिक घड़ी एक एपिजेनेटिक घड़ी एक जैव रासायनिक परीक्षण है जिसका उपयोग उम्र मापने के लिए किया जा सकता है। गाल्किन एट अल। 6, 000 से अधिक रक्त के नमूनों का उपयोग करके अभूतपूर्व सटीकता की एक एपिजेनेटिक एजिंग घड़ी को प्रशिक्षित करने के लिए गहरे तंत्रिका नेटवर्क का उपयोग किया। घड़ी 1000 सी. पी. जी. स्थलों से जानकारी का उपयोग करती है और स्वस्थ नियंत्रणों से पुरानी कुछ स्थितियों वाले लोगों की भविष्यवाणी करती हैः आई. बी. डी., फ्रंटोटेम्पोरल डिमेंशिया, डिम्बग्रंथि का कैंसर, मोटापा। उम्र बढ़ने की घड़ी को 2021 में एक इनसिलिको मेडिसिन स्पिनऑफ़ कंपनी डीप लॉन्गविटी द्वारा सार्वजनिक उपयोग के लिए जारी करने की योजना बनाई गई थी। मानव संज्ञानात्मक और मस्तिष्क विकास से संबंध गहन शिक्षा 1990 के दशक की शुरुआत में संज्ञानात्मक तंत्रिका विज्ञानियों द्वारा प्रस्तावित मस्तिष्क विकास (विशेष रूप से, नियोकोर्टिकल विकास) के सिद्धांतों के एक वर्ग से निकटता से संबंधित है। इन विकासात्मक सिद्धांतों को कम्प्यूटेशनल मॉडल में तत्काल स्थापित किया गया था, जिससे वे गहन शिक्षण प्रणालियों के पूर्ववर्ती बन गए। ये विकासात्मक मॉडल इस गुण को साझा करते हैं कि मस्तिष्क में विभिन्न प्रस्तावित सीखने की गतिशीलता (जैसे, तंत्रिका विकास कारक की एक लहर) आत्म-संगठन का समर्थन करती है जो कुछ हद तक गहन शिक्षण मॉडल में उपयोग किए जाने वाले तंत्रिका नेटवर्क के अनुरूप है। नियोकॉर्टेक्स की तरह, तंत्रिका नेटवर्क स्तरित फिल्टर के एक पदानुक्रम को नियोजित करते हैं जिसमें प्रत्येक परत एक पूर्व परत (या परिचालन वातावरण) से जानकारी पर विचार करती है, और फिर अपने आउटपुट (और संभवतः मूल इनपुट) को अन्य परतों में पारित करती है। यह प्रक्रिया ट्रांसड्यूसरों का एक स्व-व्यवस्थित ढेर उत्पन्न करती है, जो उनके परिचालन वातावरण के लिए अच्छी तरह से तैयार होती है। 1995 के एक विवरण में कहा गया है, "शिशु का मस्तिष्क तथाकथित ट्रोफिक-कारकों की लहरों के प्रभाव में खुद को व्यवस्थित करता प्रतीत होता है. मस्तिष्क के विभिन्न क्षेत्र क्रमिक रूप से जुड़े होते हैं, ऊतक की एक परत दूसरे से पहले परिपक्व होती है और इसी तरह जब तक कि पूरा मस्तिष्क परिपक्व नहीं हो जाता है।" तंत्रिका-जैविक दृष्टिकोण से गहन शिक्षण मॉडल की संभाव्यता की जांच करने के लिए विभिन्न दृष्टिकोणों का उपयोग किया गया है। एक ओर, इसके प्रसंस्करण यथार्थवाद को बढ़ाने के लिए बैकप्रोपेगेशन एल्गोरिदम के कई रूप प्रस्तावित किए गए हैं। अन्य शोधकर्ताओं ने तर्क दिया है कि गहन शिक्षा के गैर-पर्यवेक्षित रूप, जैसे कि पदानुक्रमित उत्पादक मॉडल और गहरे विश्वास नेटवर्क पर आधारित, जैविक वास्तविकता के करीब हो सकते हैं। इस संबंध में, जनरेटिव न्यूरल नेटवर्क मॉडल मस्तिष्क प्रांतस्था में नमूना-आधारित प्रसंस्करण के बारे में न्यूरोबायोलॉजिकल साक्ष्य से संबंधित हैं। हालांकि मानव मस्तिष्क संगठन और गहरे नेटवर्क में न्यूरोनल एन्कोडिंग के बीच एक व्यवस्थित तुलना अभी तक स्थापित नहीं की गई है, कई समानताएं बताई गई हैं। उदाहरण के लिए, गहन शिक्षण इकाइयों द्वारा की गई गणनाएँ वास्तविक न्यूरॉन्स और तंत्रिका आबादी के समान हो सकती हैं। इसी तरह, गहन शिक्षण मॉडल द्वारा विकसित प्रतिनिधित्व एकल-इकाई और जनसंख्या दोनों स्तरों पर प्राइमेट दृश्य प्रणाली में मापा जाने वाले प्रतिनिधित्वों के समान हैं। व्यावसायिक गतिविधि फेसबुक की ए. आई. प्रयोगशाला अपलोड की गई तस्वीरों को उनमें लोगों के नाम के साथ स्वचालित रूप से टैग करने जैसे कार्य करती है। गूगल की डीपमाइंड टेक्नोलॉजीज ने डेटा इनपुट के रूप में केवल पिक्सेल का उपयोग करके अटारी वीडियो गेम खेलना सीखने में सक्षम एक प्रणाली विकसित की। 2015 में उन्होंने अपनी अल्फागो प्रणाली का प्रदर्शन किया, जिसने एक पेशेवर गो खिलाड़ी को हराने के लिए गो के खेल को अच्छी तरह से सीखा। गूगल ट्रांसलेट 100 से अधिक भाषाओं के बीच अनुवाद करने के लिए एक तंत्रिका नेटवर्क का उपयोग करता है। 2017 में, Covariant.ai लॉन्च किया गया था, जो कारखानों में गहन शिक्षा को एकीकृत करने पर केंद्रित है। 2008 तक, द यूनिवर्सिटी ऑफ टेक्सास एट ऑस्टिन (यू. टी.) के शोधकर्ताओं ने एक मशीन लर्निंग फ्रेमवर्क विकसित किया जिसे मूल्यांकनकारी सुदृढीकरण, या टी. ए. एम. ई. आर. के माध्यम से एक एजेंट को मैन्युअल रूप से प्रशिक्षित करना कहा जाता है, जिसने रोबोट या कंप्यूटर प्रोग्राम के लिए मानव प्रशिक्षक के साथ बातचीत करके कार्यों को करने का तरीका सीखने के लिए नए तरीकों का प्रस्ताव दिया। पहले टी. ए. एम. ई. आर. के रूप में विकसित किया गया, डीप टी. ए. एम. ई. आर. नामक एक नया एल्गोरिथ्म बाद में 2018 में यू. एस. आर्मी रिसर्च लेबोरेटरी (ए. आर. एल.) और यू. टी. शोधकर्ताओं के बीच सहयोग के दौरान पेश किया गया था। डीप टेमर रोबोट को अवलोकन के माध्यम से नए कार्यों को सीखने की क्षमता प्रदान करने के लिए डीप लर्निंग का उपयोग करता है। डीप टेमर का उपयोग करते हुए, एक रोबोट एक मानव प्रशिक्षक के साथ एक कार्य सीखता है, वीडियो स्ट्रीम देखता है या एक मानव को व्यक्तिगत रूप से एक कार्य करते हुए देखता है। रोबोट ने बाद में प्रशिक्षक से कुछ कोचिंग की मदद से कार्य का अभ्यास किया, जिन्होंने "अच्छी नौकरी" और "खराब नौकरी" जैसी प्रतिक्रिया प्रदान की। गहन शिक्षा ने आलोचना और टिप्पणी दोनों को आकर्षित किया है, कुछ मामलों में कंप्यूटर विज्ञान के क्षेत्र के बाहर से। एक मुख्य आलोचना कुछ विधियों के आसपास के सिद्धांत की कमी से संबंधित है। सबसे आम गहरी वास्तुकला में सीखने को अच्छी तरह से समझे गए ढाल वंश का उपयोग करके लागू किया जाता है। हालांकि, अन्य एल्गोरिदम के आसपास का सिद्धांत, जैसे कि कंट्रास्टिव डाइवर्जेंस कम स्पष्ट है। (जैसे, क्या यह अभिसरण करता है? यदि हां, तो कितनी तेजी से? यह क्या अनुमानित है?) गहन शिक्षण विधियों को अक्सर एक ब्लैक बॉक्स के रूप में देखा जाता है, जिसमें अधिकांश पुष्टि सैद्धांतिक रूप से करने के बजाय अनुभवजन्य रूप से की जाती है। अन्य लोग बताते हैं कि गहन शिक्षा को मजबूत ए. आई. को साकार करने की दिशा में एक कदम के रूप में देखा जाना चाहिए, न कि एक सर्वव्यापी समाधान के रूप में। गहन शिक्षण विधियों की शक्ति के बावजूद, उनमें अभी भी इस लक्ष्य को पूरी तरह से प्राप्त करने के लिए आवश्यक कार्यक्षमता की कमी है। शोध मनोवैज्ञानिक गैरी मार्कस ने कहाः यथार्थवादी रूप से, गहन शिक्षा बुद्धिमान मशीनों के निर्माण की बड़ी चुनौती का केवल एक हिस्सा है। इस तरह की तकनीकों में कारण संबंधों का प्रतिनिधित्व करने के तरीकों की कमी है (.) तार्किक निष्कर्षों को करने का कोई स्पष्ट तरीका नहीं है, और वे अभी भी अमूर्त ज्ञान को एकीकृत करने से बहुत दूर हैं, जैसे कि वस्तुएं क्या हैं, वे किस लिए हैं, और उनका उपयोग कैसे किया जाता है। सबसे शक्तिशाली ए. आई. वाटसन (.) जैसी प्रणालियाँ, बायेसियन अनुमान की सांख्यिकीय तकनीक से लेकर अनुमानात्मक तर्क तक, तकनीकों के एक बहुत ही जटिल समूह में केवल एक तत्व के रूप में गहन शिक्षा जैसी तकनीकों का उपयोग करती हैं। इस विचार के आगे के संदर्भ में कि कलात्मक संवेदनशीलता संज्ञानात्मक पदानुक्रम के अपेक्षाकृत निम्न स्तरों में निहित हो सकती है, गहरे (20-30 परतों) तंत्रिका नेटवर्क की आंतरिक स्थितियों के ग्राफिक प्रतिनिधित्व की एक प्रकाशित श्रृंखला अनिवार्य रूप से यादृच्छिक डेटा के भीतर पहचानने का प्रयास करती है, जिन छवियों पर उन्हें प्रशिक्षित किया गया था, वे एक दृश्य अपील प्रदर्शित करते हैंः मूल शोध सूचना पर 1,000 से अधिक टिप्पणियां प्राप्त हुईं, और यह उस समय का विषय था जब द गार्जियन की वेबसाइट पर सबसे अधिक बार उपयोग किया जाने वाला लेख था। त्रुटियाँ कुछ गहन शिक्षण संरचनाएँ समस्याग्रस्त व्यवहार प्रदर्शित करती हैं, जैसे कि सामान्य छवियों (2014) की एक परिचित श्रेणी से संबंधित अपरिचित छवियों को आत्मविश्वास से वर्गीकृत करना और सही ढंग से वर्गीकृत छवियों (2013) की सूक्ष्म गड़बड़ी को गलत वर्गीकृत करना। गोएर्टज़ेल ने परिकल्पना की कि ये व्यवहार उनके आंतरिक प्रतिनिधित्व में सीमाओं के कारण हैं और ये सीमाएं विषम बहु-घटक कृत्रिम सामान्य बुद्धिमत्ता (ए. जी. आई.) वास्तुकला में एकीकरण को बाधित करेंगी। इन मुद्दों को संभवतः गहन शिक्षण संरचनाओं द्वारा संबोधित किया जा सकता है जो आंतरिक रूप से देखी गई संस्थाओं और घटनाओं के छवि-व्याकरण अपघटन के लिए समरूप अवस्थाएँ बनाते हैं। प्रशिक्षण डेटा से व्याकरण (दृश्य या भाषाई) सीखना प्रणाली को सामान्य तर्क तक सीमित करने के बराबर होगा जो व्याकरणिक उत्पादन नियमों के संदर्भ में अवधारणाओं पर काम करता है और मानव भाषा अधिग्रहण और कृत्रिम बुद्धिमत्ता (ए. आई.) दोनों का एक बुनियादी लक्ष्य है। साइबर खतरा जैसे-जैसे गहन शिक्षा प्रयोगशाला से दुनिया में आगे बढ़ती है, शोध और अनुभव से पता चलता है कि कृत्रिम तंत्रिका नेटवर्क हैक और धोखे के प्रति संवेदनशील होते हैं। इन प्रणालियों के काम करने के लिए उपयोग किए जाने वाले पैटर्न की पहचान करके, हमलावर ए. एन. एन. में इनपुट को इस तरह से संशोधित कर सकते हैं कि ए. एन. एन. को एक ऐसा मिलान मिल जाए जिसे मानव पर्यवेक्षक पहचान न सकें। उदाहरण के लिए, एक हमलावर एक छवि में ऐसे सूक्ष्म परिवर्तन कर सकता है कि ए. एन. एन. को एक मिलान मिल जाए, भले ही छवि एक इंसान को खोज लक्ष्य की तरह कुछ भी न लगे। इस तरह के हेरफेर को "प्रतिकूल हमला" कहा जाता है। 2016 में शोधकर्ताओं ने एक ए. एन. एन. का उपयोग परीक्षण और त्रुटि फैशन में छवियों को डॉक्टर करने के लिए किया, दूसरे के केंद्र बिंदु की पहचान की और इस तरह ऐसी छवियां उत्पन्न कीं जो इसे धोखा देती हैं। संशोधित छवियाँ मानव आँखों से अलग नहीं दिखती थीं। एक अन्य समूह ने दिखाया कि छेड़छाड़ की गई छवियों के प्रिंटआउट ने फिर सफलतापूर्वक एक छवि वर्गीकरण प्रणाली को धोखा दिया। एक बचाव रिवर्स इमेज सर्च है, जिसमें एक संभावित नकली छवि टिनआई जैसी साइट पर जमा की जाती है जो फिर इसके अन्य उदाहरणों को ढूंढ सकती है। एक परिष्करण छवि के केवल कुछ हिस्सों का उपयोग करके खोज करना है, उन छवियों की पहचान करने के लिए जिनसे वह टुकड़ा लिया गया हो सकता है। एक अन्य समूह ने दिखाया कि कुछ मनोविकृत चश्मे एक चेहरे की पहचान प्रणाली को मूर्ख बना सकते हैं कि आम लोग मशहूर हस्तियां हैं, संभावित रूप से एक व्यक्ति को दूसरे का प्रतिरूपण करने की अनुमति देते हैं। 2017 में शोधकर्ताओं ने संकेतों को रोकने के लिए स्टिकर जोड़े और एक ए. एन. एन. के कारण उन्हें गलत वर्गीकृत किया। हालाँकि ए. एन. एन. को धोखे के प्रयासों का पता लगाने के लिए आगे प्रशिक्षित किया जा सकता है, संभावित रूप से हमलावरों और रक्षकों को हथियारों की दौड़ में अग्रणी किया जा सकता है जो पहले से ही मैलवेयर रक्षा उद्योग को परिभाषित करता है। ए. एन. एन. को ए. एन. एन.-आधारित एंटी-मैलवेयर सॉफ्टवेयर को बार-बार मैलवेयर के साथ एक रक्षा पर हमला करके हराने के लिए प्रशिक्षित किया गया है जिसे आनुवंशिक एल्गोरिथ्म द्वारा लगातार बदला जाता था जब तक कि यह लक्ष्य को नुकसान पहुंचाने की अपनी क्षमता को बनाए रखते हुए एंटी-मैलवेयर को धोखा नहीं देता था। 2016 में, एक अन्य समूह ने प्रदर्शित किया कि कुछ ध्वनियाँ गूगल नाउ वॉयस कमांड सिस्टम को एक विशेष वेब पते को खोलने के लिए मजबूर कर सकती हैं, और परिकल्पना की कि यह "आगे के हमलों के लिए एक कदम के रूप में काम कर सकता है (जैसे, ड्राइव-बाय-मैलवेयर की मेजबानी करने वाला एक वेब पेज खोलना)।" "डेटा पॉइज़निंग" में, गलत डेटा को लगातार मशीन लर्निंग सिस्टम के प्रशिक्षण सेट में तस्करी की जाती है ताकि इसे महारत हासिल करने से रोका जा सके। डेटा संग्रह नैतिकता अधिकांश गहन शिक्षण प्रणालियाँ प्रशिक्षण और सत्यापन डेटा पर निर्भर करती हैं जो मनुष्यों द्वारा उत्पन्न और/या टिप्पणी की जाती हैं। मीडिया दर्शन में यह तर्क दिया गया है कि न केवल कम भुगतान वाला क्लिकवर्क (जैसे. अमेज़न मैकेनिकल तुर्क पर) नियमित रूप से इस उद्देश्य के लिए तैनात किया जाता है, लेकिन मानव सूक्ष्म कार्य के अंतर्निहित रूप भी जिन्हें अक्सर मान्यता नहीं दी जाती है। दार्शनिक रेनर मुलहॉफ ने प्रशिक्षण डेटा उत्पन्न करने के लिए मानव माइक्रोवर्क के पांच प्रकार के "मशीनिक कैप्चर" को अलग किया हैः (1) गेमिफिकेशन (खेल के प्रवाह में एनोटेशन या कम्प्यूटेशन कार्यों को एम्बेड करना), (2) "ट्रैपिंग और ट्रैकिंग" (जैसे। छवि पहचानने या गूगल खोज परिणाम पृष्ठों पर क्लिक-ट्रैकिंग के लिए कैप्चा), (3) सामाजिक प्रेरणाओं का दोहन (जैसे। चेहरे की लेबल वाली छवियाँ प्राप्त करने के लिए फेसबुक पर चेहरों को टैग करना), (4) सूचना खनन (जैसे। मात्रात्मक स्व-उपकरणों जैसे गतिविधि ट्रैकर) और (5) क्लिकवर्क का लाभ उठाकर। मुलहॉफ का तर्क है कि फेसबुक की चेहरा पहचानने की प्रणाली जैसे डीप लर्निंग के अधिकांश वाणिज्यिक अंतिम-उपयोगकर्ता अनुप्रयोगों में, ए. एन. एन. के प्रशिक्षित होने के बाद प्रशिक्षण डेटा की आवश्यकता नहीं रुकती है। बल्कि, ए. एन. एन. को लगातार कैलिब्रेट और अपडेट करने के लिए मानव-जनित सत्यापन डेटा की निरंतर मांग है। इस उद्देश्य के लिए फेसबुक ने यह सुविधा पेश की कि एक बार जब कोई उपयोगकर्ता किसी छवि में स्वचालित रूप से पहचाना जाता है, तो उन्हें एक सूचना प्राप्त होती है। वे चुन सकते हैं कि क्या वे छवि पर सार्वजनिक रूप से लेबल किया जाना पसंद नहीं करते हैं, या फेसबुक को बता सकते हैं कि वे तस्वीर में नहीं हैं। यह उपयोगकर्ता इंटरफेस वास्तविक समय में नेटवर्क को प्रशिक्षित करने के लिए "सत्यापन डेटा की एक निरंतर धारा" उत्पन्न करने का एक तंत्र है। जैसा कि मुलहॉफ का तर्क है, प्रशिक्षण और सत्यापन डेटा उत्पन्न करने के लिए मानव उपयोगकर्ताओं की भागीदारी डीप लर्निंग के अधिकांश वाणिज्यिक अंतिम-उपयोगकर्ता अनुप्रयोगों के लिए इतनी विशिष्ट है कि ऐसी प्रणालियों को "मानव-सहायता प्राप्त कृत्रिम बुद्धिमत्ता" के रूप में संदर्भित किया जा सकता है। यह भी देखें कृत्रिम बुद्धिमत्ता के अनुप्रयोग गहन शिक्षण सॉफ्टवेयर की तुलना संपीड़ित संवेदन विभेदक प्रोग्रामिंग प्रतिध्वनि राज्य नेटवर्क कृत्रिम बुद्धिमत्ता परियोजनाओं की सूची तरल राज्य मशीन मशीन की सूची मशीन-शिक्षण अनुसंधान के लिए डेटासेट की सूची जलाशय कंप्यूटिंग स्केल स्थान और गहन शिक्षण के लिए विरल कोडिंग यादृच्छिक तोता संदर्भ आगे पढ़ने के लिए कृत्रिम तंत्रिका नेटवर्क उभरती प्रौद्योगिकियां