Deep learning
ડીપ લર્નિંગ એ મશીન લર્નિંગ પદ્ધતિઓનો સબસેટ છે જે પ્રતિનિધિત્વ શિક્ષણ સાથે કૃત્રિમ ન્યુરલ નેટવર્ક પર આધારિત છે. ઊંડા શિક્ષણમાં "ઊંડા" વિશેષણ નેટવર્કમાં બહુવિધ સ્તરોના ઉપયોગનો સંદર્ભ આપે છે. ઉપયોગમાં લેવાતી પદ્ધતિઓ દેખરેખ હેઠળ, અર્ધ-દેખરેખ હેઠળ અથવા દેખરેખ વગરની હોઈ શકે છે. ડીપ ન્યુરલ નેટવર્ક્સ, ડીપ બિલીફ નેટવર્ક્સ, ડીપ રિઇન્ફોર્સમેન્ટ લર્નિંગ, રિકરન્ટ ન્યુરલ નેટવર્ક્સ, કોન્વોલ્યુશનલ ન્યુરલ નેટવર્ક્સ અને ટ્રાન્સફોર્મર્સ જેવા ડીપ-લર્નિંગ આર્કિટેક્ચરને કમ્પ્યુટર વિઝન, સ્પીચ રેકગ્નિશન, નેચરલ લેંગ્વેજ પ્રોસેસિંગ, મશીન ટ્રાન્સલેશન, બાયોઇન્ફોર્મેટિક્સ, ડ્રગ ડિઝાઇન, મેડિકલ ઇમેજ એનાલિસિસ, ક્લાઇમેટ સાયન્સ, મટિરિયલ ઇન્સ્પેક્શન અને બોર્ડ ગેમ પ્રોગ્રામ્સ સહિતના ક્ષેત્રોમાં લાગુ કરવામાં આવ્યા છે, જ્યાં તેઓએ માનવ નિષ્ણાતની કામગીરી સાથે તુલનાત્મક અને કેટલાક કિસ્સાઓમાં વટાવી ગયેલા પરિણામો ઉત્પન્ન કર્યા છે. આર્ટિફિશિયલ ન્યુરલ નેટવર્ક્સ (એ. એન. એન.) જૈવિક પ્રણાલીઓમાં માહિતી પ્રક્રિયા અને વિતરિત સંચાર ગાંઠોથી પ્રેરિત હતા. એ. એન. એન. જૈવિક મગજથી અલગ પડે છે. ખાસ કરીને, કૃત્રિમ ચેતા નેટવર્ક સ્થિર અને પ્રતીકાત્મક હોય છે, જ્યારે મોટાભાગના જીવંત સજીવોના જૈવિક મગજ ગતિશીલ (પ્લાસ્ટિક) અને એનાલોગ હોય છે. વ્યાખ્યા ડીપ લર્નિંગ એ મશીન લર્નિંગ અલ્ગોરિધમ્સનો એક વર્ગ છે જે કાચા ઇનપુટમાંથી ઉચ્ચ-સ્તરની સુવિધાઓને ક્રમશઃ બહાર કાઢવા માટે બહુવિધ સ્તરોનો ઉપયોગ કરે છે. ઉદાહરણ તરીકે, છબી પ્રક્રિયામાં, નીચલા સ્તરો ધારને ઓળખી શકે છે, જ્યારે ઉચ્ચ સ્તરો માનવ સાથે સંબંધિત વિભાવનાઓને ઓળખી શકે છે જેમ કે અંકો અથવા અક્ષરો અથવા ચહેરા. ઊંડા શિક્ષણને જોવા માટે અન્ય દ્રષ્ટિકોણથી, ઊંડા શિક્ષણ એ "કમ્પ્યુટર-સિમ્યુલેટ" અથવા "સ્વચાલિત" માનવ શિક્ષણ પ્રક્રિયાઓનો સંદર્ભ આપે છે જે સ્રોત (દા. ત., શ્વાનોની છબી) થી શીખી વસ્તુ (શ્વાનો) સુધી જાય છે. તેથી, "ઊંડા" શિક્ષણ અથવા "ઊંડા" શિક્ષણ તરીકે રચાયેલી કલ્પના અર્થપૂર્ણ છે. સૌથી ઊંડું શિક્ષણ એ સ્રોતમાંથી અંતિમ શીખ્યા પદાર્થ સુધી સંપૂર્ણપણે સ્વચાલિત શિક્ષણનો સંદર્ભ આપે છે. આ રીતે ઊંડું શિક્ષણ એ મિશ્ર શિક્ષણ પ્રક્રિયાનો સંદર્ભ આપે છેઃ એક સ્રોતથી શીખેલા અર્ધ-વિષય સુધી માનવ શીખવાની પ્રક્રિયા, ત્યારબાદ માનવ દ્વારા શીખેલા અર્ધ-વિષયથી અંતિમ શીખેલા વિષય સુધી કમ્પ્યુટર શીખવાની પ્રક્રિયા. મોટા ભાગના આધુનિક ઊંડા શિક્ષણના નમૂનાઓ કન્વોલ્યુશનલ ન્યુરલ નેટવર્ક્સ અને ટ્રાન્સફોર્મર્સ જેવા બહુસ્તરીય કૃત્રિમ ન્યુરલ નેટવર્ક્સ પર આધારિત છે, જો કે તેમાં પ્રપોઝિશનલ સૂત્રો અથવા ઊંડા જનરેટિવ મોડેલોમાં સ્તર મુજબ ગોઠવાયેલા સુપ્ત ચલોનો પણ સમાવેશ થઈ શકે છે, જેમ કે ઊંડા વિશ્વાસ નેટવર્ક અને ઊંડા બોલ્ટ્ઝમેન મશીનોમાં ગાંઠો. ઊંડા શિક્ષણમાં, દરેક સ્તર તેના ઇનપુટ ડેટાને થોડી વધુ અમૂર્ત અને સંયુક્ત રજૂઆતમાં રૂપાંતરિત કરવાનું શીખે છે. છબી ઓળખ એપ્લિકેશનમાં, કાચા ઇનપુટ પિક્સેલ્સનો મેટ્રિક્સ હોઈ શકે છે; પ્રથમ પ્રતિનિધિત્વ સ્તર પિક્સેલ્સને અમૂર્ત કરી શકે છે અને ધારને એન્કોડ કરી શકે છે; બીજું સ્તર ધારની ગોઠવણીની રચના અને એન્કોડ કરી શકે છે; ત્રીજું સ્તર નાક અને આંખોને એન્કોડ કરી શકે છે; અને ચોથું સ્તર ઓળખી શકે છે કે છબીમાં ચહેરો છે. મહત્ત્વની વાત એ છે કે, ઊંડાણપૂર્વક શીખવાની પ્રક્રિયા એ શીખી શકે છે કે કઈ લાક્ષણિકતાઓને તેના પોતાના સ્તરે શ્રેષ્ઠ રીતે મૂકવી. આ હેન્ડ-ટ્યુનિંગની જરૂરિયાતને દૂર કરતું નથી; ઉદાહરણ તરીકે, સ્તરો અને સ્તરના કદની વિવિધ સંખ્યાઓ એબ્સ્ટ્રેક્શનની વિવિધ ડિગ્રી પ્રદાન કરી શકે છે. "ઊંડા શિક્ષણ" માં "ઊંડા" શબ્દ એ સ્તરોની સંખ્યાનો ઉલ્લેખ કરે છે જેના દ્વારા માહિતી રૂપાંતરિત થાય છે. વધુ સ્પષ્ટ રીતે કહીએ તો, ઊંડા શિક્ષણ પ્રણાલીઓમાં નોંધપાત્ર ક્રેડિટ અસાઇનમેન્ટ પાથ (CAP) ની ઊંડાઈ હોય છે. CAP એ ઇનપુટથી આઉટપુટમાં પરિવર્તનની સાંકળ છે. CAPs ઇનપુટ અને આઉટપુટ વચ્ચેના સંભવિત કારણભૂત જોડાણોનું વર્ણન કરે છે. ફીડફોરવર્ડ ન્યુરલ નેટવર્ક માટે, CAP ની ઊંડાઈ એ નેટવર્કની ઊંડાઈ છે અને તે છુપાયેલા સ્તરોની સંખ્યા વત્તા એક છે (કારણ કે આઉટપુટ સ્તર પણ પરિમાણિત છે). પુનરાવર્તિત ન્યુરલ નેટવર્ક્સ માટે, જેમાં સંકેત એકથી વધુ વખત સ્તર દ્વારા પ્રસારિત થઈ શકે છે, CAP ની ઊંડાઈ સંભવિત રીતે અમર્યાદિત છે. ઊંડાણની કોઈ સાર્વત્રિક રીતે સંમત થ્રેશોલ્ડ ઊંડા શિક્ષણમાંથી છીછરા શિક્ષણને વિભાજિત કરતું નથી, પરંતુ મોટાભાગના સંશોધકો સંમત થાય છે કે ઊંડા શિક્ષણમાં 2 કરતા વધુ CAP ઊંડાણનો સમાવેશ થાય છે. ઊંડાઈ 2 નું CAP એ અર્થમાં સાર્વત્રિક અંદાજકાર હોવાનું દર્શાવવામાં આવ્યું છે કે તે કોઈપણ કાર્યનું અનુકરણ કરી શકે છે. તે ઉપરાંત, વધુ સ્તરો નેટવર્કની કાર્ય અંદાજિત ક્ષમતામાં ઉમેરો કરતા નથી. ડીપ મોડેલો (CAP> 2) છીછરા મોડેલો કરતાં વધુ સારી સુવિધાઓ બહાર કાઢવામાં સક્ષમ છે અને તેથી, વધારાના સ્તરો સુવિધાઓને અસરકારક રીતે શીખવામાં મદદ કરે છે. લોભી સ્તર-દર-સ્તર પદ્ધતિથી ઊંડા શિક્ષણની રચના કરી શકાય છે. ઊંડાણપૂર્વકનું શિક્ષણ આ અમૂર્ત બાબતોને અલગ કરવામાં અને કઈ સુવિધાઓ કામગીરીમાં સુધારો કરે છે તે પસંદ કરવામાં મદદ કરે છે. દેખરેખ હેઠળના શિક્ષણ કાર્યો માટે, ઊંડા શિક્ષણની પદ્ધતિઓ મુખ્ય ઘટકો જેવી સઘન મધ્યવર્તી રજૂઆતોમાં ડેટાનું ભાષાંતર કરીને અને પ્રતિનિધિત્વમાં બિનજરૂરીતાને દૂર કરતી સ્તરવાળી રચનાઓ મેળવીને ફીચર એન્જિનિયરિંગને દૂર કરે છે. ડીપ લર્નિંગ અલ્ગોરિધમ્સને અનસુપરવાઇઝ્ડ લર્નિંગ કાર્યો પર લાગુ કરી શકાય છે. આ એક મહત્વપૂર્ણ લાભ છે કારણ કે લેબલ વગરની માહિતી લેબલ કરેલી માહિતી કરતાં વધુ વિપુલ પ્રમાણમાં હોય છે. ઊંડા માળખાના ઉદાહરણો કે જેને દેખરેખ વગર તાલીમ આપી શકાય છે તે ઊંડા માન્યતા નેટવર્ક છે. અર્થઘટનો ડીપ ન્યુરલ નેટવર્ક્સનું અર્થઘટન સામાન્ય રીતે સાર્વત્રિક અંદાજ પ્રમેય અથવા સંભવિત અનુમાનની દ્રષ્ટિએ કરવામાં આવે છે. ક્લાસિક યુનિવર્સલ એપ્રોક્સીમેશન થીયરમ અનુમાનિત સતત કાર્યો માટે મર્યાદિત કદના એક છુપાયેલા સ્તર સાથે ફીડફોરવર્ડ ન્યુરલ નેટવર્કની ક્ષમતાને સંબંધિત છે. 1989 માં, જ્યોર્જ સાયબેન્કો દ્વારા સિગ્મોઇડ સક્રિયકરણ કાર્યો માટે પ્રથમ પુરાવો પ્રકાશિત કરવામાં આવ્યો હતો અને 1991 માં કર્ટ હોર્નિક દ્વારા ફીડ-ફોરવર્ડ મલ્ટી-લેયર આર્કિટેક્ચર માટે સામાન્યીકૃત કરવામાં આવ્યો હતો. તાજેતરના સંશોધનોએ એ પણ દર્શાવ્યું હતું કે સાર્વત્રિક અંદાજ પણ કુનીહિકો ફુકુશિમાના સુધારેલા રેખીય એકમ જેવા બિન-મર્યાદિત સક્રિયકરણ કાર્યો માટે લાગુ પડે છે. ડીપ ન્યુરલ નેટવર્ક્સ માટે સાર્વત્રિક અંદાજ પ્રમેય બંધાયેલ પહોળાઈવાળા નેટવર્ક્સની ક્ષમતાની ચિંતા કરે છે પરંતુ ઊંડાઈને વધવાની મંજૂરી છે. લુ એટ અલ. સાબિત થયું કે જો આરઇએલયુ સક્રિયકરણ સાથે ઊંડા ચેતાતંત્ર નેટવર્કની પહોળાઈ ઇનપુટ પરિમાણ કરતાં સખત રીતે મોટી હોય, તો નેટવર્ક કોઈપણ લેબસ્ગ્યુ સંકલિત કાર્યને અંદાજિત કરી શકે છે; જો પહોળાઈ ઇનપુટ પરિમાણથી નાની અથવા સમાન હોય, તો ઊંડા ચેતાતંત્ર નેટવર્ક સાર્વત્રિક અંદાજકાર નથી. સંભવિત અર્થઘટન મશીન લર્નિંગના ક્ષેત્રમાંથી ઉદ્ભવે છે. તેમાં અનુમાન, તેમજ ફિટિંગ અને સામાન્યીકરણ સાથે સંબંધિત તાલીમ અને પરીક્ષણની ઓપ્ટિમાઇઝેશન વિભાવનાઓ અનુક્રમે દર્શાવવામાં આવી છે. વધુ સ્પષ્ટ રીતે, સંભવિત અર્થઘટન સક્રિયકરણ બિનરેખીયતાને સંચિત વિતરણ કાર્ય તરીકે માને છે. સંભવિત અર્થઘટન ન્યુરલ નેટવર્ક્સમાં નિયમિત કરનાર તરીકે ડ્રોપઆઉટની રજૂઆત તરફ દોરી ગયું. હોપફિલ્ડ, વિડ્રો અને નરેન્દ્ર સહિતના સંશોધકો દ્વારા સંભવિત અર્થઘટન રજૂ કરવામાં આવ્યું હતું અને બિશપ જેવા સર્વેક્ષણોમાં તેને લોકપ્રિય બનાવવામાં આવ્યું હતું. ન્યુરલ નેટવર્ક્સના બે પ્રકાર છેઃ ફીડફોરવર્ડ ન્યુરલ નેટવર્ક્સ (એફએનએન) અને રિકરન્ટ ન્યુરલ નેટવર્ક્સ (આરએનએન). આર. એન. એન. ના જોડાણ માળખામાં ચક્ર હોય છે, એફ. એન. એન. ના નથી. 1920 ના દાયકામાં, વિલ્હેલ્મ લેન્ઝ અને અર્ન્સ્ટ ઇઝિંગે ઇઝિંગ મોડેલ બનાવ્યું અને તેનું વિશ્લેષણ કર્યું જે અનિવાર્યપણે ચેતાકોષ જેવા થ્રેશોલ્ડ તત્વોનું બનેલું બિન-શિક્ષણ આરએનએન આર્કિટેક્ચર છે. 1972માં, શુનઇચી અમારીએ આ સ્થાપત્યને અનુકૂલનશીલ બનાવ્યું હતું. તેમના શિક્ષણ આર. એન. એન. ને 1982માં જ્હોન હોપફિલ્ડ દ્વારા લોકપ્રિય બનાવવામાં આવ્યું હતું. આર. એન. એન. વાણી ઓળખ અને ભાષા પ્રક્રિયા માટે કેન્દ્રિય બની ગયા છે. ચાર્લ્સ ટેપર્ટ લખે છે કે ફ્રેન્ક રોસેનબ્લેટે રોસેનબ્લેટના 1962ના પુસ્તકનો ઉલ્લેખ કરીને આજની ઊંડા શિક્ષણ પ્રણાલીઓના તમામ મૂળભૂત ઘટકોનો વિકાસ અને સંશોધન કર્યું હતું, જેમાં 3 સ્તરો સાથે બહુસ્તરીય પર્સેપ્ટ્રોન (એમ. એલ. પી.) રજૂ કરવામાં આવ્યું હતુંઃ એક ઇનપુટ સ્તર, અવ્યવસ્થિત વજન સાથે છુપાયેલ સ્તર જે શીખ્યા ન હતા અને એક આઉટપુટ સ્તર. જો કે, માત્ર આઉટપુટ સ્તરમાં શીખવાની જોડાણો હોવાથી, આ હજુ સુધી ઊંડાણપૂર્વકનું શિક્ષણ નહોતું. તેને પાછળથી આત્યંતિક શિક્ષણ મશીન કહેવામાં આવ્યું હતું. સુપરવાઇઝ્ડ, ડીપ, ફીડફોરવર્ડ, મલ્ટીલેયર પર્સેપ્ટ્રોન માટે પ્રથમ સામાન્ય, કાર્યરત શિક્ષણ અલ્ગોરિધમ 1967 માં એલેક્સી ઇવાખનેન્કો અને લાપા દ્વારા પ્રકાશિત કરવામાં આવ્યું હતું. 1971ના એક પેપરમાં ડેટા હેન્ડલિંગની જૂથ પદ્ધતિ દ્વારા પ્રશિક્ષિત આઠ સ્તરો સાથે ઊંડા નેટવર્કનું વર્ણન કરવામાં આવ્યું હતું. સ્ટોકેસ્ટિક ગ્રેડિયન્ટ ડિસેન્ટ દ્વારા પ્રશિક્ષિત પ્રથમ ડીપ લર્નિંગ મલ્ટીલેયર પર્સેપ્ટ્રોન 1967માં શુનઇચી અમરી દ્વારા પ્રકાશિત કરવામાં આવ્યું હતું. અમરીના વિદ્યાર્થી સૈતો દ્વારા હાથ ધરાયેલા કોમ્પ્યુટર પ્રયોગોમાં, બે સુધારી શકાય તેવા સ્તરો સાથે પાંચ સ્તરના એમ. એલ. પી. એ બિન-રેખીય રીતે અલગ કરી શકાય તેવા પેટર્ન વર્ગોને વર્ગીકૃત કરવા માટે આંતરિક રજૂઆતો શીખી. 1987 માં મેથ્યુ બ્રાન્ડે અહેવાલ આપ્યો હતો કે વિશાળ 12-સ્તરના બિનરેખીય પર્સેપ્ટ્રોનને રેન્ડમ ઇનપુટ/આઉટપુટ નમૂનાઓના નાના બૅચેસ પર ગ્રેડિયન્ટ ડિસેન્ટ દ્વારા બિન-તુચ્છ સર્કિટની ઊંડાઈના તર્ક કાર્યોને પુનઃઉત્પાદિત કરવા માટે સંપૂર્ણ રીતે પ્રશિક્ષિત કરી શકાય છે, પરંતુ નિષ્કર્ષ કાઢ્યો હતો કે સમકાલીન હાર્ડવેર (સબ-મેગાફ્લોપ કમ્પ્યુટર્સ) પર તાલીમનો સમય તકનીકને અવ્યવહારુ બનાવે છે, અને એક જ સુધારી શકાય તેવા સ્તર માટે ઇનપુટ હેશ તરીકે નિશ્ચિત રેન્ડમ પ્રારંભિક સ્તરોનો ઉપયોગ કરવાની દરખાસ્ત કરે છે. તેના બદલે, હાર્ડવેર અને હાયપરપેરામીટર ટ્યુનિંગમાં અનુગામી વિકાસોએ એન્ડ-ટુ-એન્ડ સ્ટોકેસ્ટિક ગ્રેડિયન્ટ ડિસેન્ટને હાલમાં પ્રબળ તાલીમ તકનીક બનાવી છે. 1970માં, સેપ્પો લિનૈનમાએ નેસ્ટેડ ડિફરન્શીયેબલ ફંક્શન્સના ડિસ્ક્રીટ કનેક્ટેડ નેટવર્કના ઓટોમેટિક ડિફરન્શીએશનનો રિવર્સ મોડ પ્રકાશિત કર્યો હતો. આ બેકપ્રોપેગેશન તરીકે જાણીતું બન્યું. તે 1673માં ગોટફ્રીડ વિલ્હેમ લીબનીઝ દ્વારા વિકસાવવામાં આવેલા સાંકળ નિયમનો એક કાર્યક્ષમ ઉપયોગ છે, જે વિભેદક ગાંઠોના નેટવર્ક પર લાગુ થાય છે. "બેક-પ્રોપેગેટિંગ એરર્સ" પરિભાષા વાસ્તવમાં રોસેનબ્લેટ દ્વારા 1962 માં રજૂ કરવામાં આવી હતી, પરંતુ તેને કેવી રીતે અમલમાં મૂકવી તે ખબર નહોતી, જો કે હેનરી જે. કેલી પાસે નિયંત્રણ સિદ્ધાંતના સંદર્ભમાં પહેલેથી જ 1960 માં બેકપ્રોપેગેશનનો સતત પુરોગામી હતો. 1982 માં, પોલ વેરબોસે એમ. એલ. પી. માટે બેકપ્રોપેગેશન લાગુ કર્યું જે પ્રમાણભૂત બની ગયું છે. 1985માં, ડેવિડ ઇ. રુમેલહાર્ટ અને અન્ય. આ તકનીકનું પ્રાયોગિક વિશ્લેષણ પ્રકાશિત કર્યું. કોન્વોલ્યુશનલ સ્તરો અને ડાઉનસેમ્પલિંગ સ્તરો સાથે કોન્વોલ્યુશનલ ન્યુરલ નેટવર્ક્સ (સી. એન. એન.) માટે ડીપ લર્નિંગ આર્કિટેક્ચરની શરૂઆત 1980માં કુનિહિકો ફુકુશિમા દ્વારા રજૂ કરવામાં આવેલા નિયોકોગ્નિટ્રોનથી થઈ હતી. 1969માં, તેમણે આરઇએલયુ (રેક્ટિફાઇડ લિનિયર યુનિટ) સક્રિયકરણ કાર્ય પણ રજૂ કર્યું હતું. રેક્ટિફાયર સી. એન. એન. અને સામાન્ય રીતે ઊંડા શિક્ષણ માટે સૌથી લોકપ્રિય સક્રિયકરણ કાર્ય બની ગયું છે. સી. એન. એન. કમ્પ્યુટર દ્રષ્ટિ માટે એક આવશ્યક સાધન બની ગયું છે. ડીપ લર્નિંગ શબ્દ 1986માં રિના ડેક્ટર દ્વારા મશીન લર્નિંગ સમુદાયમાં અને 2000માં ઇગોર આઈઝેનબર્ગ અને સહકર્મીઓ દ્વારા બુલિયન થ્રેશોલ્ડ ચેતાકોષોના સંદર્ભમાં કૃત્રિમ ચેતાતંત્ર નેટવર્કમાં રજૂ કરવામાં આવ્યો હતો. 1988 માં, વેઈ ઝાંગ એટ અલ. મૂળાક્ષરોની ઓળખ માટે બેકપ્રોપેગેશન અલ્ગોરિધમને કોન્વોલ્યુશનલ ન્યુરલ નેટવર્ક (છબી લક્ષણ સ્તરો અને છેલ્લા સંપૂર્ણ રીતે જોડાયેલા સ્તર વચ્ચે કોન્વોલ્યુશનલ ઇન્ટરકનેક્શન્સ સાથે સરળીકૃત નિયોકોગ્નિટ્રોન) પર લાગુ કરવામાં આવ્યું. તેમણે ઓપ્ટિકલ કમ્પ્યુટિંગ સિસ્ટમ સાથે સીએનએનના અમલીકરણનો પણ પ્રસ્તાવ મૂક્યો હતો. 1989 માં, યાન લેકુન એટ અલ. ટપાલ પર હસ્તલિખિત ઝીપ કોડને ઓળખવાના હેતુથી સી. એન. એન. પર બેકપ્રોપેગેશન લાગુ કરવામાં આવ્યું હતું. જ્યારે અલ્ગોરિધમ કામ કરતું હતું, ત્યારે તાલીમ માટે 3 દિવસની જરૂર હતી. ત્યારબાદ, વેઈ ઝાંગ, વગેરે. છેલ્લા સંપૂર્ણ રીતે જોડાયેલા સ્તરને દૂર કરીને તેમના મોડેલમાં ફેરફાર કર્યો અને તેને 1991માં મેડિકલ ઇમેજ ઓબ્જેક્ટ સેગમેન્ટેશન માટે અને 1994માં મેમોગ્રામમાં સ્તન કેન્સરની તપાસ માટે લાગુ કર્યો. લેનટ-5 (1998), યાન લેકુન એટ અલ દ્વારા 7-સ્તરનું સી. એન. એન., જે અંકોનું વર્ગીકરણ કરે છે, તે ઘણી બેંકો દ્વારા 32x32 પિક્સેલ છબીઓમાં ડિજિટાઇઝ કરેલા ચેક પર હાથથી લખાયેલા નંબરોને ઓળખવા માટે લાગુ કરવામાં આવ્યું હતું. 1980 ના દાયકામાં, લાંબા ધિરાણ સોંપણી માર્ગો સાથે ઊંડા શિક્ષણ માટે બેકપ્રોપેગેશન સારી રીતે કામ કરતું ન હતું. આ સમસ્યાને દૂર કરવા માટે, જુર્ગેન શ્મિધુબરે (1992) સ્વ-નિરીક્ષણ શિક્ષણ દ્વારા એક સમયે પૂર્વ-પ્રશિક્ષિત એક સ્તરના આર. એન. એન. ના પદાનુક્રમની દરખાસ્ત કરી હતી. તે બહુવિધ સ્વ-આયોજન સમય સ્કેલ પર આંતરિક રજૂઆતો શીખવા માટે આગાહીયુક્ત કોડિંગનો ઉપયોગ કરે છે. આ ડાઉનસ્ટ્રીમમાં ઊંડા શિક્ષણને નોંધપાત્ર રીતે સરળ બનાવી શકે છે. ઉચ્ચ સ્તરના ચંકર નેટવર્કને નીચલા સ્તરના ઓટોમેટાઇઝર નેટવર્કમાં નિસ્યંદિત કરીને આર. એન. એન. પદાનુક્રમને એક જ આર. એન. એન. માં તોડી શકાય છે. 1993 માં, એક ચંકરે એક ઊંડા શિક્ષણ કાર્યને હલ કર્યું જેની ઊંડાઈ 1000 થી વધુ હતી. 1992માં, જુર્ગેન શ્મિધુબરે આર. એન. એન. નો વિકલ્પ પણ પ્રકાશિત કર્યો હતો, જેને હવે રેખીય ટ્રાન્સફોર્મર અથવા રેખીય સ્વ-ધ્યાન સાથે ટ્રાન્સફોર્મર કહેવામાં આવે છે (સામાન્યીકરણ ઓપરેટર માટે સાચવો). તે ધ્યાનની આંતરિક સ્પૉટલાઇટ શીખે છેઃ એક ધીમું ફીડફોરવર્ડ ન્યુરલ નેટવર્ક અન્ય ન્યુરલ નેટવર્કના ઝડપી વજનને નિયંત્રિત કરવા માટે સ્વ-જનરેટેડ સક્રિયકરણ પેટર્ન FROM અને TO (જેને હવે સ્વ-ધ્યાન માટે કી અને મૂલ્ય કહેવામાં આવે છે) ના બાહ્ય ઉત્પાદનો દ્વારા ઢાળ વંશ દ્વારા શીખે છે. આ ઝડપી વજન ધ્યાન મેપિંગ ક્વેરી પેટર્ન પર લાગુ થાય છે. આધુનિક ટ્રાન્સફોર્મર આશિષ વાસવાની વગેરે દ્વારા રજૂ કરવામાં આવ્યું હતું. અલ. તેમના 2017 ના પેપરમાં "ધ્યાન એ તમને જરૂર છે". તે આને સોફ્ટમેક્સ ઓપરેટર અને પ્રોજેક્શન મેટ્રિક્સ સાથે જોડે છે. કુદરતી ભાષા પ્રક્રિયા માટે ટ્રાન્સફોર્મર્સ વધુને વધુ પસંદગીનું મોડેલ બની ગયા છે. ચેટજીપીટી, જીપીટી-4 અને બીઈઆરટી જેવા ઘણા આધુનિક મોટા ભાષાના નમૂનાઓ તેનો ઉપયોગ કરે છે. કોમ્પ્યુટર દ્રષ્ટિમાં પણ ટ્રાન્સફોર્મર્સનો વધુને વધુ ઉપયોગ થઈ રહ્યો છે. 1991 માં, જુર્ગેન શ્મિધુબરે પ્રતિકૂળ ન્યુરલ નેટવર્ક્સ પણ પ્રકાશિત કર્યા હતા જે શૂન્ય-રકમની રમતના રૂપમાં એકબીજા સાથે સ્પર્ધા કરે છે, જ્યાં એક નેટવર્કનો લાભ બીજા નેટવર્કનું નુકસાન છે. પ્રથમ નેટવર્ક એક જનરેટિવ મોડેલ છે જે આઉટપુટ પેટર્ન પર સંભાવના વિતરણનું મોડેલ બનાવે છે. બીજું નેટવર્ક આ પેટર્ન પર પર્યાવરણની પ્રતિક્રિયાઓની આગાહી કરવા માટે ઢાળ વંશ દ્વારા શીખે છે. આને "કૃત્રિમ જિજ્ઞાસા" કહેવામાં આવતું હતું. 2014 માં, આ સિદ્ધાંતનો ઉપયોગ ઇયાન ગુડફેલો એટ અલ દ્વારા જનરેટિવ એડવર્સિયલ નેટવર્ક (જી. એ. એન.) માં કરવામાં આવ્યો હતો. અહીં પર્યાવરણીય પ્રતિક્રિયા 1 અથવા 0 છે જે તેના આધારે છે કે પ્રથમ નેટવર્કનું આઉટપુટ આપેલ સમૂહમાં છે કે કેમ. આનો ઉપયોગ વાસ્તવિક ડીપફેક બનાવવા માટે થઈ શકે છે. ટેરો કર્રાસ એટ દ્વારા પ્રોગ્રેસિવ GAN પર આધારિત Nvidia ની StyleGAN (2018) દ્વારા ઉત્તમ છબી ગુણવત્તા પ્રાપ્ત થાય છે. અલ. અહીં જી. એ. એન. જનરેટરને પિરામિડ શૈલીમાં નાનાથી મોટા પાયે ઉગાડવામાં આવે છે. સેપ હોકરેઇટરના ડિપ્લોમા થીસીસ (1991) ને તેમના સુપરવાઇઝર શ્મિધુબર દ્વારા "મશીન લર્નિંગના ઇતિહાસમાં સૌથી મહત્વપૂર્ણ દસ્તાવેજોમાંથી એક" કહેવામાં આવ્યું હતું. તેણે માત્ર ન્યુરલ હિસ્ટ્રી કોમ્પ્રેસરનું જ પરીક્ષણ કર્યું ન હતું, પરંતુ લુપ્ત થતી ગ્રેડિયન્ટ સમસ્યાને પણ ઓળખી અને તેનું વિશ્લેષણ કર્યું હતું. હોક્રિટરે આ સમસ્યાને ઉકેલવા માટે પુનરાવર્તિત શેષ જોડાણોની દરખાસ્ત કરી હતી. આ લાંબા ટૂંકા ગાળાના મેમરી (એલએસટીએમ) તરીકે ઓળખાતી ઊંડા શિક્ષણ પદ્ધતિ તરફ દોરી ગઈ, જે 1997 માં પ્રકાશિત થઈ. એલ. એસ. ટી. એમ. રિકરન્ટ ન્યુરલ નેટવર્ક્સ લાંબા ક્રેડિટ અસાઇનમેન્ટ પાથ સાથે "ખૂબ જ ઊંડા શિક્ષણ" કાર્યો શીખી શકે છે જેમાં હજારો અલગ સમયના પગલાં પહેલાં બનેલી ઘટનાઓની યાદોની જરૂર પડે છે. 1999માં ફેલિક્સ ગેર્સ, શ્મિધુબર અને ફ્રેડ કમિન્સ દ્વારા ફોરગેટ ગેટ સાથે "વેનીલા એલએસટીએમ" રજૂ કરવામાં આવ્યું હતું. એલ. એસ. ટી. એમ. 20મી સદીનું સૌથી વધુ નોંધાયેલ ન્યુરલ નેટવર્ક બની ગયું છે. 2015માં, રુપેશ કુમાર શ્રીવાસ્તવ, ક્લાઉસ ગ્રેફ અને શ્મિધુબરે એલ. એસ. ટી. એમ. સિદ્ધાંતોનો ઉપયોગ હાઇવે નેટવર્ક બનાવવા માટે કર્યો હતો, જે સેંકડો સ્તરો સાથેનું ફીડફોરવર્ડ ન્યુરલ નેટવર્ક છે, જે અગાઉના નેટવર્ક કરતા ઘણું ઊંડું છે. 7 મહિના પછી, કેમિંગ હે, ઝિયાંગ્યુ ઝાંગ; શાઓકિંગ રેન અને જિયાન સનએ રેસિડ્યુઅલ ન્યુરલ નેટવર્ક નામના ઓપન-ગેટેડ અથવા ગેટલેસ હાઇવે નેટવર્ક વેરિઅન્ટ સાથે ઇમેજનેટ 2015 સ્પર્ધા જીતી હતી. આ 21મી સદીનું સૌથી વધુ ટાંકવામાં આવેલું ન્યુરલ નેટવર્ક બની ગયું છે. 1994માં, આન્દ્રે ડી કાર્વાલ્હોએ માઇક ફેરહર્સ્ટ અને ડેવિડ બિસેટ સાથે મળીને મલ્ટી-લેયર બુલિયન ન્યુરલ નેટવર્કના પ્રાયોગિક પરિણામો પ્રકાશિત કર્યા, જેને વેઇટલેસ ન્યુરલ નેટવર્ક તરીકે પણ ઓળખવામાં આવે છે, જે 3-લેયર સેલ્ફ-ઓર્ગેનાઇઝિંગ ફીચર એક્સટ્રેક્શન ન્યુરલ નેટવર્ક મોડ્યુલ (એસ. ઓ. એફ. ટી.) થી બનેલું છે, ત્યારબાદ મલ્ટી-લેયર ક્લાસિફિકેશન ન્યુરલ નેટવર્ક મોડ્યુલ (જી. એસ. એન.), જે સ્વતંત્ર રીતે પ્રશિક્ષિત હતું. સુવિધા નિષ્કર્ષણ મોડ્યુલમાં દરેક સ્તર અગાઉના સ્તરને લગતી વધતી જટિલતા સાથે લાક્ષણિકતાઓ કાઢે છે. 1995માં, બ્રેન્ડન ફ્રીએ દર્શાવ્યું હતું કે પીટર દયાન અને હિંટન સાથે સહ-વિકસિત વેક-સ્લીપ અલ્ગોરિધમનો ઉપયોગ કરીને છ સંપૂર્ણ રીતે જોડાયેલા સ્તરો અને સેંકડો છુપાયેલા એકમો ધરાવતા નેટવર્કને (બે દિવસમાં) તાલીમ આપવી શક્ય છે. 1997 થી, સ્વેન બેહ્નકેએ ન્યુરલ એબ્સ્ટ્રેક્શન પિરામિડમાં બાજુની અને પછાત જોડાણો દ્વારા ફીડ-ફોરવર્ડ અધિક્રમિક કન્વોલ્યુશનલ અભિગમને વિસ્તૃત કર્યો જેથી નિર્ણયોમાં સંદર્ભને લવચીક રીતે સમાવિષ્ટ કરી શકાય અને સ્થાનિક અસ્પષ્ટતાઓને પુનરાવર્તિત રીતે ઉકેલવામાં આવે. કૃત્રિમ ન્યુરલ નેટવર્ક (એ. એન. એન.) ની કોમ્પ્યુટેશનલ કિંમત અને મગજ તેના જૈવિક નેટવર્કને કેવી રીતે વાયર કરે છે તેની સમજણના અભાવને કારણે 1990 અને 2000ના દાયકામાં ગેબર ફિલ્ટર્સ અને સપોર્ટ વેક્ટર મશીનો (એસ. વી. એમ.) જેવી કાર્ય-વિશિષ્ટ હસ્તકલા સુવિધાઓનો ઉપયોગ કરતા સરળ મોડેલો લોકપ્રિય પસંદગી હતા. વાણી ઓળખ માટે એ. એન. એન. ના છીછરા અને ઊંડા શિક્ષણ (દા. ત., પુનરાવર્તિત જાળી) બંનેની શોધ ઘણા વર્ષોથી કરવામાં આવી છે. આ પદ્ધતિઓએ ભેદભાવપૂર્ણ રીતે પ્રશિક્ષિત વાણીના ઉત્પાદક નમૂનાઓ પર આધારિત બિન-સમાન આંતરિક-હસ્તકલા ગૌસીયન મિશ્રણ મોડેલ/હિડન માર્કોવ મોડેલ (જી. એમ. એમ.-એચ. એમ. એમ.) તકનીકને ક્યારેય પાછળ છોડી ન હતી. મુખ્ય મુશ્કેલીઓનું વિશ્લેષણ કરવામાં આવ્યું છે, જેમાં ચેતા આગાહીયુક્ત નમૂનાઓમાં ઢાળ ઘટવું અને નબળા અસ્થાયી સહસંબંધ માળખા સામેલ છે. વધારાની મુશ્કેલીઓમાં તાલીમ માહિતીનો અભાવ અને મર્યાદિત કમ્પ્યુટિંગ શક્તિ હતી. મોટાભાગના વાણી ઓળખ સંશોધકો જનરેટિવ મોડેલિંગને આગળ વધારવા માટે ન્યુરલ નેટથી દૂર ગયા. 1990ના દાયકાના અંતમાં એસ. આર. આઈ. ઇન્ટરનેશનલમાં એક અપવાદ હતો. યુએસ સરકારના એનએસએ અને ડીએઆરપીએ દ્વારા ભંડોળ પૂરું પાડવામાં આવેલ, એસઆરઆઈએ વાણી અને વક્તા ઓળખમાં ઊંડા ન્યુરલ નેટવર્કનો અભ્યાસ કર્યો. લેરી હેકની આગેવાની હેઠળની સ્પીકર રેકગ્નિશન ટીમે 1998 નેશનલ ઇન્સ્ટિટ્યૂટ ઓફ સ્ટાન્ડર્ડ્સ એન્ડ ટેક્નોલોજી સ્પીકર રેકગ્નિશન મૂલ્યાંકનમાં સ્પીચ પ્રોસેસિંગમાં ડીપ ન્યુરલ નેટવર્ક સાથે નોંધપાત્ર સફળતાની જાણ કરી હતી. ત્યારબાદ SRI ડીપ ન્યુરલ નેટવર્કને ન્યુઅન્સ વેરિફાયરમાં તૈનાત કરવામાં આવ્યું હતું, જે ડીપ લર્નિંગની પ્રથમ મોટી ઔદ્યોગિક એપ્લિકેશનનું પ્રતિનિધિત્વ કરે છે. હાથથી બનાવેલા ઓપ્ટિમાઇઝેશન પર "કાચા" લક્ષણોને ઉન્નત કરવાનો સિદ્ધાંત સૌપ્રથમ 1990 ના દાયકાના અંતમાં "કાચા" સ્પેક્ટ્રોગ્રામ અથવા રેખીય ફિલ્ટર-બેંક સુવિધાઓ પર ઊંડા ઓટોએન્કોડરના આર્કિટેક્ચરમાં સફળતાપૂર્વક શોધવામાં આવ્યો હતો, જે મેલ-સેપ્સ્ટ્રલ સુવિધાઓ પર તેની શ્રેષ્ઠતા દર્શાવે છે જેમાં સ્પેક્ટ્રોગ્રામથી નિશ્ચિત પરિવર્તનના તબક્કાઓ હોય છે. વાણીના કાચા લક્ષણો, તરંગરૂપો, પાછળથી ઉત્તમ મોટા પાયે પરિણામો ઉત્પન્ન કરે છે. વાણી માન્યતા એલ. એસ. ટી. એમ. દ્વારા લેવામાં આવી હતી. 2003 માં, એલ. એસ. ટી. એમ. એ અમુક કાર્યો પર પરંપરાગત ભાષણ ઓળખકર્તાઓ સાથે સ્પર્ધાત્મક બનવાનું શરૂ કર્યું. 2006માં, એલેક્સ ગ્રેવ્સ, સેન્ટિયાગો ફર્નાન્ડિઝ, ફોસ્ટિનો ગોમેઝ અને શ્મિધુબરે તેને એલએસટીએમ આરએનએનના ઢગલામાં જોડાણવાદી અસ્થાયી વર્ગીકરણ (સીટીસી) સાથે જોડ્યું હતું. 2015 માં, ગૂગલની સ્પીચ રેકગ્નિશને સીટીસી-પ્રશિક્ષિત એલએસટીએમ દ્વારા 49 ટકાના નાટકીય પ્રદર્શનનો અનુભવ કર્યો હતો, જેને તેમણે ગૂગલ વોઇસ સર્ચ દ્વારા ઉપલબ્ધ કરાવ્યું હતું. ઉદ્યોગમાં ઊંડા શિક્ષણની અસર 2000ના દાયકાની શરૂઆતમાં શરૂ થઈ હતી, જ્યારે યાન લેકુનના જણાવ્યા અનુસાર સી. એન. એન. એ યુ. એસ. માં લખાયેલા તમામ ચેકમાંથી અંદાજે 10 ટકાથી 20 ટકા પર પ્રક્રિયા કરી લીધી હતી. મોટા પાયે વાણી ઓળખ માટે ઊંડા શિક્ષણના ઔદ્યોગિક ઉપયોગો 2010 ની આસપાસ શરૂ થયા હતા. 2006 માં, જ્યોફ હિંટન, રુસ્લાન સાલાખુટડિનોવ, ઓસિન્ડેરો અને તેહના પ્રકાશનોએ દર્શાવ્યું હતું કે કેવી રીતે બહુવિધ સ્તરના ફીડફોરવર્ડ ન્યુરલ નેટવર્કને એક સમયે એક સ્તરને અસરકારક રીતે પૂર્વ-પ્રશિક્ષિત કરી શકાય છે, જેમાં દરેક સ્તરને એક અનસુપરવાઇઝ્ડ પ્રતિબંધિત બોલ્ટ્ઝમેન મશીન તરીકે ગણવામાં આવે છે, પછી તેને સુપરવાઇઝ્ડ બેકપ્રોપેગેશનનો ઉપયોગ કરીને ફાઇન-ટ્યુનિંગ કરવામાં આવે છે. આ કાગળો ઊંડા વિશ્વાસની જાળ માટે શીખવાનો ઉલ્લેખ કરે છે. 2009 ની એન. આઈ. પી. એસ. વર્કશોપ ઓન ડીપ લર્નિંગ ફોર સ્પીચ રેકગ્નિશન વાણીના ઊંડા ઉત્પાદક નમૂનાઓની મર્યાદાઓ અને વધુ સક્ષમ હાર્ડવેર અને મોટા પાયે ડેટા સેટ આપવામાં આવે તો ઊંડા ચેતા જાળ (ડી. એન. એન.) વ્યવહારુ બની શકે તેવી શક્યતા દ્વારા પ્રેરિત હતી. એવું માનવામાં આવતું હતું કે ડીપ બિલીફ નેટ્સ (ડી. બી. એન.) ના જનરેટિવ મોડેલ્સનો ઉપયોગ કરીને ડી. એન. એન. ને પૂર્વ-તાલીમ આપવાથી ન્યુરલ નેટ્સની મુખ્ય મુશ્કેલીઓ દૂર થશે. જો કે, એવું જાણવા મળ્યું હતું કે મોટા, સંદર્ભ-આધારિત આઉટપુટ સ્તરો સાથે ડી. એન. એન. નો ઉપયોગ કરતી વખતે સીધા બેકપ્રોપેગેશન માટે મોટી માત્રામાં તાલીમ ડેટા સાથે પૂર્વ-તાલીમને બદલીને તે સમયના અદ્યતન ગૌસીયન મિશ્રણ મોડેલ (જી. એમ. એમ.)/હિડન માર્કોવ મોડેલ (એચ. એમ. એમ.) અને વધુ અદ્યતન જનરેટિવ મોડેલ-આધારિત સિસ્ટમો કરતાં પણ ભૂલ દર નાટ્યાત્મક રીતે ઓછો હતો. બે પ્રકારની પ્રણાલીઓ દ્વારા ઉત્પન્ન માન્યતા ભૂલોની પ્રકૃતિ લાક્ષણિક રીતે અલગ હતી, જે તમામ મુખ્ય ભાષણ માન્યતા પ્રણાલીઓ દ્વારા તૈનાત હાલની અત્યંત કાર્યક્ષમ, રન-ટાઇમ સ્પીચ ડીકોડિંગ પ્રણાલીમાં ઊંડા શિક્ષણને કેવી રીતે સંકલિત કરવું તે અંગે તકનીકી આંતરદૃષ્ટિ પ્રદાન કરે છે. જી. એમ. એમ. (અને અન્ય જનરેટિવ સ્પીચ મોડલ) વિરુદ્ધ ડી. એન. એન. મોડલની તુલનામાં <આઇ. ડી. 1> ની આસપાસના વિશ્લેષણથી વાણી ઓળખ માટે ઊંડા શિક્ષણમાં પ્રારંભિક ઔદ્યોગિક રોકાણને પ્રોત્સાહન મળ્યું. તે વિશ્લેષણ ભેદભાવપૂર્ણ ડી. એન. એન. અને ઉત્પાદક નમૂનાઓ વચ્ચે તુલનાત્મક કામગીરી (ભૂલ દરમાં 1.5 ટકાથી ઓછા) સાથે કરવામાં આવ્યું હતું. 2010 માં, સંશોધકોએ નિર્ણય વૃક્ષો દ્વારા નિર્મિત સંદર્ભ-આધારિત એચ. એમ. એમ. સ્થિતિઓના આધારે ડી. એન. એન. ના મોટા આઉટપુટ સ્તરોને અપનાવીને, ટી. આઈ. એમ. આઈ. ટી. થી મોટા શબ્દભંડોળની વાણી માન્યતા સુધી ઊંડા શિક્ષણનો વિસ્તાર કર્યો. ડીપ લર્નિંગ એ વિવિધ શાખાઓમાં, ખાસ કરીને કોમ્પ્યુટર વિઝન અને ઓટોમેટિક સ્પીચ રેકગ્નિશન (એ. એસ. આર.) માં અત્યાધુનિક પ્રણાલીઓનો એક ભાગ છે. ટી. આઈ. એમ. આઈ. ટી. (એ. એસ. આર.) અને એમ. એન. આઈ. એસ. ટી. (છબી વર્ગીકરણ) જેવા સામાન્ય રીતે ઉપયોગમાં લેવાતા મૂલ્યાંકન સમૂહો પરના પરિણામો, તેમજ મોટા-શબ્દભંડોળ ભાષણ માન્યતા કાર્યોની શ્રેણીમાં સતત સુધારો થયો છે. એલ. એસ. ટી. એમ. માટે સી. ટી. સી. દ્વારા એ. એસ. આર. માટે કન્વોલ્યુશનલ ન્યુરલ નેટવર્ક્સ (સી. એન. એન.) નું સ્થાન લીધું હતું. પરંતુ કમ્પ્યુટર દ્રષ્ટિમાં વધુ સફળ છે. હાર્ડવેરમાં પ્રગતિએ ઊંડા શિક્ષણમાં નવેસરથી રસ દાખવ્યો છે. 2009 માં, એનવીડિયા ઊંડા શિક્ષણના "મોટા વિસ્ફોટ" તરીકે ઓળખાતી પ્રવૃત્તિમાં સામેલ હતી, કારણ કે ઊંડા શિક્ષણના ન્યુરલ નેટવર્ક્સને એનવીડિયા ગ્રાફિક્સ પ્રોસેસિંગ એકમો (જી. પી. યુ.) સાથે તાલીમ આપવામાં આવી હતી. તે વર્ષે, એન્ડ્રુ એનજીએ નક્કી કર્યું હતું કે જી. પી. યુ. ઊંડા શિક્ષણ પ્રણાલીઓની ગતિમાં લગભગ 100 ગણો વધારો કરી શકે છે. ખાસ કરીને, જી. પી. યુ. મશીન લર્નિંગમાં સામેલ મેટ્રિક્સ/વેક્ટર ગણતરીઓ માટે સારી રીતે અનુકૂળ છે. જી. પી. યુ. તીવ્રતાના ક્રમ દ્વારા તાલીમ અલ્ગોરિધમ્સને ઝડપી બનાવે છે, જે અઠવાડિયાથી દિવસો સુધી દોડવાનો સમય ઘટાડે છે. વધુમાં, ઊંડા શિક્ષણના નમૂનાઓની કાર્યક્ષમ પ્રક્રિયા માટે વિશિષ્ટ હાર્ડવેર અને અલ્ગોરિધમ ઑપ્ટિમાઇઝેશનનો ઉપયોગ કરી શકાય છે. ઊંડા શિક્ષણની ક્રાંતિ 2000 ના દાયકાના અંતમાં, ઊંડા શિક્ષણએ મશીન લર્નિંગ સ્પર્ધાઓમાં અન્ય પદ્ધતિઓને પાછળ છોડવાનું શરૂ કર્યું. 2009 માં, જોડાણવાદી ટેમ્પોરલ વર્ગીકરણ (એલેક્સ ગ્રેવ્સ, સેન્ટિયાગો ફર્નાન્ડિઝ, ફોસ્ટિનો ગોમેઝ અને જુર્ગેન શ્મિધુબર, 2006) દ્વારા પ્રશિક્ષિત લાંબા ટૂંકા ગાળાની યાદશક્તિ એ પેટર્ન માન્યતા સ્પર્ધાઓ જીતનાર પ્રથમ આર. એન. એન. હતી, જેણે જોડાયેલ હસ્તાક્ષર માન્યતામાં ત્રણ સ્પર્ધાઓ જીતી હતી. ગૂગલે બાદમાં સ્માર્ટફોન પર વાણી ઓળખવા માટે સીટીસી-પ્રશિક્ષિત એલએસટીએમનો ઉપયોગ કર્યો હતો. 2011 થી 2012 સુધી છબી અથવા પદાર્થની ઓળખમાં નોંધપાત્ર અસરો અનુભવવામાં આવી હતી. જો કે બેકપ્રોપેગેશન દ્વારા પ્રશિક્ષિત સી. એન. એન. દાયકાઓથી આસપાસ હતા, અને સી. એન. એન. સહિત વર્ષોથી એન. એન. ના જી. પી. યુ. અમલીકરણ, કમ્પ્યુટર દ્રષ્ટિ પર પ્રગતિ કરવા માટે જી. પી. યુ. પર સી. એન. એન. ના ઝડપી અમલીકરણની જરૂર હતી. 2011 માં, ડેન સિરેસન, ઉલી મેયર, જોનાથન માસ્કી, લુકા મારિયા ગેમ્બાર્ડેલા અને જુર્ગેન શ્મિધુબરે દ્વારા ડેનનેટએ દ્રશ્ય પેટર્ન માન્યતા સ્પર્ધામાં પ્રથમ વખત અતિમાનવીય પ્રદર્શન હાંસલ કર્યું, પરંપરાગત પદ્ધતિઓને 3 ના પરિબળથી પાછળ રાખી દીધી. 2011 માં પણ, ડેનનેટે ICDAR ચાઇનીઝ હસ્તલેખન સ્પર્ધા જીતી હતી, અને મે 2012 માં, તેણે ISBI છબી વિભાજન સ્પર્ધા જીતી હતી. 2011 સુધી, સી. એન. એન. એ કમ્પ્યુટર વિઝન પરિષદોમાં મુખ્ય ભૂમિકા ભજવી ન હતી, પરંતુ જૂન 2012 માં, સિરેસન એટ અલ દ્વારા એક પેપર. અગ્રણી પરિષદમાં સી. વી. પી. આર. એ દર્શાવ્યું હતું કે જી. પી. યુ. પર મહત્તમ પૂલિંગ સી. એન. એન. કેવી રીતે ઘણા દ્રષ્ટિ બેન્ચમાર્ક રેકોર્ડ્સમાં નાટ્યાત્મક રીતે સુધારો કરી શકે છે. સપ્ટેમ્બર 2012માં, ડેનનેટે કેન્સરની તપાસ માટે મોટી તબીબી છબીઓના વિશ્લેષણ પર આઇ. સી. પી. આર. સ્પર્ધા પણ જીતી હતી, અને તે પછીના વર્ષે પણ આ જ વિષય પર એમ. આઈ. સી. સી. એ. આઈ. ગ્રાન્ડ ચેલેન્જ જીતી હતી. ઓક્ટોબર 2012 માં, એલેક્સ ક્રિઝેવ્સ્કી, ઇલ્યા સુટસ્કવેર અને જ્યોફ્રી હિંટન દ્વારા સમાન એલેક્સનેટે છીછરા મશીન લર્નિંગ પદ્ધતિઓ પર નોંધપાત્ર અંતરથી મોટા પાયે ઇમેજનેટ સ્પર્ધા જીતી હતી. કારેન સિમોનિયન અને એન્ડ્રુ ઝિસરમેન દ્વારા વી. જી. જી.-16 નેટવર્કએ ભૂલના દરમાં વધુ ઘટાડો કર્યો અને મોટા પાયે ભાષણની માન્યતામાં સમાન વલણને અનુસરીને ઈમેજનેટ 2014 સ્પર્ધા જીતી. ત્યારબાદ છબી વર્ગીકરણને ઘણીવાર સી. એન. એન. અને એલ. એસ. ટી. એમ. ના સંયોજન તરીકે છબીઓ માટે વર્ણન (કૅપ્શન્સ) બનાવવાના વધુ પડકારજનક કાર્ય સુધી વિસ્તૃત કરવામાં આવ્યું હતું. 2012માં, જ્યોર્જ ઇ. ડાહલની આગેવાની હેઠળની ટીમે એક દવાના બાયોમોલેક્યુલર લક્ષ્યની આગાહી કરવા માટે મલ્ટી-ટાસ્ક ડીપ ન્યુરલ નેટવર્કનો ઉપયોગ કરીને "મર્ક મોલેક્યુલર એક્ટિવિટી ચેલેન્જ" જીતી હતી. 2014 માં, સેપ હોકરેઇટરના જૂથે પોષક તત્ત્વો, ઘરગથ્થુ ઉત્પાદનો અને દવાઓમાં પર્યાવરણીય રસાયણોની બિન-લક્ષ્ય અને ઝેરી અસરો શોધવા માટે ઊંડા શિક્ષણનો ઉપયોગ કર્યો હતો અને એનઆઈએચ, એફડીએ અને એનસીએટીએસની "ટોક્સ 21 ડેટા ચેલેન્જ" જીતી હતી. 2016 માં, રોજર પાર્લોફે "ઊંડી શીખવાની ક્રાંતિ" નો ઉલ્લેખ કર્યો હતો જેણે AI ઉદ્યોગને બદલી નાખ્યો છે. માર્ચ 2019 માં, યોશુઆ બેંગિયો, જ્યોફ્રી હિંટન અને યાન લેકુનને વૈચારિક અને ઇજનેરી સફળતાઓ માટે ટ્યુરિંગ એવોર્ડ એનાયત કરવામાં આવ્યો હતો જેણે ઊંડા ન્યુરલ નેટવર્ક્સને કમ્પ્યુટિંગનો નિર્ણાયક ઘટક બનાવ્યો છે. ન્યુરલ નેટવર્ક્સ આર્ટિફિશિયલ ન્યુરલ નેટવર્ક્સ (એ. એન. એન.) અથવા જોડાણવાદી સિસ્ટમો એ જૈવિક ન્યુરલ નેટવર્ક્સ દ્વારા પ્રેરિત કમ્પ્યુટિંગ સિસ્ટમો છે જે પ્રાણીઓના મગજની રચના કરે છે. આવી પ્રણાલીઓ સામાન્ય રીતે કાર્ય-વિશિષ્ટ પ્રોગ્રામિંગ વિના, ઉદાહરણોને ધ્યાનમાં લઈને કાર્યો કરવાનું શીખે છે (ક્રમશઃ તેમની ક્ષમતામાં સુધારો કરે છે). ઉદાહરણ તરીકે, છબી ઓળખાણમાં, તેઓ "બિલાડી" અથવા "બિલાડી નહીં" તરીકે જાતે લેબલ થયેલ ઉદાહરણ છબીઓનું વિશ્લેષણ કરીને અને અન્ય છબીઓમાં બિલાડીઓને ઓળખવા માટે વિશ્લેષણાત્મક પરિણામોનો ઉપયોગ કરીને બિલાડીઓ ધરાવતી છબીઓને ઓળખવાનું શીખી શકે છે. તેમને નિયમ-આધારિત પ્રોગ્રામિંગનો ઉપયોગ કરીને પરંપરાગત કમ્પ્યુટર અલ્ગોરિધમનો ઉપયોગ કરીને એપ્લિકેશનોમાં મોટાભાગના ઉપયોગને વ્યક્ત કરવો મુશ્કેલ લાગ્યું છે. એ. એન. એન. એ કૃત્રિમ ચેતાકોષો (જૈવિક મગજમાં જૈવિક ચેતાકોષો જેવું) તરીકે ઓળખાતા જોડાયેલા એકમોના સંગ્રહ પર આધારિત છે. ચેતાકોષો વચ્ચેનું દરેક જોડાણ (સિનેપ્સ) અન્ય ચેતાકોષમાં સંકેત પ્રસારિત કરી શકે છે. પ્રાપ્ત કરનાર (પોસ્ટસિનેપ્ટિક) ચેતાકોષ સંકેત (ઓ) પર પ્રક્રિયા કરી શકે છે અને પછી તેની સાથે જોડાયેલા ડાઉનસ્ટ્રીમ ચેતાકોષોને સંકેત આપી શકે છે. ચેતાકોષોની સ્થિતિ હોઈ શકે છે, જે સામાન્ય રીતે વાસ્તવિક સંખ્યાઓ દ્વારા રજૂ થાય છે, જે સામાન્ય રીતે 0 અને 1 ની વચ્ચે હોય છે. ચેતાકોષો અને સિનેપ્સનું વજન પણ હોઈ શકે છે જે શીખવાની પ્રગતિ તરીકે બદલાય છે, જે તે ડાઉનસ્ટ્રીમ મોકલે છે તે સંકેતની શક્તિને વધારી અથવા ઘટાડી શકે છે. સામાન્ય રીતે ચેતાકોષો સ્તરોમાં ગોઠવાયેલા હોય છે. વિવિધ સ્તરો તેમના ઇનપુટ્સ પર વિવિધ પ્રકારના પરિવર્તન કરી શકે છે. સંકેતો પ્રથમ (ઇનપુટ) થી છેલ્લા (આઉટપુટ) સ્તર સુધી મુસાફરી કરે છે, સંભવતઃ સ્તરોને ઘણી વખત પસાર કર્યા પછી. ન્યુરલ નેટવર્ક અભિગમનો મૂળ ધ્યેય માનવ મગજની જેમ જ સમસ્યાઓનું સમાધાન કરવાનો હતો. સમય જતાં, ચોક્કસ માનસિક ક્ષમતાઓને સરખાવવા પર ધ્યાન કેન્દ્રિત કરવામાં આવ્યું, જે બેકપ્રોપેગેશન જેવા જીવવિજ્ઞાનમાંથી વિચલનો તરફ દોરી જાય છે, અથવા માહિતીને વિપરીત દિશામાં પસાર કરે છે અને તે માહિતીને પ્રતિબિંબિત કરવા માટે નેટવર્કને વ્યવસ્થિત કરે છે. ન્યુરલ નેટવર્ક્સનો ઉપયોગ કમ્પ્યુટર વિઝન, સ્પીચ રેકગ્નિશન, મશીન ટ્રાન્સલેશન, સોશિયલ નેટવર્ક ફિલ્ટરિંગ, બોર્ડ અને વિડિયો ગેમ્સ રમવા અને તબીબી નિદાન સહિત વિવિધ કાર્યો પર કરવામાં આવે છે. 2017 સુધીમાં, ન્યુરલ નેટવર્ક્સમાં સામાન્ય રીતે થોડા હજારથી થોડા મિલિયન એકમો અને લાખો જોડાણો હોય છે. આ સંખ્યા માનવ મગજ પર ચેતાકોષોની સંખ્યા કરતા ઘણી ઓછી હોવા છતાં, આ નેટવર્ક મનુષ્યોની બહારના સ્તરે ઘણા કાર્યો કરી શકે છે (દા. ત., ચહેરાને ઓળખવા અથવા "ગો" રમવું). ડીપ ન્યુરલ નેટવર્ક (ડી. એન. એન.) એ એક કૃત્રિમ ન્યુરલ નેટવર્ક (એ. એન. એન.) છે જે ઇનપુટ અને આઉટપુટ સ્તરો વચ્ચે બહુવિધ સ્તરો ધરાવે છે. ન્યુરલ નેટવર્ક્સના વિવિધ પ્રકારો છે પરંતુ તેમાં હંમેશા સમાન ઘટકોનો સમાવેશ થાય છેઃ ચેતાકોષો, સિનેપ્સ, વજન, પૂર્વગ્રહ અને કાર્યો. આ ઘટકો માનવ મગજની જેમ જ સંપૂર્ણ કાર્ય કરે છે, અને અન્ય કોઈપણ એમ. એલ. અલ્ગોરિધમની જેમ પ્રશિક્ષિત કરી શકાય છે. ઉદાહરણ તરીકે, DNN કે જેને કૂતરાની જાતિઓને ઓળખવા માટે તાલીમ આપવામાં આવે છે તે આપેલ છબી પર જશે અને છબીમાંનો કૂતરો ચોક્કસ જાતિ હોવાની સંભાવનાની ગણતરી કરશે. વપરાશકર્તા પરિણામોની સમીક્ષા કરી શકે છે અને પસંદ કરી શકે છે કે નેટવર્કએ કઈ સંભાવનાઓ પ્રદર્શિત કરવી જોઈએ (ચોક્કસ મર્યાદાથી ઉપર, વગેરે). અને સૂચિત લેબલ પરત કરો. દરેક ગાણિતિક હેરફેરને એક સ્તર માનવામાં આવે છે, અને જટિલ ડી. એન. એન. માં ઘણા સ્તરો હોય છે, તેથી તેનું નામ "ડીપ" નેટવર્ક છે. ડી. એન. એન. જટિલ બિન-રેખીય સંબંધોનું મોડેલ બનાવી શકે છે. ડી. એન. એન. આર્કિટેક્ચર રચનાત્મક નમૂનાઓ ઉત્પન્ન કરે છે જ્યાં પદાર્થને આદિમની સ્તરવાળી રચના તરીકે વ્યક્ત કરવામાં આવે છે. વધારાના સ્તરો નીચલા સ્તરોમાંથી સુવિધાઓની રચનાને સક્ષમ કરે છે, સંભવિત રીતે સમાન પ્રદર્શન કરતા છીછરા નેટવર્ક કરતાં ઓછા એકમો સાથે જટિલ ડેટાનું મોડેલિંગ કરે છે. દાખલા તરીકે, તે સાબિત થયું હતું કે છીછરા નેટવર્કની સરખામણીમાં ડી. એન. એન. સાથે વિરલ બહુપરીમાણીય બહુપદીઓનો અંદાજ લગાવવો ઝડપથી સરળ છે. ઊંડા આર્કિટેક્ચરમાં કેટલાક મૂળભૂત અભિગમોના ઘણા પ્રકારોનો સમાવેશ થાય છે. દરેક સ્થાપત્યને ચોક્કસ ક્ષેત્રોમાં સફળતા મળી છે. બહુવિધ આર્કિટેક્ચરની કામગીરીની તુલના કરવી હંમેશા શક્ય નથી, સિવાય કે તેમનું મૂલ્યાંકન સમાન ડેટા સમૂહો પર કરવામાં આવ્યું હોય. ડી. એન. એન. સામાન્ય રીતે ફીડફોરવર્ડ નેટવર્ક હોય છે જેમાં ડેટા ઇનપુટ સ્તરથી આઉટપુટ સ્તર પર લૂપ કર્યા વિના વહે છે. શરૂઆતમાં, ડી. એન. એન. વર્ચ્યુઅલ ચેતાકોષોનો નકશો બનાવે છે અને તેમની વચ્ચેના જોડાણોને અનિયમિત આંકડાકીય મૂલ્યો અથવા "વજન" સોંપે છે. વજન અને ઇનપુટ્સ ગુણાકાર કરવામાં આવે છે અને 0 અને 1 ની વચ્ચે આઉટપુટ આપે છે. જો નેટવર્ક ચોક્કસ પેટર્નને ચોક્કસપણે ઓળખતું ન હોય, તો અલ્ગોરિધમ વજનને સમાયોજિત કરશે. આ રીતે અલ્ગોરિધમ અમુક પરિમાણોને વધુ પ્રભાવશાળી બનાવી શકે છે, જ્યાં સુધી તે ડેટાની સંપૂર્ણ પ્રક્રિયા કરવા માટે યોગ્ય ગાણિતિક હેરફેર નક્કી ન કરે. રિકરન્ટ ન્યુરલ નેટવર્ક્સ (આર. એન. એન.), જેમાં માહિતી કોઈપણ દિશામાં વહી શકે છે, તેનો ઉપયોગ ભાષા મોડેલિંગ જેવી એપ્લિકેશનો માટે થાય છે. લાંબા ટૂંકા ગાળાની યાદશક્તિ આ ઉપયોગ માટે ખાસ કરીને અસરકારક છે. કોમ્પ્યુટર દ્રષ્ટિમાં કન્વોલ્યુશનલ ડીપ ન્યુરલ નેટવર્ક્સ (સી. એન. એન.) નો ઉપયોગ થાય છે. સી. એન. એન. ને ઓટોમેટિક સ્પીચ રેકગ્નિશન (એ. એસ. આર.) માટે એકોસ્ટિક મોડેલિંગ પર પણ લાગુ કરવામાં આવ્યા છે. પડકારો એ. એન. એન. ની જેમ, નિષ્કપટ પ્રશિક્ષિત ડી. એન. એન. સાથે ઘણી સમસ્યાઓ ઊભી થઈ શકે છે. બે સામાન્ય મુદ્દાઓ ઓવરફિટિંગ અને ગણતરીનો સમય છે. ડીએનએન એબ્સ્ટ્રેક્શનના ઉમેરાયેલા સ્તરોને કારણે ઓવરફિટિંગની સંભાવના ધરાવે છે, જે તેમને તાલીમ ડેટામાં દુર્લભ અવલંબનનું મોડેલ બનાવવાની મંજૂરી આપે છે. ઓવરફિટિંગ સામે લડવા માટે તાલીમ દરમિયાન ઇવાખ્નેન્કોના એકમ કાપણી અથવા વજનમાં ઘટાડો (-નિયમિતકરણ) અથવા સ્પાર્સિટી (-નિયમિતકરણ) જેવી નિયમિતકરણ પદ્ધતિઓ લાગુ કરી શકાય છે. વૈકલ્પિક રીતે ડ્રોપઆઉટ નિયમિતકરણ તાલીમ દરમિયાન છુપાયેલા સ્તરોમાંથી એકમોને અવ્યવસ્થિત રીતે બાકાત રાખે છે. આ દુર્લભ નિર્ભરતાને બાકાત રાખવામાં મદદ કરે છે. છેવટે, પાક અને ફરતી પદ્ધતિઓ દ્વારા માહિતીને એવી રીતે વધારી શકાય છે કે જેથી વધુ પડતી ફિટિંગની શક્યતાઓને ઘટાડવા માટે નાના તાલીમ સમૂહોના કદમાં વધારો કરી શકાય. ડી. એન. એન. એ ઘણા તાલીમ પરિમાણો ધ્યાનમાં લેવા જોઈએ, જેમ કે કદ (સ્તરોની સંખ્યા અને સ્તર દીઠ એકમોની સંખ્યા), શીખવાનો દર અને પ્રારંભિક વજન. સમય અને કોમ્પ્યુટેશનલ સંસાધનોમાં ખર્ચને કારણે શ્રેષ્ઠ પરિમાણો માટે પરિમાણ જગ્યામાંથી પસાર થવું શક્ય ન પણ હોઈ શકે. વિવિધ યુક્તિઓ, જેમ કે બૅચિંગ (વ્યક્તિગત ઉદાહરણોને બદલે એક જ સમયે અનેક તાલીમ ઉદાહરણો પર ઢાળની ગણતરી) ગણતરીને ઝડપી બનાવે છે. મેટ્રિક્સ અને વેક્ટર ગણતરીઓ માટે આવા પ્રોસેસિંગ આર્કિટેક્ચરની યોગ્યતાને કારણે ઘણી-કોર આર્કિટેક્ચર (જેમ કે જી. પી. યુ. અથવા ઇન્ટેલ ઝીઓન ફી) ની મોટી પ્રક્રિયા ક્ષમતાઓએ તાલીમમાં નોંધપાત્ર ઝડપ પેદા કરી છે. વૈકલ્પિક રીતે, ઇજનેરો વધુ સીધા અને કન્વર્જન્ટ તાલીમ અલ્ગોરિધમ્સ સાથે અન્ય પ્રકારના ન્યુરલ નેટવર્ક્સ શોધી શકે છે. સી. એમ. એ. સી. (સેરેબેલર મોડલ આર્ટિક્યુલેશન કંટ્રોલર) એ એક પ્રકારનું ન્યુરલ નેટવર્ક છે. તેને શીખવાના દર અથવા અવ્યવસ્થિત પ્રારંભિક વજનની જરૂર નથી. તાલીમ પ્રક્રિયાને માહિતીના નવા જથ્થા સાથે એક તબક્કામાં એકરૂપ થવાની ખાતરી આપી શકાય છે, અને તાલીમ અલ્ગોરિધમનો કોમ્પ્યુટેશનલ જટિલતા સામેલ ચેતાકોષોની સંખ્યાના સંદર્ભમાં રેખીય છે. 2010 થી, મશીન લર્નિંગ અલ્ગોરિધમ્સ અને કમ્પ્યુટર હાર્ડવેર બંનેમાં પ્રગતિ ઊંડા ન્યુરલ નેટવર્ક્સને તાલીમ આપવા માટે વધુ કાર્યક્ષમ પદ્ધતિઓ તરફ દોરી ગઈ છે જેમાં બિન-રેખીય છુપાયેલા એકમોના ઘણા સ્તરો અને ખૂબ મોટા આઉટપુટ સ્તરનો સમાવેશ થાય છે. 2019 સુધીમાં, ગ્રાફિક પ્રોસેસિંગ એકમો (જી. પી. યુ.), ઘણીવાર એ. આઈ.-વિશિષ્ટ ઉન્નતીકરણો સાથે, મોટા પાયે વ્યાપારી ક્લાઉડ એ. આઈ. ને તાલીમ આપવાની પ્રબળ પદ્ધતિ તરીકે સીપીયુને વિસ્થાપિત કરી દીધા હતા. ઓપનએઆઈએ એલેક્સનેટ (2012) થી આલ્ફા ઝીરો (2017) સુધીના સૌથી મોટા ડીપ લર્નિંગ પ્રોજેક્ટ્સમાં ઉપયોગમાં લેવાતા હાર્ડવેર ગણતરીનો અંદાજ મૂક્યો હતો અને 3.40 મહિનાની બમણી-સમયની ટ્રેન્ડલાઇન સાથે જરૂરી ગણતરીની માત્રામાં 300,000 ગણો વધારો જોવા મળ્યો હતો. ડીપ લર્નિંગ પ્રોસેસર્સ તરીકે ઓળખાતી વિશેષ ઇલેક્ટ્રોનિક સર્કિટ્સ ડીપ લર્નિંગ અલ્ગોરિધમ્સને ઝડપી બનાવવા માટે ડિઝાઇન કરવામાં આવી હતી. ડીપ લર્નિંગ પ્રોસેસર્સમાં હ્યુવેઇ સેલફોનમાં ન્યુરલ પ્રોસેસિંગ યુનિટ્સ (એનપીયુ) અને ગૂગલ ક્લાઉડ પ્લેટફોર્મમાં ટેન્સર પ્રોસેસિંગ યુનિટ્સ (ટીપીયુ) જેવા ક્લાઉડ કમ્પ્યુટિંગ સર્વર્સનો સમાવેશ થાય છે. સેરેબ્રાસ સિસ્ટમ્સે ઉદ્યોગના સૌથી મોટા પ્રોસેસર, બીજી પેઢીના વેફર સ્કેલ એન્જિન (WSE-2) પર આધારિત, મોટા ઊંડા શિક્ષણના નમૂનાઓ, CS-2 ને સંભાળવા માટે એક સમર્પિત પ્રણાલી પણ બનાવી છે. પરમાણુ રીતે પાતળા સેમિકન્ડક્ટર્સને ઊર્જા-કાર્યક્ષમ ઊંડા શિક્ષણ હાર્ડવેર માટે આશાસ્પદ માનવામાં આવે છે જ્યાં તર્ક કામગીરી અને ડેટા સંગ્રહ બંને માટે સમાન મૂળભૂત ઉપકરણ માળખાનો ઉપયોગ થાય છે. 2020 માં, મારેગા એટ અલ. ફ્લોટિંગ-ગેટ ફિલ્ડ-ઇફેક્ટ ટ્રાન્ઝિસ્ટર (એફ. જી. એફ. ઇ. ટી.) પર આધારિત લોજિક-ઇન-મેમરી ઉપકરણો અને સર્કિટ્સ વિકસાવવા માટે મોટા વિસ્તારની સક્રિય ચેનલ સામગ્રી સાથે પ્રકાશિત પ્રયોગો. 2021 માં, જે. ફેલ્ડમેન એટ અલ. સમાંતર કન્વોલ્યુશનલ પ્રક્રિયા માટે સંકલિત ફોટોનિક હાર્ડવેર પ્રવેગકની દરખાસ્ત કરી. લેખકો તેના ઇલેક્ટ્રોનિક સમકક્ષો કરતાં સંકલિત ફોટોનિક્સના બે મુખ્ય ફાયદાઓ ઓળખે છેઃ (1) આવર્તન કોમ્બ્સ સાથે જોડાણમાં તરંગલંબાઇ વિભાજન મલ્ટિપ્લેક્સિંગ દ્વારા મોટા પ્રમાણમાં સમાંતર ડેટા ટ્રાન્સફર, અને (2) અત્યંત ઉચ્ચ ડેટા મોડ્યુલેશન ઝડપ. તેમની સિસ્ટમ પ્રતિ સેકન્ડ ટ્રિલિયન ગુણાકાર-સંચય કામગીરીઓ ચલાવી શકે છે, જે ડેટા-ભારે AI એપ્લિકેશન્સમાં સંકલિત ફોટોનિક્સની સંભવિતતા સૂચવે છે. એપ્લિકેશન્સ ઓટોમેટિક સ્પીચ રેકગ્નિશન મોટા પાયે ઓટોમેટિક સ્પીચ રેકગ્નિશન એ ઊંડા શિક્ષણનો પ્રથમ અને સૌથી સચોટ સફળ કેસ છે. એલ. એસ. ટી. એમ. આર. એન. એન. "વેરી ડીપ લર્નિંગ" કાર્યો શીખી શકે છે જેમાં હજારો અલગ-અલગ સમયના પગલાઓ દ્વારા અલગ કરવામાં આવેલા ભાષણ કાર્યક્રમો ધરાવતા બહુ-સેકન્ડના અંતરાલો શામેલ હોય છે, જ્યાં એક સમયનું પગલું લગભગ 10 એમએસને અનુરૂપ હોય છે. ભૂલી જાઓ દરવાજા સાથે એલ. એસ. ટી. એમ. ચોક્કસ કાર્યો પર પરંપરાગત ભાષણ ઓળખકર્તાઓ સાથે સ્પર્ધાત્મક છે. વાણી ઓળખમાં પ્રારંભિક સફળતા ટી. આઈ. એમ. આઈ. ટી. પર આધારિત નાના પાયે ઓળખ કાર્યો પર આધારિત હતી. ડેટા સેટમાં અમેરિકન અંગ્રેજીની આઠ મુખ્ય બોલીઓમાંથી 630 વક્તાઓ છે, જ્યાં દરેક વક્તા 10 વાક્યો વાંચે છે. તેનું નાનું કદ ઘણા રૂપરેખાંકનોને અજમાવવા દે છે. વધુ મહત્ત્વની વાત એ છે કે, TIMIT કાર્ય ફોન-સિક્વન્સ રેકગ્નિશન સાથે સંબંધિત છે, જે શબ્દ-સિક્વન્સ રેકગ્નિશનથી વિપરીત, નબળા ફોન બિગ્રામ લેંગ્વેજ મોડેલ્સને મંજૂરી આપે છે. આ વાણી ઓળખના એકોસ્ટિક મોડેલિંગ પાસાઓની મજબૂતાઈનું વધુ સરળતાથી વિશ્લેષણ કરવામાં મદદ કરે છે. નીચે સૂચિબદ્ધ ભૂલ દર, આ પ્રારંભિક પરિણામો સહિત અને ટકાવારી ફોન ભૂલ દર (PER) તરીકે માપવામાં આવે છે, જેનો સારાંશ 1991 થી આપવામાં આવ્યો છે. 1990 ના દાયકાના અંતમાં વક્તાઓની ઓળખ માટે ડી. એન. એન. ની શરૂઆત અને <આઇ. ડી. 1> ની આસપાસ વાણીની ઓળખ અને <આઇ. ડી. 2 ની આસપાસ એલ. એસ. ટી. એમ. ની શરૂઆત, આઠ મુખ્ય ક્ષેત્રોમાં પ્રગતિને વેગ આપ્યોઃ સ્કેલ-અપ/આઉટ અને એક્સિલરેટેડ ડી. એન. એન. તાલીમ અને ડીકોડિંગ સિક્વન્સ ડિસ્ક્રિમિનેટિવ તાલીમ અંતર્ગત પદ્ધતિઓની નક્કર સમજણ સાથે ઊંડા મોડેલો દ્વારા સુવિધા પ્રક્રિયા ડી. એન. એન. અને સંબંધિત ઊંડા મોડેલોનું અનુકૂલન ડી. એન. એન. અને સંબંધિત ઊંડા મોડેલો સી. એન. એન. દ્વારા મલ્ટી-ટાસ્ક અને ટ્રાન્સફર લર્નિંગ અને ભાષણ આર. એન. એન. અને તેના સમૃદ્ધ એલ. એસ. ટી. એમ. પ્રકારોના ડોમેન જ્ઞાનનો શ્રેષ્ઠ ઉપયોગ કરવા માટે તેમને કેવી રીતે ડિઝાઇન કરવું તે ટેન્સર-આધારિત મોડેલો અને સંકલિત ઊંડા ઉત્પાદક/ભેદભાવપૂર્ણ મોડેલો સહિત અન્ય પ્રકારના ઊંડા મોડેલો તમામ મુખ્ય વ્યાવસાયિક વાણી ઓળખ પ્રણાલીઓ (દા. ત., માઈક્રોસોફ્ટ કોર્ટાના, એક્સબોક્સ, સ્કાયપે ટ્રાન્સલેટર, એમેઝોન એલેક્સા, ગૂગલ નાઉ, એપલ સિરી, બાયડુ અને આઈફ્લાયટેક વૉઇસ સર્ચ, અને નુઅન્સ સ્પીચ પ્રોડક્ટ્સ વગેરેની શ્રેણી) તે ઊંડા શિક્ષણ પર આધારિત છે. છબી ઓળખ છબી વર્ગીકરણ માટેનો એક સામાન્ય મૂલ્યાંકન સમૂહ એમ. એન. આઈ. એસ. ટી. ડેટાબેઝ ડેટા સમૂહ છે. એમએનઆઈએસટી હસ્તલિખિત અંકોથી બનેલું છે અને તેમાં 60,000 તાલીમ ઉદાહરણો અને 10,000 પરીક્ષણ ઉદાહરણોનો સમાવેશ થાય છે. ટી. આઈ. એમ. આઈ. ટી. ની જેમ, તેનું નાનું કદ વપરાશકર્તાઓને બહુવિધ રૂપરેખાંકનો ચકાસવા દે છે. આ સમૂહ પર પરિણામોની વ્યાપક સૂચિ ઉપલબ્ધ છે. ઊંડા શિક્ષણ આધારિત છબી માન્યતા "અતિમાનવીય" બની ગઈ છે, જે માનવ સ્પર્ધકો કરતાં વધુ સચોટ પરિણામો ઉત્પન્ન કરે છે. આ સૌપ્રથમ 2011 માં ટ્રાફિક ચિહ્નોની માન્યતામાં અને 2014 માં માનવ ચહેરાની માન્યતા સાથે થયું હતું. ઊંડા શિક્ષણ-પ્રશિક્ષિત વાહનો હવે 360° કેમેરા દૃશ્યોનું અર્થઘટન કરે છે. બીજું ઉદાહરણ ફેશિયલ ડિસમોર્ફોલોજી નોવેલ એનાલિસિસ (એફ. ડી. એન. એ.) છે જેનો ઉપયોગ આનુવંશિક સિન્ડ્રોમના મોટા ડેટાબેઝ સાથે જોડાયેલા માનવ ખોડખાંપણના કેસોનું વિશ્લેષણ કરવા માટે થાય છે. વિઝ્યુઅલ આર્ટ પ્રોસેસિંગ ઇમેજ રેકગ્નિશનમાં થયેલી પ્રગતિ સાથે નજીકથી સંબંધિત છે જે વિવિધ વિઝ્યુઅલ આર્ટ કાર્યોમાં ઊંડા શિક્ષણ તકનીકોનો વધતો ઉપયોગ છે. ડી. એન. એન. એ પોતાને સક્ષમ સાબિત કર્યા છે, ઉદાહરણ તરીકે, આપેલ પેઇન્ટિંગ ન્યુરલ સ્ટાઇલ ટ્રાન્સફરની શૈલીના સમયગાળાને ઓળખવા માટે આપેલ આર્ટવર્કની શૈલીને કેપ્ચર કરવા અને તેને રેન્ડમ વિઝ્યુઅલ ઇનપુટ ક્ષેત્રોના આધારે મનસ્વી ફોટોગ્રાફ અથવા વિડિયો જનરેટ કરતી આઘાતજનક છબી પર દૃષ્ટિની રીતે આનંદદાયક રીતે લાગુ કરવા માટે. 2000ના દાયકાની શરૂઆતથી ભાષાના નમૂનાઓના અમલીકરણ માટે કુદરતી ભાષા પ્રક્રિયા ન્યુરલ નેટવર્કનો ઉપયોગ કરવામાં આવે છે. એલ. એસ. ટી. એમ. એ મશીન અનુવાદ અને ભાષા મોડેલિંગમાં સુધારો કરવામાં મદદ કરી. આ ક્ષેત્રની અન્ય મુખ્ય તકનીકો નકારાત્મક નમૂના અને શબ્દ એમ્બેડિંગ છે. વર્ડ એમ્બેડિંગ, જેમ કે વર્ડ2વેક, ને ઊંડા શિક્ષણ માળખામાં પ્રતિનિધિત્વ સ્તર તરીકે વિચારી શકાય છે જે અણુ શબ્દને ડેટાસેટમાં અન્ય શબ્દોના સંબંધમાં શબ્દની સ્થિતિગત રજૂઆતમાં પરિવર્તિત કરે છે; સ્થિતિને વેક્ટર જગ્યામાં બિંદુ તરીકે રજૂ કરવામાં આવે છે. આર. એન. એન. ઇનપુટ સ્તર તરીકે શબ્દ એમ્બેડિંગનો ઉપયોગ નેટવર્કને અસરકારક રચનાત્મક વેક્ટર વ્યાકરણનો ઉપયોગ કરીને વાક્યો અને શબ્દસમૂહોને વિશ્લેષણ કરવાની મંજૂરી આપે છે. રચનાત્મક વેક્ટર વ્યાકરણને આર. એન. એન. દ્વારા લાગુ કરાયેલ સંભવિત સંદર્ભ મુક્ત વ્યાકરણ (પી. સી. એફ. જી.) તરીકે વિચારી શકાય છે. શબ્દ એમ્બેડિંગ્સ પર બનેલા પુનરાવર્તિત ઓટો-એન્કોડર્સ વાક્યની સમાનતાનું મૂલ્યાંકન કરી શકે છે અને પેરાફ્રેઝિંગને શોધી શકે છે. ડીપ ન્યુરલ આર્કિટેક્ચર મતવિસ્તારનું વિશ્લેષણ, લાગણી વિશ્લેષણ, માહિતી પુનઃપ્રાપ્તિ, બોલાતી ભાષાની સમજણ, મશીન અનુવાદ, સંદર્ભિત અસ્તિત્વને જોડવા, લેખન શૈલીની ઓળખ, નામ-અસ્તિત્વની ઓળખ (ટોકન વર્ગીકરણ), લખાણ વર્ગીકરણ અને અન્ય માટે શ્રેષ્ઠ પરિણામો પ્રદાન કરે છે. તાજેતરના વિકાસ વાક્ય એમ્બેડિંગમાં શબ્દ એમ્બેડિંગને સામાન્ય બનાવે છે. ગૂગલ ટ્રાન્સલેટ (જીટી) મોટા એન્ડ-ટુ-એન્ડ લોંગ શોર્ટ-ટર્મ મેમરી (એલએસટીએમ) નેટવર્કનો ઉપયોગ કરે છે. ગૂગલ ન્યુરલ મશીન ટ્રાન્સલેશન (જી. એન. એમ. ટી.) એક ઉદાહરણ-આધારિત મશીન અનુવાદ પદ્ધતિનો ઉપયોગ કરે છે જેમાં સિસ્ટમ "લાખો ઉદાહરણોમાંથી શીખે છે". તે "ટુકડાઓને બદલે એક સમયે સંપૂર્ણ વાક્યો" નું ભાષાંતર કરે છે. ગૂગલ ટ્રાન્સલેટ સોથી વધુ ભાષાઓને સપોર્ટ કરે છે. નેટવર્ક "ફક્ત શબ્દસમૂહ-થી-શબ્દસમૂહ અનુવાદોને યાદ રાખવાને બદલે વાક્યના શબ્દાર્થ" ને એન્કોડ કરે છે. જીટી મોટાભાગની ભાષા જોડીઓ વચ્ચે મધ્યવર્તી તરીકે અંગ્રેજીનો ઉપયોગ કરે છે. દવાની શોધ અને ટોક્સિકોલોજી ઉમેદવાર દવાઓની મોટી ટકાવારી નિયમનકારી મંજૂરી મેળવવામાં નિષ્ફળ જાય છે. આ નિષ્ફળતાઓ અપૂરતી અસરકારકતા (લક્ષ્ય પરની અસર), અનિચ્છનીય ક્રિયાપ્રતિક્રિયાઓ (લક્ષ્યની બહારની અસરો) અથવા અણધારી ઝેરી અસરોને કારણે થાય છે. સંશોધનોએ પોષક તત્ત્વો, ઘરગથ્થુ ઉત્પાદનો અને દવાઓમાં બાયોમોલેક્યુલર લક્ષ્યો, બિન-લક્ષ્યો અને પર્યાવરણીય રસાયણોની ઝેરી અસરોની આગાહી કરવા માટે ઊંડા શિક્ષણના ઉપયોગની શોધ કરી છે. એટમનેટ એ માળખા આધારિત તર્કસંગત દવાની રચના માટે ઊંડી શિક્ષણ પ્રણાલી છે. એટમનેટનો ઉપયોગ ઇબોલા વાયરસ અને મલ્ટિપલ સ્ક્લેરોસિસ જેવા રોગ લક્ષ્યો માટે નવીન ઉમેદવાર બાયોમોલેક્યુલ્સની આગાહી કરવા માટે કરવામાં આવ્યો હતો. 2017 માં ગ્રાફ ન્યુરલ નેટવર્કનો ઉપયોગ પ્રથમ વખત મોટા ટોક્સિકોલોજી ડેટા સેટમાં અણુઓના વિવિધ ગુણધર્મોની આગાહી કરવા માટે કરવામાં આવ્યો હતો. 2019 માં, જનરેટિવ ન્યુરલ નેટવર્કનો ઉપયોગ અણુઓ ઉત્પન્ન કરવા માટે કરવામાં આવ્યો હતો જેને પ્રાયોગિક રીતે ઉંદરમાં માન્ય કરવામાં આવ્યા હતા. ગ્રાહક સંબંધ વ્યવસ્થાપન ડીપ રિઇન્ફોર્સમેન્ટ લર્નિંગનો ઉપયોગ સંભવિત સીધી માર્કેટિંગ ક્રિયાઓના મૂલ્યને અંદાજિત કરવા માટે કરવામાં આવે છે, જેને આરએફએમ ચલની દ્રષ્ટિએ વ્યાખ્યાયિત કરવામાં આવે છે. અંદાજિત મૂલ્ય કાર્ય ગ્રાહક જીવનકાળ મૂલ્ય તરીકે કુદરતી અર્થઘટન હોવાનું દર્શાવવામાં આવ્યું હતું. ભલામણ પ્રણાલીઓ ભલામણ પ્રણાલીઓએ સામગ્રી-આધારિત સંગીત અને જર્નલ ભલામણો માટે સુપ્ત પરિબળ મોડેલ માટે અર્થપૂર્ણ સુવિધાઓ બહાર કાઢવા માટે ઊંડા શિક્ષણનો ઉપયોગ કર્યો છે. બહુવિધ ડોમેન્સમાંથી વપરાશકર્તાની પસંદગીઓ શીખવા માટે બહુ-દૃશ્ય ઊંડા શિક્ષણનો ઉપયોગ કરવામાં આવ્યો છે. આ મોડેલ મિશ્ર સહયોગી અને સામગ્રી-આધારિત અભિગમનો ઉપયોગ કરે છે અને બહુવિધ કાર્યોમાં ભલામણોને વધારે છે. જનીન ઓન્ટોલોજી એનોટેશન્સ અને જનીન-કાર્ય સંબંધોની આગાહી કરવા માટે બાયોઇન્ફોર્મેટિક્સમાં ઓટોએન્કોડર એ. એન. એન. નો ઉપયોગ કરવામાં આવ્યો હતો. તબીબી ઇન્ફોર્મેટિક્સમાં, ઊંડા શિક્ષણનો ઉપયોગ પહેરવાલાયક વસ્તુઓના ડેટા અને ઇલેક્ટ્રોનિક આરોગ્ય રેકોર્ડ ડેટામાંથી આરોગ્યની ગૂંચવણોની આગાહીઓના આધારે ઊંઘની ગુણવત્તાની આગાહી કરવા માટે કરવામાં આવ્યો હતો. તબીબી છબી વિશ્લેષણ ડીપ લર્નિંગ કેન્સર સેલ વર્ગીકરણ, જખમ શોધ, અંગ વિભાજન અને છબી વૃદ્ધિ જેવા તબીબી ઉપયોગમાં સ્પર્ધાત્મક પરિણામો ઉત્પન્ન કરે છે. આધુનિક ઊંડા શિક્ષણના સાધનો વિવિધ રોગો શોધવાની ઉચ્ચ ચોકસાઈ અને નિદાનની કાર્યક્ષમતામાં સુધારો કરવા માટે નિષ્ણાતો દ્વારા તેમના ઉપયોગની મદદરૂપતા દર્શાવે છે. મોબાઇલ જાહેરાત મોબાઇલ જાહેરાત માટે યોગ્ય મોબાઇલ પ્રેક્ષકો શોધવાનું હંમેશા પડકારજનક હોય છે, કારણ કે કોઈપણ જાહેરાત સર્વર દ્વારા જાહેરાત સેવા આપતા લક્ષ્ય વિભાગને બનાવી શકાય અને તેનો ઉપયોગ કરી શકાય તે પહેલાં ઘણા ડેટા બિંદુઓને ધ્યાનમાં લેવા અને તેનું વિશ્લેષણ કરવું આવશ્યક છે. ઊંડા શિક્ષણનો ઉપયોગ મોટા, બહુ-પરિમાણીય જાહેરાત ડેટાસેટ્સનું અર્થઘટન કરવા માટે કરવામાં આવે છે. વિનંતી/સેવા/ક્લિક ઇન્ટરનેટ જાહેરાત ચક્ર દરમિયાન ઘણા ડેટા પોઇન્ટ એકત્રિત કરવામાં આવે છે. આ માહિતી જાહેરાતની પસંદગીમાં સુધારો કરવા માટે મશીન લર્નિંગનો આધાર બની શકે છે. ડીપ લર્નિંગને ડીનોઇઝિંગ, સુપર-રિઝોલ્યુશન, ઇનપેન્ટિંગ અને ફિલ્મ કલરાઇઝેશન જેવી ઊલટું સમસ્યાઓ પર સફળતાપૂર્વક લાગુ કરવામાં આવ્યું છે. આ એપ્લિકેશનોમાં "અસરકારક છબી પુનઃસ્થાપના માટે સંકોચન ક્ષેત્રો" જેવી શીખવાની પદ્ધતિઓનો સમાવેશ થાય છે જે છબી ડેટાસેટ પર તાલીમ આપે છે, અને ડીપ ઇમેજ પ્રાયર, જે પુનઃસ્થાપનની જરૂર હોય તેવી છબી પર તાલીમ આપે છે. નાણાકીય છેતરપિંડીની તપાસ, નાણાકીય છેતરપિંડીની તપાસ, કરચોરીની તપાસ અને એન્ટિ-મની લોન્ડરિંગ માટે ડીપ લર્નિંગનો સફળતાપૂર્વક ઉપયોગ કરવામાં આવી રહ્યો છે. લશ્કરી યુનાઇટેડ સ્ટેટ્સ ડિપાર્ટમેન્ટ ઓફ ડિફેન્સ નિરીક્ષણ દ્વારા નવા કાર્યોમાં રોબોટ્સને તાલીમ આપવા માટે ઊંડા શિક્ષણનો ઉપયોગ કરે છે. આંશિક વિભેદક સમીકરણો ભૌતિકશાસ્ત્ર દ્વારા માહિતગાર ન્યુરલ નેટવર્કનો ઉપયોગ ડેટા સંચાલિત રીતે આગળ અને ઊલટું બંને સમસ્યાઓમાં આંશિક વિભેદક સમીકરણોને ઉકેલવા માટે કરવામાં આવે છે. એક ઉદાહરણ નેવિયર-સ્ટોક્સ સમીકરણો દ્વારા સંચાલિત પુનર્નિર્માણ પ્રવાહી પ્રવાહ છે. ભૌતિકશાસ્ત્રથી માહિતગાર ન્યુરલ નેટવર્ક્સનો ઉપયોગ કરવા માટે ઘણીવાર ખર્ચાળ જાળી બનાવવાની જરૂર નથી કે જેના પર પરંપરાગત સી. એફ. ડી. પદ્ધતિઓ આધાર રાખે છે. છબી પુનર્નિર્માણ એ છબી-સંબંધિત માપમાંથી અંતર્ગત છબીઓનું પુનર્નિર્માણ છે. સ્પેક્ટ્રલ ઇમેજિંગ અને અલ્ટ્રાસાઉન્ડ ઇમેજિંગ જેવી વિવિધ એપ્લિકેશનો માટેની વિશ્લેષણાત્મક પદ્ધતિઓની તુલનામાં ઊંડા શિક્ષણની પદ્ધતિઓનું વધુ સારું અને શ્રેષ્ઠ પ્રદર્શન કેટલાક કાર્યોએ દર્શાવ્યું હતું. એપિજેનેટિક ઘડિયાળ એ એક બાયોકેમિકલ પરીક્ષણ છે જેનો ઉપયોગ વય માપવા માટે થઈ શકે છે. ગાલ્કિન એટ અલ. > 6,000 લોહીના નમૂનાઓનો ઉપયોગ કરીને અભૂતપૂર્વ ચોકસાઈની એપિજેનેટિક વૃદ્ધત્વ ઘડિયાળને તાલીમ આપવા માટે ઊંડા ચેતાતંત્ર નેટવર્કનો ઉપયોગ કર્યો. ઘડિયાળ 1000 સી. પી. જી. સાઇટ્સની માહિતીનો ઉપયોગ કરે છે અને તંદુરસ્ત નિયંત્રણો કરતાં જૂની કેટલીક પરિસ્થિતિઓ ધરાવતા લોકોની આગાહી કરે છેઃ આઇ. બી. ડી., ફ્રન્ટોટેમ્પોરલ ડિમેન્શિયા, અંડાશયના કેન્સર, સ્થૂળતા. વૃદ્ધત્વની ઘડિયાળને 2021 માં ઇન્સિલિકો મેડિસિન સ્પિનઓફ કંપની ડીપ લોંગેવિટી દ્વારા જાહેર ઉપયોગ માટે રજૂ કરવાની યોજના હતી. માનવ જ્ઞાનાત્મક અને મગજના વિકાસ સાથેનો સંબંધ ગહન શિક્ષણ 1990ના દાયકાની શરૂઆતમાં જ્ઞાનાત્મક ન્યુરોસાયન્ટિસ્ટ્સ દ્વારા પ્રસ્તાવિત મગજના વિકાસના સિદ્ધાંતોના વર્ગ (ખાસ કરીને, નિયોકોર્ટિકલ વિકાસ) સાથે નજીકથી સંબંધિત છે. આ વિકાસલક્ષી સિદ્ધાંતોને કોમ્પ્યુટેશનલ મોડેલોમાં ત્વરિત કરવામાં આવ્યા હતા, જે તેમને ઊંડા શિક્ષણ પ્રણાલીઓના પુરોગામી બનાવે છે. આ વિકાસલક્ષી નમૂનાઓ એ ગુણધર્મને વહેંચે છે કે મગજમાં વિવિધ સૂચિત શીખવાની ગતિશીલતા (દા. ત., ચેતા વૃદ્ધિ પરિબળનું એક મોજું) ઊંડા શિક્ષણના નમૂનાઓમાં ઉપયોગમાં લેવાતા ચેતા નેટવર્ક સાથે કંઈક અંશે સમાન સ્વ-સંગઠનને ટેકો આપે છે. નિયોકોર્ટેક્સની જેમ, ન્યુરલ નેટવર્ક્સ સ્તરબદ્ધ ગાળકોના પદાનુક્રમનો ઉપયોગ કરે છે જેમાં દરેક સ્તર અગાઉના સ્તર (અથવા કાર્યકારી વાતાવરણ) માંથી માહિતીને ધ્યાનમાં લે છે, અને પછી તેના આઉટપુટ (અને સંભવતઃ મૂળ ઇનપુટ) ને અન્ય સ્તરોમાં પસાર કરે છે. આ પ્રક્રિયા ટ્રાન્સડ્યુસર્સનો સ્વ-સંગઠિત જથ્થો પેદા કરે છે, જે તેમના કાર્યકારી વાતાવરણ સાથે સારી રીતે સુસંગત છે. 1995ના એક વર્ણનમાં જણાવવામાં આવ્યું હતું કે, ". શિશુનું મગજ કહેવાતા ટ્રોફિક-પરિબળોના તરંગોના પ્રભાવ હેઠળ પોતાને સંગઠિત કરતું હોય તેવું લાગે છે. મગજના વિવિધ પ્રદેશો ક્રમિક રીતે જોડાયેલા બને છે, જેમાં પેશીઓનું એક સ્તર બીજા પહેલાં પરિપક્વ થાય છે અને તેથી સમગ્ર મગજ પરિપક્વ થાય ત્યાં સુધી". ન્યુરોબાયોલોજીકલ દ્રષ્ટિકોણથી ઊંડા શિક્ષણના નમૂનાઓની સંભવિતતાની તપાસ કરવા માટે વિવિધ અભિગમોનો ઉપયોગ કરવામાં આવ્યો છે. એક તરફ, તેની પ્રક્રિયા વાસ્તવવાદને વધારવા માટે બેકપ્રોપેગેશન અલ્ગોરિધમનોના ઘણા પ્રકારો પ્રસ્તાવિત કરવામાં આવ્યા છે. અન્ય સંશોધકોએ એવી દલીલ કરી છે કે ઊંડા શિક્ષણના અનસુપરવાઇઝ્ડ સ્વરૂપો, જેમ કે અધિક્રમિક જનરેટિવ મોડેલ્સ અને ઊંડા માન્યતા નેટવર્ક પર આધારિત, જૈવિક વાસ્તવિકતાની નજીક હોઈ શકે છે. આ સંદર્ભમાં, જનરેટિવ ન્યુરલ નેટવર્ક મોડેલો મગજનો આચ્છાદનમાં નમૂના આધારિત પ્રક્રિયા વિશેના ન્યુરોબાયોલોજીકલ પુરાવા સાથે સંબંધિત છે. માનવ મગજની સંસ્થા અને ઊંડા નેટવર્કમાં ચેતાકોષીય એન્કોડિંગ વચ્ચે વ્યવસ્થિત સરખામણી હજુ સુધી સ્થાપિત થઈ નથી, તેમ છતાં ઘણી સામ્યતાઓ નોંધવામાં આવી છે. ઉદાહરણ તરીકે, ઊંડા શિક્ષણ એકમો દ્વારા કરવામાં આવતી ગણતરીઓ વાસ્તવિક ચેતાકોષો અને ચેતા વસ્તી જેવી જ હોઈ શકે છે. તેવી જ રીતે, ઊંડા શિક્ષણના નમૂનાઓ દ્વારા વિકસાવવામાં આવેલી રજૂઆતો એક એકમ અને વસ્તીના સ્તરે પ્રાઇમેટ વિઝ્યુઅલ સિસ્ટમમાં માપવામાં આવતી રજૂઆતો જેવી જ હોય છે. વ્યાવસાયિક પ્રવૃત્તિ ફેસબુકની AI લેબ અપલોડ કરેલા ચિત્રોને તેમાંના લોકોના નામ સાથે આપમેળે ટેગ કરવા જેવા કાર્યો કરે છે. ગૂગલની ડીપમાઇન્ડ ટેક્નોલોજિસે ડેટા ઇનપુટ તરીકે માત્ર પિક્સેલનો ઉપયોગ કરીને એટારી વિડિયો ગેમ્સ કેવી રીતે રમવી તે શીખવા માટે સક્ષમ સિસ્ટમ વિકસાવી છે. 2015 માં તેઓએ તેમની આલ્ફાગો પ્રણાલીનું પ્રદર્શન કર્યું, જેણે વ્યાવસાયિક ગો ખેલાડીને હરાવવા માટે ગોની રમત સારી રીતે શીખી. ગૂગલ ટ્રાન્સલેટ 100 થી વધુ ભાષાઓમાં અનુવાદ કરવા માટે ન્યુરલ નેટવર્કનો ઉપયોગ કરે છે. 2017 માં, Covariant.ai ની શરૂઆત કરવામાં આવી હતી, જે ફેક્ટરીઓમાં ઊંડા શિક્ષણને એકીકૃત કરવા પર ધ્યાન કેન્દ્રિત કરે છે. 2008 સુધીમાં, ઓસ્ટિન ખાતેની યુનિવર્સિટી ઓફ ટેક્સાસ (યુ. ટી.) ના સંશોધકોએ મૂલ્યાંકનકારી મજબૂતીકરણ અથવા ટી. એ. એમ. ઈ. આર. દ્વારા એજન્ટને જાતે તાલીમ આપવાનું મશીન લર્નિંગ માળખું વિકસાવ્યું હતું, જેણે માનવ પ્રશિક્ષક સાથે ક્રિયાપ્રતિક્રિયા કરીને કાર્યો કેવી રીતે કરવા તે શીખવા માટે રોબોટ્સ અથવા કમ્પ્યુટર પ્રોગ્રામ્સ માટે નવી પદ્ધતિઓ પ્રસ્તાવિત કરી હતી. સૌપ્રથમ ટેમર તરીકે વિકસાવવામાં આવ્યું હતું, ડીપ ટેમર નામનું નવું અલ્ગોરિધમ પાછળથી 2018 માં યુ. એસ. આર્મી રિસર્ચ લેબોરેટરી (એઆરએલ) અને યુટી સંશોધકો વચ્ચેના સહયોગ દરમિયાન રજૂ કરવામાં આવ્યું હતું. ડીપ ટેમરે રોબોટને નિરીક્ષણ દ્વારા નવા કાર્યો શીખવાની ક્ષમતા પ્રદાન કરવા માટે ઊંડા શિક્ષણનો ઉપયોગ કર્યો હતો. ડીપ ટેમરનો ઉપયોગ કરીને, રોબોટ માનવ પ્રશિક્ષક સાથે કાર્ય શીખે છે, વિડિયો સ્ટ્રીમ જુએ છે અથવા માણસને વ્યક્તિગત રીતે કાર્ય કરતા જુએ છે. રોબોટે પાછળથી ટ્રેનરની કેટલીક કોચિંગની મદદથી આ કાર્યનો અભ્યાસ કર્યો, જેમણે "સારી નોકરી" અને "ખરાબ નોકરી" જેવા પ્રતિસાદ આપ્યા. ટીકા અને ટિપ્પણી ડીપ લર્નિંગે ટીકા અને ટિપ્પણી બંનેને આકર્ષિત કરી છે, કેટલાક કિસ્સાઓમાં કોમ્પ્યુટર વિજ્ઞાનના ક્ષેત્રની બહારથી. મુખ્ય ટીકા કેટલીક પદ્ધતિઓની આસપાસના સિદ્ધાંતના અભાવને લગતી છે. સૌથી સામાન્ય ઊંડા આર્કિટેક્ચરમાં શીખવું એ સારી રીતે સમજી શકાય તેવા ઢાળ વંશનો ઉપયોગ કરીને અમલમાં મૂકવામાં આવે છે. જો કે, વિરોધાભાસી વિચલન જેવા અન્ય અલ્ગોરિધમ્સની આસપાસનો સિદ્ધાંત ઓછો સ્પષ્ટ છે. (દા. ત., શું તે એકરૂપ થાય છે? જો એમ હોય તો, કેટલી ઝડપથી? તે શું અંદાજ છે?) ઊંડા શિક્ષણની પદ્ધતિઓને ઘણીવાર બ્લેક બોક્સ તરીકે જોવામાં આવે છે, જેમાં મોટાભાગની પુષ્ટિઓ સૈદ્ધાંતિક રીતે કરવાને બદલે પ્રયોગમૂલક રીતે કરવામાં આવે છે. અન્ય લોકો નિર્દેશ કરે છે કે ઊંડા શિક્ષણને મજબૂત AIની અનુભૂતિ તરફના એક પગલા તરીકે જોવું જોઈએ, સર્વગ્રાહી ઉકેલ તરીકે નહીં. ઊંડા શિક્ષણની પદ્ધતિઓની શક્તિ હોવા છતાં, તેઓ હજુ પણ આ લક્ષ્યને સંપૂર્ણપણે સાકાર કરવા માટે જરૂરી કાર્યક્ષમતાનો અભાવ ધરાવે છે. સંશોધન મનોવિજ્ઞાની ગેરી માર્કસે નોંધ્યુંઃ વાસ્તવિક રીતે, ઊંડાણપૂર્વકનું શિક્ષણ એ બુદ્ધિશાળી મશીનો બનાવવાના મોટા પડકારનો એક ભાગ છે. આવી તકનીકોમાં કારણભૂત સંબંધોનું પ્રતિનિધિત્વ કરવાની રીતોનો અભાવ છે (.) તાર્કિક તારણો કરવાની કોઈ સ્પષ્ટ રીતો નથી, અને તેઓ અમૂર્ત જ્ઞાનને એકીકૃત કરવાથી હજુ પણ ઘણો દૂર છે, જેમ કે પદાર્થો શું છે, તેઓ શું છે અને તેઓ સામાન્ય રીતે કેવી રીતે ઉપયોગમાં લેવાય છે તે વિશેની માહિતી. સૌથી શક્તિશાળી એ. આઈ. વોટસન જેવી પ્રણાલીઓ, બાયેસિયન અનુમાનની આંકડાકીય તકનીકથી લઈને અનુમાનાત્મક તર્ક સુધીની તકનીકોના ખૂબ જ જટિલ સમૂહમાં ઊંડા શિક્ષણ જેવી તકનીકોનો ઉપયોગ માત્ર એક તત્વ તરીકે કરે છે. કલાત્મક સંવેદનશીલતા જ્ઞાનાત્મક પદાનુક્રમના પ્રમાણમાં નીચલા સ્તરોમાં સહજ હોઈ શકે છે તે વિચારના વધુ સંદર્ભમાં, ઊંડા (20-30 સ્તરો) ન્યુરલ નેટવર્ક્સની આંતરિક સ્થિતિઓની ગ્રાફિક રજૂઆતોની પ્રકાશિત શ્રેણી જે આવશ્યકપણે રેન્ડમ ડેટાની અંદર જે છબીઓ પર તેમને તાલીમ આપવામાં આવી હતી તે દ્રશ્ય અપીલ દર્શાવે છેઃ મૂળ સંશોધન નોટિસને 1,000 થી વધુ ટિપ્પણીઓ મળી હતી, અને તે એક સમય માટે ધ ગાર્ડિયનની વેબસાઇટ પર સૌથી વધુ ઉપયોગમાં લેવાતા લેખનો વિષય હતો. ભૂલો કેટલીક ઊંડા શિક્ષણની રચનાઓ સમસ્યારૂપ વર્તણૂકો પ્રદર્શિત કરે છે, જેમ કે સામાન્ય છબીઓની પરિચિત શ્રેણી (2014) સાથે સંકળાયેલી ઓળખી ન શકાય તેવી છબીઓને વિશ્વાસપૂર્વક વર્ગીકૃત કરવી અને યોગ્ય રીતે વર્ગીકૃત કરેલી છબીઓના નાના વિક્ષેપોને ખોટી રીતે વર્ગીકૃત કરવી (2013). ગોએર્ટઝેલે ધારણા કરી હતી કે આ વર્તણૂકો તેમની આંતરિક રજૂઆતમાં મર્યાદાઓને કારણે છે અને આ મર્યાદાઓ વિજાતીય બહુ-ઘટક કૃત્રિમ સામાન્ય બુદ્ધિ (એજીઆઈ) રચનાઓમાં એકીકરણને અટકાવશે. આ મુદ્દાઓને સંભવતઃ ઊંડા શિક્ષણની રચનાઓ દ્વારા સંબોધિત કરી શકાય છે જે આંતરિક રીતે અવલોકન કરાયેલ ઘટકો અને ઘટનાઓના છબી-વ્યાકરણના વિઘટન માટે સમરૂપ સ્થિતિઓ બનાવે છે. તાલીમ માહિતીમાંથી વ્યાકરણ (દ્રશ્ય અથવા ભાષાકીય) શીખવું એ પ્રણાલીને સામાન્ય તર્ક સુધી મર્યાદિત કરવા સમાન હશે જે વ્યાકરણના ઉત્પાદનના નિયમોની દ્રષ્ટિએ વિભાવનાઓ પર કામ કરે છે અને તે માનવ ભાષા સંપાદન અને કૃત્રિમ બુદ્ધિ (AI) બંનેનું મૂળભૂત લક્ષ્ય છે. જેમ જેમ ઊંડાણપૂર્વકનું શિક્ષણ પ્રયોગશાળામાંથી દુનિયામાં આગળ વધે છે, તેમ તેમ સંશોધન અને અનુભવ દર્શાવે છે કે કૃત્રિમ ચેતા નેટવર્ક હેક્સ અને છેતરપિંડી માટે સંવેદનશીલ હોય છે. આ સિસ્ટમો કાર્ય કરવા માટે જે પેટર્નનો ઉપયોગ કરે છે તેને ઓળખીને, હુમલાખોરો એ. એન. એન. ના ઇનપુટ્સમાં એવી રીતે ફેરફાર કરી શકે છે કે એ. એન. એન. એક મેળ ખાય છે જેને માનવ નિરીક્ષકો ઓળખશે નહીં. ઉદાહરણ તરીકે, હુમલાખોર છબીમાં સૂક્ષ્મ ફેરફારો કરી શકે છે જેમ કે એ. એન. એન. ને મેળ ખાય છે, તેમ છતાં છબી માણસને શોધ લક્ષ્ય જેવું દેખાતું નથી. આવી હેરફેરને "પ્રતિકૂળ હુમલો" કહેવામાં આવે છે. 2016 માં સંશોધકોએ એક એ. એન. એન. નો ઉપયોગ અજમાયશ અને ભૂલની ફેશનમાં ડૉક્ટર છબીઓ માટે કર્યો હતો, બીજાના કેન્દ્રબિંદુઓને ઓળખી કાઢ્યા હતા અને તે રીતે એવી છબીઓ ઉત્પન્ન કરી હતી જેણે તેને છેતરી હતી. સુધારેલી છબીઓ માનવ આંખોથી અલગ દેખાતી ન હતી. અન્ય એક જૂથે દર્શાવ્યું હતું કે નકલી છબીઓના પ્રિન્ટઆઉટ્સે પછી સફળતાપૂર્વક છબી વર્ગીકરણ પ્રણાલીને છેતરવામાં સફળતા મેળવી હતી. એક બચાવ રિવર્સ ઇમેજ સર્ચ છે, જેમાં સંભવિત નકલી છબી ટીનઆઈ જેવી સાઇટ પર સબમિટ કરવામાં આવે છે જે પછી તેના અન્ય ઉદાહરણો શોધી શકે છે. શુદ્ધિકરણ એ છે કે છબીના માત્ર ભાગોનો ઉપયોગ કરીને શોધ કરવી, છબીઓને ઓળખવા માટે કે જેમાંથી તે ટુકડો લેવામાં આવ્યો હોઈ શકે છે. અન્ય એક જૂથે દર્શાવ્યું હતું કે અમુક સાયકેડેલિક ચશ્મા ચહેરાની ઓળખ પ્રણાલીને મૂર્ખ બનાવી શકે છે કે સામાન્ય લોકો સેલિબ્રિટી છે, સંભવિત રીતે એક વ્યક્તિને બીજાની નકલ કરવાની મંજૂરી આપે છે. 2017 માં સંશોધકોએ સંકેતોને રોકવા માટે સ્ટીકરો ઉમેર્યા અને એ. એન. એન. ને તેમને ખોટી રીતે વર્ગીકૃત કરવા માટે કારણભૂત બનાવ્યું. જો કે, એ. એન. એન. ને છેતરપિંડીના પ્રયાસોને શોધવા માટે વધુ તાલીમ આપી શકાય છે, સંભવિત રીતે હુમલાખોરો અને બચાવકર્તાઓને માલવેર સંરક્ષણ ઉદ્યોગને પહેલેથી જ વ્યાખ્યાયિત કરે છે તે પ્રકારની હથિયારોની સ્પર્ધામાં દોરી જાય છે. એ. એન. એન. ને એ. એન. એન.-આધારિત એન્ટી-મૉલવેર સોફ્ટવેરને વારંવાર મૉલવેર સાથે સંરક્ષણ પર હુમલો કરીને હરાવવા માટે તાલીમ આપવામાં આવી છે, જે આનુવંશિક અલ્ગોરિધમ દ્વારા સતત બદલવામાં આવતું હતું, જ્યાં સુધી તે લક્ષ્યને નુકસાન પહોંચાડવાની તેની ક્ષમતાને જાળવી રાખીને એન્ટી-મૉલવેરને છેતરતો ન હતો. 2016 માં, અન્ય એક જૂથે દર્શાવ્યું હતું કે અમુક અવાજો ગૂગલ નાઉ વૉઇસ કમાન્ડ સિસ્ટમને ચોક્કસ વેબ સરનામું ખોલી શકે છે, અને ધારણા કરી હતી કે આ "વધુ હુમલાઓ માટે એક પગથિયા તરીકે કામ કરી શકે છે (દા. ત., ડ્રાઇવ-બાય માલવેર હોસ્ટિંગ વેબ પેજ ખોલવું)". "ડેટા પોઈઝનીંગ" માં, ખોટી માહિતીને નિપુણતા પ્રાપ્ત કરવાથી રોકવા માટે મશીન લર્નિંગ સિસ્ટમના તાલીમ સેટમાં સતત દાણચોરી કરવામાં આવે છે. માહિતી સંગ્રહ નીતિશાસ્ત્ર મોટાભાગની ગહન શિક્ષણ પ્રણાલીઓ તાલીમ અને ચકાસણી માહિતી પર આધાર રાખે છે જે મનુષ્યો દ્વારા પેદા કરવામાં આવે છે અને/અથવા ટિપ્પણી કરવામાં આવે છે. મીડિયા ફિલસૂફીમાં એવી દલીલ કરવામાં આવી છે કે માત્ર ઓછા પગારવાળું ક્લિકવર્ક જ નહીં (દા. ત. એમેઝોન મિકેનિકલ ટર્ક પર) નિયમિતપણે આ હેતુ માટે તૈનાત કરવામાં આવે છે, પરંતુ માનવ માઇક્રોવર્કના ગર્ભિત સ્વરૂપો પણ છે જેને ઘણીવાર માન્યતા આપવામાં આવતી નથી. ફિલસૂફ રેનર મુલહોફ તાલીમ માહિતી પેદા કરવા માટે માનવ માઇક્રોવર્કના પાંચ પ્રકારનાં "યાંત્રિક કેપ્ચર" ને અલગ પાડે છેઃ (1) ગેમિફિકેશન (રમતના પ્રવાહમાં એનોટેશન અથવા ગણતરી કાર્યોને એમ્બેડ કરવું), (2) "ટ્રેપિંગ અને ટ્રેકિંગ" (દા. ત.). છબી ઓળખવા અથવા ગૂગલ શોધ પરિણામ પૃષ્ઠો પર ક્લિક-ટ્રેકિંગ માટે કેપ્ચા), (3) સામાજિક પ્રેરણાઓનું શોષણ (દા. ત. લેબલવાળા ચહેરાના ચિત્રો મેળવવા માટે ફેસબુક પર ચહેરાને ટેગ કરવું), (4) માહિતીનું ખનન (દા. ત. પ્રવૃત્તિ ટ્રેકર્સ) અને (5) ક્લિકવર્ક જેવા માત્રાત્મક-સ્વ-ઉપકરણોનો લાભ લઈને. મુલ્હોફ દલીલ કરે છે કે ફેસબુકની ફેસ રેકગ્નિશન સિસ્ટમ જેવી ડીપ લર્નિંગની મોટાભાગની વ્યાવસાયિક અંતિમ-વપરાશકર્તા એપ્લિકેશનોમાં, એકવાર એ. એન. એન. ને તાલીમ આપવામાં આવે તે પછી તાલીમ ડેટાની જરૂરિયાત બંધ થતી નથી. તેના બદલે, એ. એન. એન. ને સતત માપાંકન અને અપડેટ કરવા માટે માનવ-જનરેટેડ ચકાસણી ડેટાની સતત માંગ છે. આ હેતુ માટે ફેસબુક એ સુવિધા રજૂ કરે છે કે એકવાર વપરાશકર્તા છબીમાં આપમેળે ઓળખાય છે, તેઓ એક સૂચના પ્રાપ્ત કરે છે. તેઓ પસંદ કરી શકે છે કે શું તેઓ છબી પર જાહેરમાં લેબલ કરવાનું પસંદ કરતા નથી, અથવા ફેસબુકને કહી શકે છે કે તે ચિત્રમાં તેઓ નથી. આ વપરાશકર્તા ઈન્ટરફેસ વાસ્તવિક સમયમાં નેટવર્કને વધુ તાલીમ આપવા માટે "ચકાસણી ડેટાનો સતત પ્રવાહ" પેદા કરવાની એક પદ્ધતિ છે. મુલહોફ દલીલ કરે છે તેમ, ડીપ લર્નિંગની મોટાભાગની વ્યાવસાયિક અંતિમ-વપરાશકર્તા એપ્લિકેશનો માટે તાલીમ અને ચકાસણી માહિતી પેદા કરવા માટે માનવ વપરાશકર્તાઓની સંડોવણી એટલી સામાન્ય છે કે આવી સિસ્ટમોને "માનવ-સહાયિત કૃત્રિમ બુદ્ધિ" તરીકે ઓળખવામાં આવે છે. આ પણ જુઓ આર્ટિફિશિયલ ઇન્ટેલિજન્સની એપ્લિકેશનો ડીપ લર્નિંગ સોફ્ટવેરની સરખામણી કોમ્પ્રેસ્ડ સેન્સિંગ ડિફરન્શિયેબલ પ્રોગ્રામિંગ ઇકો સ્ટેટ નેટવર્ક આર્ટિફિશિયલ ઇન્ટેલિજન્સ પ્રોજેક્ટ્સની સૂચિ લિક્વિડ સ્ટેટ મશીન મશીનોની યાદી મશીન-લર્નિંગ રિસર્ચ માટે ડેટાસેટ્સની યાદી રિઝર્વોઇર કમ્પ્યુટિંગ સ્કેલ સ્પેસ અને ડીપ લર્નિંગ સ્પાર્સ કોડિંગ સ્ટોકેસ્ટિક પોપટ સંદર્ભો વધુ વાંચન આર્ટિફિશિયલ ન્યુરલ નેટવર્ક ઊભરતાં તકનીકો