Learning rule
આર્ટિફિશિયલ ન્યુરલ નેટવર્કનો શીખવાનો નિયમ અથવા શીખવાની પ્રક્રિયા એ એક પદ્ધતિ, ગાણિતિક તર્ક અથવા અલ્ગોરિધમ છે જે નેટવર્કના પ્રદર્શન અને/અથવા તાલીમ સમયને સુધારે છે. સામાન્ય રીતે, આ નિયમ નેટવર્ક પર વારંવાર લાગુ થાય છે. તે નેટવર્કના વજન અને પૂર્વગ્રહ સ્તરને અપડેટ કરીને કરવામાં આવે છે જ્યારે નેટવર્કને ચોક્કસ ડેટા વાતાવરણમાં સિમ્યુલેટ કરવામાં આવે છે. શીખવાનો નિયમ નેટવર્કની હાલની શરતો (વજન અને પૂર્વગ્રહ) ને સ્વીકારી શકે છે અને વજન અને પૂર્વગ્રહ માટે નવા અને સુધારેલા મૂલ્યો આપવા માટે નેટવર્કના અપેક્ષિત પરિણામ અને વાસ્તવિક પરિણામની તુલના કરશે. સિમ્યુલેટ કરવામાં આવતા વાસ્તવિક મોડેલની જટિલતાને આધારે, નેટવર્કનો શીખવાનો નિયમ XOR ગેટ અથવા મીન સ્ક્વેર્ડ એરર જેટલો સરળ હોઈ શકે છે, અથવા વિભેદક સમીકરણોની પ્રણાલીના પરિણામ જેટલો જટિલ હોઈ શકે છે. શીખવાનો નિયમ એ પરિબળોમાંથી એક છે જે નક્કી કરે છે કે કૃત્રિમ નેટવર્ક કેટલી ઝડપથી અથવા કેટલી સચોટ રીતે વિકસાવી શકાય છે. નેટવર્ક વિકસાવવાની પ્રક્રિયા પર આધાર રાખીને મશીન લર્નિંગના ત્રણ મુખ્ય નમૂનાઓ છેઃ અનસુપરવાઇઝ્ડ લર્નિંગ સુપરવાઇઝ્ડ લર્નિંગ રિઇન્ફોર્સમેન્ટ લર્નિંગ બેકગ્રાઉન્ડ મશીન લર્નિંગમાં શીખવાની ઘણી પદ્ધતિઓ એકબીજા જેવી જ કામ કરે છે, અને એકબીજા પર આધારિત હોય છે, જે તેમને સ્પષ્ટ વર્ગોમાં વર્ગીકૃત કરવાનું મુશ્કેલ બનાવે છે. પરંતુ તેમને શીખવાની પદ્ધતિઓની 4 શ્રેણીઓમાં વ્યાપક રીતે સમજી શકાય છે, જોકે આ શ્રેણીઓની સ્પષ્ટ સીમાઓ નથી અને તેઓ શીખવાની પદ્ધતિઓની બહુવિધ શ્રેણીઓ સાથે સંબંધિત હોય છે-હેબ્બિયન-નિયોકોગ્નિટ્રોન, બ્રેઇન-સ્ટેટ-ઇન-એ-બોક્સ ગ્રેડિયન્ટ ડિસેન્ટ-એડલાઇન, હોપફિલ્ડ નેટવર્ક, રિકરન્ટ ન્યુરલ નેટવર્ક કોમ્પિટિટિવ-લર્નિંગ વેક્ટર ક્વોન્ટાઇઝેશન, સેલ્ફ-ઓર્ગેનાઇઝિંગ ફીચર મેપ, એડેપ્ટિવ રેઝોનન્સ થિયરી સ્ટોકેસ્ટિક-બોલ્ટ્ઝમેન મશીન, કોચી મશીન એ નોંધવું જોઈએ કે આ શીખવાના નિયમો સમાન વિચારો પર આધારિત હોવાનું જણાય છે, તેમ છતાં તેમાં સૂક્ષ્મ તફાવતો છે, કારણ કે તે અગાઉના નિયમ પર સામાન્યીકરણ અથવા એપ્લિકેશન છે, અને તેથી તેનો અલગથી અભ્યાસ કરવો યોગ્ય છે. હેબ્બિયન લર્નિંગ 1949 માં ડોનાલ્ડ હેબ્બ દ્વારા જૈવિક ચેતાકોષના ગોળીબારનું વર્ણન કરવા માટે વિકસાવવામાં આવ્યું હતું. 1950 ના દાયકાના મધ્યમાં તે ન્યુરલ નેટવર્ક્સના કમ્પ્યુટર સિમ્યુલેશન પર પણ લાગુ કરવામાં આવ્યું હતું. જ્યાં શીખવાના દરનું પ્રતિનિધિત્વ કરે છે, તે ચેતાકોષ i ના ઇનપુટનું પ્રતિનિધિત્વ કરે છે, અને y એ ચેતાકોષનું આઉટપુટ છે. એવું દર્શાવવામાં આવ્યું છે કે હેબનું શાસન તેના મૂળભૂત સ્વરૂપમાં અસ્થિર છે. ઓજાનો નિયમ, બી. સી. એમ. સિદ્ધાંત એ જૈવિક ચેતાકોષોના અભ્યાસમાં હેબના નિયમની ટોચ પર અથવા તેની સાથે બનેલા અન્ય શિક્ષણ નિયમો છે. પર્સેપ્ટ્રોન લર્નિંગ રૂલ (પી. એલ. આર.) પર્સેપ્ટ્રોન લર્નિંગ રૂલ હેબ્બિયન ધારણા પરથી ઉદ્દભવે છે, અને તેનો ઉપયોગ ફ્રેન્ક રોસેનબ્લેટ દ્વારા 1958માં તેમના પર્સેપ્ટ્રોનમાં કરવામાં આવ્યો હતો. નેટ સક્રિયકરણ (ટ્રાન્સફર) કાર્યમાં પસાર થાય છે અને કાર્યનું આઉટપુટ વજનને સમાયોજિત કરવા માટે વપરાય છે. શીખવાનો સંકેત એ ઇચ્છિત પ્રતિસાદ અને ચેતાકોષની વાસ્તવિક પ્રતિક્રિયા વચ્ચેનો તફાવત છે. સ્ટેપ ફંક્શનનો ઉપયોગ ઘણીવાર સક્રિયકરણ કાર્ય તરીકે થાય છે, અને આઉટપુટ સામાન્ય રીતે-1,0, અથવા 1 સુધી મર્યાદિત હોય છે. જ્યાં "ટી" એ લક્ષ્ય મૂલ્ય છે અને "ઓ" એ પર્સેપ્ટ્રોનનું આઉટપુટ છે, અને તેને શીખવાનો દર કહેવામાં આવે છે. અલ્ગોરિધમ યોગ્ય વર્ગીકરણમાં એકરૂપ થાય છે જોઃ તાલીમ ડેટા રેખીય રીતે અલગ કરી શકાય તેવું છે * પૂરતું નાનું હોય (જોકે નાનું એટલે સામાન્ય રીતે શીખવાનો લાંબો સમય અને વધુ યુગ) * એ પણ નોંધવું જોઈએ કે આ શિક્ષણ નિયમ સાથેનો એક સ્તર પર્સેપ્ટ્રોન રેખીય રીતે બિન-અલગ કરી શકાય તેવા ઇનપુટ્સ પર કામ કરવામાં અસમર્થ છે, અને તેથી 1970 માં બેકપ્રોપેગેશન સેપ્પો લિન્નેનામાએ બેકપ્રોપેગેશન અલ્ગોરિધમ વિકસાવ્યું હોવાનું કહેવાય છે પરંતુ અલ્ગોરિધમની ઉત્પત્તિ ઘણા ફાળો આપનારાઓ સાથે 1960 ના દાયકામાં પાછા જાય છે. તે રેખીય પર્સેપ્ટ્રોન અને ડેલ્ટા લર્નિંગ નિયમમાં લઘુત્તમ સરેરાશ ચોરસ અલ્ગોરિધમનું સામાન્યીકરણ છે. તે લક્ષ્ય મૂલ્યો અને નેટવર્ક આઉટપુટ વચ્ચે, ભૂલને પુનરાવર્તિત રીતે ઘટાડીને, શક્ય નેટવર્ક વજનની જગ્યા દ્વારા ઢાળ વંશ શોધનો અમલ કરે છે. વિડ્રો-હોફ લર્નિંગ (ડેલ્ટા લર્નિંગ રૂલ) પર્સેપ્ટ્રોન લર્નિંગ રૂલ જેવું જ છે પરંતુ તેનું મૂળ અલગ છે. તે એડેલેઇન નેટવર્કમાં ઉપયોગ માટે વિકસાવવામાં આવ્યું હતું, જે મુખ્યત્વે તાલીમના સંદર્ભમાં પર્સેપ્ટ્રોનથી અલગ છે. વજનને ઇનપુટ્સ (નેટ) ના ભારિત સરવાળા અનુસાર ગોઠવવામાં આવે છે, જ્યારે પર્સેપ્ટ્રોનમાં ભારિત રકમની નિશાની આઉટપુટ નક્કી કરવા માટે ઉપયોગી હતી કારણ કે થ્રેશોલ્ડ 0,-1, અથવા + 1 પર સેટ કરવામાં આવી હતી. આ એ. ડી. એ. એલ. આઈ. એન. ઇ. ને સામાન્ય પર્સેપ્ટ્રોનથી અલગ બનાવે છે. ડેલ્ટા નિયમ (ડી. આર.) કેટલાક તફાવતો સાથે પર્સેપ્ટ્રોન લર્નિંગ નિયમ (પી. એલ. આર.) જેવો જ છેઃ ડી. આર. માં ભૂલ (δ) એ 0,1, અથવા-1 (પી. એલ. આર. ની જેમ) ના મૂલ્યો સુધી મર્યાદિત નથી, પરંતુ તેમાં કોઈ પણ મૂલ્ય હોઈ શકે છે જે ડી. આર. કોઈપણ વિભેદક આઉટપુટ/સક્રિયકરણ કાર્ય એફ માટે મેળવી શકાય છે, જ્યારે કે પી. એલ. આર. માં માત્ર થ્રેશોલ્ડ આઉટપુટ કાર્ય માટે કામ કરે છે કેટલીકવાર ત્યારે જ જ્યારે વિડ્રો-હોફ ખાસ કરીને દ્વિસંગી લક્ષ્યો પર લાગુ કરવામાં આવે છે, ત્યારે તેને ડેલ્ટા નિયમ તરીકે ઓળખવામાં આવે છે, પરંતુ શબ્દોનો ઉપયોગ ઘણીવાર એકબીજાના બદલે થતો હોય તેવું લાગે છે. ડેલ્ટા નિયમને બેક-પ્રોપેગેશન અલ્ગોરિધમનો એક ખાસ કેસ માનવામાં આવે છે. ડેલ્ટા નિયમ પણ રેસ્કોર્લા-વેગનર મોડેલ સાથે નજીકથી મેળ ખાય છે, જેના હેઠળ પાવલોવિયન કન્ડીશનીંગ થાય છે. સ્પર્ધાત્મક શિક્ષણને હેબ્બિયન શિક્ષણનો એક પ્રકાર માનવામાં આવે છે, પરંતુ તે અલગથી ચર્ચા કરવા માટે પૂરતું વિશેષ છે. સ્પર્ધાત્મક શિક્ષણ નેટવર્કમાં દરેક નોડની વિશેષતાને વધારીને કામ કરે છે. તે ડેટાની અંદર ક્લસ્ટરો શોધવા માટે સારી રીતે અનુકૂળ છે. સ્પર્ધાત્મક શિક્ષણના સિદ્ધાંત પર આધારિત નમૂનાઓ અને અલ્ગોરિધમ્સમાં વેક્ટર ક્વોન્ટાઇઝેશન અને સ્વ-આયોજન નકશા (કોહોનેન નકશા) નો સમાવેશ થાય છે. મશીન લર્નિંગ ડિસીઝન ટ્રી લર્નિંગ પેટર્ન રેકગ્નિશન બાયસ-વેરિયન્સ મૂંઝવણ બાયસ ઓફ એસ્ટિમેટર એક્સપેક્ટેશન-મેક્સિમાઇઝેશન અલ્ગોરિધમ સંદર્ભો આર્ટિફિશિયલ ન્યુરલ નેટવર્ક્સ લર્નિંગ પણ જુઓ.