Backpropagation
ஒரு இயந்திர-கற்றல் வழிமுறையாக, ஒரு நரம்பியல் நெட்வொர்க் மாதிரியின் அளவுருக்களை சரிசெய்ய ஒரு பின்தங்கிய பாஸை பின்னோக்கி பரப்புதல் செய்கிறது, இது சராசரி சதுர பிழையை (எம். எஸ். இ) குறைப்பதை நோக்கமாகக் கொண்டுள்ளது. பல அடுக்கு நெட்வொர்க்கில், பின்னோக்கிய பரப்புதல் பின்வரும் படிகளைப் பயன்படுத்துகிறதுஃ தொடர்ச்சியான மறைக்கப்பட்ட அடுக்குகளின் வெளியீடுகளையும் இறுதியாக இறுதி அடுக்கின் வெளியீட்டையும் (ஃபீட்ஃபார்வர்டு படி) கணக்கிடுவதன் மூலம் உள்ளீடு முதல் கணிக்கப்பட்ட வெளியீடு வரை மாதிரியின் மூலம் பயிற்சி தரவை பரப்புதல். எடைகளுடன் தொடர்புடைய பிழையைக் குறைக்க மாதிரி எடைகளை சரிசெய்யவும். பிழை பொதுவாக கணிப்பு மற்றும் இலக்கு இடையே வர்க்க வேறுபாடு ஆகும். ஒவ்வொரு எடைக்கும், பிழையின் சாய்வு அல்லது வழித்தோன்றல் காணப்படுகிறது, மேலும் எடை இந்த வழித்தோன்றலின் எதிர்மறை பெருக்கத்தால் சரிசெய்யப்படுகிறது, இதனால் குறைந்தபட்ச-பிழை உள்ளமைவை நோக்கி கீழ்நோக்கிச் செல்கிறது. இந்த வழித்தோன்றல் இறுதி அடுக்கு எடைகளுக்கு கணக்கிட எளிதானது, மேலும் அடுத்த அடுக்கின் வழித்தோன்றல்களைக் கொடுத்தால் ஒரு அடுக்குக்கு கணக்கிட முடியும். முடிவில் தொடங்கி, பின்னர், வழித்தோன்றல்கள் தொடக்கத்தை நோக்கி அடுக்குக்கு அடுக்கு கணக்கிடப்படுகின்றன-இதனால் "பின்னோக்கி பரப்புதல்". எடைகள் ஒன்றிணைக்கும் வரை அல்லது மாதிரி போதுமான மறு செய்கைகளுக்கு உட்படும் வரை மீண்டும் மீண்டும் புதுப்பிக்கவும். இது அத்தகைய நெட்வொர்க்குகளுக்கு லீப்னிஸ் சங்கிலி விதியின் (1673) திறமையான பயன்பாடாகும். செப்போ லின்னைன்மா (1970) காரணமாக இது தானியங்கி வேறுபாடு அல்லது தலைகீழ் குவிப்பின் தலைகீழ் முறை என்றும் அழைக்கப்படுகிறது. "பின்னோக்கி பரப்புதல் பிழை திருத்தம்" என்ற சொல் 1962 ஆம் ஆண்டில் ஃபிராங்க் ரோசென்ப்ளாட் என்பவரால் அறிமுகப்படுத்தப்பட்டது, ஆனால் இதை எவ்வாறு செயல்படுத்துவது என்று அவருக்குத் தெரியவில்லை, இருப்பினும் ஹென்றி ஜே. கெல்லி ஏற்கனவே 1960 ஆம் ஆண்டில் கட்டுப்பாட்டுக் கோட்பாட்டின் பின்னணியில் பின்னோக்கி பரப்புவதற்கான தொடர்ச்சியான முன்னோடியைக் கொண்டிருந்தார். ஒற்றை உள்ளீட்டு-வெளியீட்டு உதாரணத்திற்கு வலையமைப்பின் எடைகளைப் பொறுத்தவரை ஒரு இழப்பு செயல்பாட்டின் சாய்வைக் கணக்கிடுகிறது, மேலும் அதை திறமையாகச் செய்கிறது, ஒரு நேரத்தில் சாய்வு ஒரு அடுக்கைக் கணக்கிடுகிறது, சங்கிலி விதியில் இடைநிலை சொற்களின் தேவையற்ற கணக்கீடுகளைத் தவிர்க்க கடைசி அடுக்கிலிருந்து பின்னோக்கி மீண்டும் மீண்டும் செய்கிறது; இது டைனமிக் நிரலாக்கத்தின் மூலம் பெறப்படலாம். சாய்வு வம்சாவளி அல்லது சீரற்ற சாய்வு வம்சாவளி போன்ற மாறுபாடுகள் பொதுவாகப் பயன்படுத்தப்படுகின்றன. பின்னோக்கி பரப்புதல் என்ற சொல் சாய்வைக் கணக்கிடுவதற்கான வழிமுறையை மட்டுமே குறிக்கிறது, சாய்வு எவ்வாறு பயன்படுத்தப்படுகிறது என்பதை அல்ல; ஆனால் இந்த சொல் பெரும்பாலும் முழு கற்றல் வழிமுறையையும் குறிக்க தளர்வாகப் பயன்படுத்தப்படுகிறது-சாய்வு எவ்வாறு பயன்படுத்தப்படுகிறது என்பது உட்பட, சீரற்ற சாய்வு வம்சாவளி போன்றவை. 1986 ஆம் ஆண்டில் டேவிட் ஈ. ருமல்ஹார்ட் மற்றும் பலர். நுட்பத்தின் சோதனை பகுப்பாய்வை வெளியிட்டது. இது பின்னோக்கிய பரப்புதலை பிரபலப்படுத்துவதற்கு பங்களித்தது மற்றும் பல அடுக்கு பெர்செப்ட்ரான்களில் செயலில் ஆராய்ச்சியைத் தொடங்க உதவியது. கண்ணோட்டம் பின்னோக்கிய பரப்புதல் ஒரு இழப்பு செயல்பாட்டைப் பொறுத்தவரை, ஒரு ஃபீட்ஃபார்வர்டு நரம்பியல் வலையமைப்பின் எடை இடத்தில் சாய்வைக் கணக்கிடுகிறது. குறிக்கவும்ஃ உள்ளீடு (அம்சங்களின் திசையன்): இலக்கு வெளியீடு வகைப்பாட்டிற்கு, வெளியீடு வர்க்க நிகழ்தகவுகளின் திசையனாக இருக்கும் (எ. கா., மற்றும் இலக்கு வெளியீடு ஒரு குறிப்பிட்ட வகுப்பாகும், இது ஒரு சூடான/போலி மாறி (எ. கா.,) மூலம் குறியிடப்படுகிறது. : இழப்பு செயல்பாடு அல்லது "செலவு செயல்பாடு" வகைப்பாட்டிற்கு, இது பொதுவாக குறுக்கு-என்ட்ரோபி (எக்ஸ். சி, பதிவு இழப்பு) ஆகும், அதே நேரத்தில் பின்னடைவுக்கு இது பொதுவாக சதுர பிழை இழப்பு (எஸ். இ. எல்) ஆகும். : அடுக்குகளின் எண்ணிக்கைஃ அடுக்குகளுக்கு இடையிலான எடைகள் மற்றும், அடுக்கில் உள்ள-வது முனைக்கும் அடுக்கில்-வது முனைக்கும் இடையிலான எடை எங்கேஃ அடுக்கில் செயல்படுத்தும் செயல்பாடுகள் வகைப்பாட்டிற்காக கடைசி அடுக்கு பொதுவாக பைனரி வகைப்பாட்டிற்கான லாஜிஸ்டிக் செயல்பாடாகும், மேலும் பல வகுப்பு வகைப்பாட்டிற்கான சாப்ட்மேக்ஸ் (சாப்டார்க்மேக்ஸ்), அதே நேரத்தில் மறைக்கப்பட்ட அடுக்குகளுக்கு இது பாரம்பரியமாக ஒவ்வொரு முனையிலும் (ஒருங்கிணைப்பு) ஒரு சிக்மாய்டு செயல்பாடாக (லாஜிஸ்டிக் செயல்பாடு அல்லது பிற) இருந்தது, ஆனால் இன்று மிகவும் மாறுபட்டது, ரெக்டிஃபையர் (ரேம்ப், ரிலியு) பொதுவானது. : அடுக்கில்-th முனையை செயல்படுத்துதல். பின்னோக்கிய பரப்புதலின் வழித்தோன்றலில், பிற இடைநிலை அளவுகள் கீழே தேவைக்கேற்ப அவற்றை அறிமுகப்படுத்துவதன் மூலம் பயன்படுத்தப்படுகின்றன. 1 என்ற நிலையான உள்ளீட்டைக் கொண்ட எடையுடன் ஒத்திருப்பதால் சார்பு சொற்கள் குறிப்பாகக் கருதப்படுவதில்லை. பின்னோக்கி பரப்புவதற்கு குறிப்பிட்ட இழப்பு செயல்பாடு மற்றும் செயல்படுத்தும் செயல்பாடுகள் அவை மற்றும் அவற்றின் வழித்தோன்றல்களை திறம்பட மதிப்பீடு செய்ய முடியும் வரை ஒரு பொருட்டல்ல. பாரம்பரிய செயல்பாட்டு செயல்பாடுகளில் சிக்மாய்டு, டான் மற்றும் ரெலூ ஆகியவை அடங்கும். ஸ்விஷ் மிஷ் மற்றும் பிற செயல்பாட்டு செயல்பாடுகளும் முன்மொழியப்பட்டுள்ளன. ஒட்டுமொத்த நெட்வொர்க் என்பது செயல்பாட்டு கலவை மற்றும் மேட்ரிக்ஸ் பெருக்கத்தின் கலவையாகும்ஃ ஒரு பயிற்சி தொகுப்புக்கு உள்ளீட்டு-வெளியீட்டு ஜோடிகளின் தொகுப்பு இருக்கும். பயிற்சி தொகுப்பில் உள்ள ஒவ்வொரு உள்ளீட்டு-வெளியீட்டு ஜோடிக்கும், அந்த ஜோடியின் மாதிரியின் இழப்பு என்பது கணிக்கப்பட்ட வெளியீட்டிற்கும் இலக்கு வெளியீட்டிற்கும் இடையிலான வேறுபாட்டின் விலையாகும்ஃ வேறுபாட்டைக் கவனியுங்கள்ஃ மாதிரி மதிப்பீட்டின் போது எடைகள் நிர்ணயிக்கப்படுகின்றன, அதே நேரத்தில் உள்ளீடுகள் மாறுபடும் (மற்றும் இலக்கு வெளியீடு தெரியவில்லை), மற்றும் நெட்வொர்க் வெளியீட்டு அடுக்குடன் முடிவடைகிறது (இது இழப்பு செயல்பாட்டை உள்ளடக்காது). மாதிரி பயிற்சியின் போது உள்ளீடு-வெளியீடு ஜோடி சரி செய்யப்படுகிறது, அதே நேரத்தில் எடைகள் மாறுபடுகின்றன, மேலும் நெட்வொர்க் இழப்பு செயல்பாட்டுடன் முடிவடைகிறது. பின்னோக்கிய பரப்புதல் ஒரு நிலையான உள்ளீட்டு-வெளியீட்டு ஜோடிக்கான சாய்வைக் கணக்கிடுகிறது, அங்கு எடைகள் மாறுபடும். சாய்வின் ஒவ்வொரு தனிப்பட்ட கூறுகளையும் சங்கிலி விதியால் கணக்கிட முடியும்; ஆனால் ஒவ்வொரு எடைக்கும் தனித்தனியாக இதைச் செய்வது திறனற்றது. ஒவ்வொரு அடுக்கின் சாய்வு-குறிப்பாக ஒவ்வொரு அடுக்கின் எடையுள்ள உள்ளீட்டின் சாய்வு, குறிக்கப்படுகிறது-பின்புறத்திலிருந்து முன் வரை கணக்கிடுவதன் மூலம், நகல் கணக்கீடுகளைத் தவிர்ப்பதன் மூலமும், தேவையற்ற இடைநிலை மதிப்புகளைக் கணக்கிடாமல் இருப்பதன் மூலமும் பின்னோக்கிய பரப்புதல் சாய்வை திறம்பட கணக்கிடுகிறது. முறைசாரா முறையில், முக்கிய அம்சம் என்னவென்றால், ஒரு எடை இழப்பை பாதிக்கும் ஒரே வழி அடுத்த அடுக்கில் அதன் விளைவு மூலம், அது நேரியல் ரீதியாக செயல்படுவதால், அடுக்கில் உள்ள எடைகளின் சாய்வுகளை நீங்கள் கணக்கிட வேண்டிய ஒரே தரவு இது, பின்னர் முந்தைய அடுக்கை கணக்கிடலாம் மற்றும் மீண்டும் மீண்டும் செய்யலாம். இது இரண்டு வழிகளில் திறமையின்மையைத் தவிர்க்கிறது. முதலாவதாக, இது நகலெடுப்பைத் தவிர்க்கிறது, ஏனெனில் அடுக்கில் உள்ள சாய்வைக் கணக்கிடும்போது-ஒவ்வொரு முறையும் பிற்கால அடுக்குகளில் உள்ள அனைத்து வழித்தோன்றல்களையும் மீண்டும் கணக்கிடுவது தேவையற்றது. இரண்டாவதாக, இது தேவையற்ற இடைநிலைக் கணக்கீடுகளைத் தவிர்க்கிறது, ஏனென்றால் ஒவ்வொரு கட்டத்திலும் இது எடைகளின் மாற்றங்களைப் பொறுத்தவரை மறைக்கப்பட்ட அடுக்குகளின் மதிப்புகளின் வழித்தோன்றல்களை தேவையில்லாமல் கணக்கிடுவதை விட, இறுதி வெளியீடு (இழப்பு) தொடர்பாக எடைகளின் சாய்வை நேரடியாகக் கணக்கிடுகிறது. மேட்ரிக்ஸ் பெருக்கத்தின் அடிப்படையில் எளிய ஃபீட்ஃபார்வர்டு நெட்வொர்க்குகளுக்கு பின்னோக்கிய பிரச்சாரத்தை வெளிப்படுத்தலாம் அல்லது பொதுவாக அருகிலுள்ள வரைபடத்தின் அடிப்படையில் வெளிப்படுத்தலாம். மேட்ரிக்ஸ் பெருக்கம் ஒரு ஃபீட்ஃபார்வர்டு நெட்வொர்க்கின் அடிப்படை வழக்கில், ஒவ்வொரு அடுக்கிலும் உள்ள முனைகள் உடனடி அடுத்த அடுக்கில் உள்ள முனைகளுடன் மட்டுமே இணைக்கப்பட்டுள்ளன (எந்த அடுக்குகளையும் தவிர்க்காமல்), மேலும் இறுதி வெளியீட்டிற்கான அளவிடக்கூடிய இழப்பைக் கணக்கிடும் ஒரு இழப்பு செயல்பாடு உள்ளது, பின்னோக்கிய பரப்புதலை வெறுமனே மேட்ரிக்ஸ் பெருக்கம் மூலம் புரிந்து கொள்ள முடியும். அடிப்படையில், பேக் புரோபகேஷன் என்பது செலவு செயல்பாட்டின் வழித்தோன்றலுக்கான வெளிப்பாட்டை வலமிருந்து இடமாக ஒவ்வொரு அடுக்குக்கும் இடையிலான வழித்தோன்றல்களின் பெருக்கலாக மதிப்பிடுகிறது-"பின்னோக்கி"-ஒவ்வொரு அடுக்குக்கும் இடையிலான எடைகளின் சாய்வு பகுதி தயாரிப்புகளின் எளிய மாற்றமாகும் ("பின்னோக்கி பரப்பப்பட்ட பிழை"). உள்ளீடு-வெளியீடு ஜோடியைப் பொறுத்தவரை, இழப்பு பின்வருமாறுஃ இதைக் கணக்கிட, ஒருவர் உள்ளீட்டுடன் தொடங்கி முன்னோக்கி வேலை செய்கிறார்; ஒவ்வொரு மறைக்கப்பட்ட அடுக்கின் எடையுள்ள உள்ளீட்டையும் மறைக்கப்பட்ட அடுக்கின் வெளியீட்டையும் செயல்படுத்துவதாகக் குறிக்கவும். பின்னோக்கி பரப்புவதற்கு, செயல்படுத்தல் மற்றும் வழித்தோன்றல்கள் (மதிப்பீடு செய்யப்பட்டது) பின்தங்கிய பாஸின் போது பயன்படுத்த தற்காலிக சேமிப்பில் வைக்கப்பட வேண்டும். உள்ளீடுகளின் அடிப்படையில் இழப்பின் வழித்தோன்றல் சங்கிலி விதியால் வழங்கப்படுகிறது; ஒவ்வொரு சொல் ஒரு மொத்த வழித்தோன்றல் என்பதைக் கவனியுங்கள், உள்ளீட்டில் உள்ள நெட்வொர்க்கின் மதிப்பில் (ஒவ்வொரு முனையிலும்) மதிப்பிடப்படுகிறதுஃ ஒரு மூலைவிட்ட அணி எங்கே. இந்த சொற்கள் பின்வருமாறுஃ இழப்பு செயல்பாட்டின் வழித்தோன்றல்; செயல்படுத்தும் செயல்பாடுகளின் வழித்தோன்றல்கள்; மற்றும் எடைகளின் மேட்ரிக்ஸ்கள்ஃ சாய்வு என்பது உள்ளீட்டின் அடிப்படையில் வெளியீட்டின் வழித்தோன்றலின் இடமாற்றமாகும், எனவே மேட்ரிக்ஸ்கள் இடமாற்றம் செய்யப்பட்டு பெருக்கத்தின் வரிசை தலைகீழாக உள்ளது, ஆனால் உள்ளீடுகள் ஒரே மாதிரியானவைஃ பின்னோக்கிய புரிதல் என்பது அடிப்படையில் இந்த வெளிப்பாட்டை வலமிருந்து இடமாக மதிப்பிடுவதைக் கொண்டுள்ளது (சமமாக, வழித்தோன்றலுக்கான முந்தைய வெளிப்பாட்டை இடமிருந்து வலமாக பெருக்குவது), வழியில் ஒவ்வொரு அடுக்கிலும் சாய்வைக் கணக்கிடுவது; ஒரு கூடுதல் படி உள்ளது, ஏனெனில் எடைகளின் சாய்வு ஒரு துணை வெளிப்பாடு மட்டுமல்லஃ கூடுதல் பெருக்கம் உள்ளது. பகுதி தயாரிப்புகளுக்கான துணை அளவை அறிமுகப்படுத்துதல் (வலமிருந்து இடமாக பெருக்குதல்), "மட்டத்தில் பிழை" என்று விளக்கப்படுகிறது மற்றும் மட்டத்தில் உள்ளீட்டு மதிப்புகளின் சாய்வு என வரையறுக்கப்படுகிறதுஃ இது ஒரு திசையன் என்பதைக் கவனியுங்கள், மட்டத்தில் உள்ள முனைகளின் எண்ணிக்கைக்கு சமமான நீளம்; ஒவ்வொரு கூறுகளும் "அந்த முனையின் (மதிப்பு) காரணமாக ஏற்படும் செலவு" என்று விளக்கப்படுகிறது. அடுக்கில் உள்ள எடைகளின் சாய்வு பின்வருமாறுஃ ஏனெனில் நிலை மற்றும் தாக்க நிலைக்கு இடையிலான எடைகள் உள்ளீடுகளுக்கு (செயல்பாடுகள்) விகிதாசாரமாக இருப்பதால்ஃ உள்ளீடுகள் நிலையானவை, எடைகள் மாறுபடும். வலதுபுறத்தில் இருந்து இடதுபுறமாக எளிதாக கணக்கிட முடியும், பின்வருமாறுஃ எடைகளின் சாய்வுகளை ஒவ்வொரு மட்டத்திற்கும் ஒரு சில மேட்ரிக்ஸ் பெருக்கங்களைப் பயன்படுத்தி கணக்கிட முடியும்; இது பின்னோக்கிய புரிதல் ஆகும். அப்பாவித்தனமாக முன்னோக்கி கணிப்புடன் ஒப்பிடும்போது (எடுத்துக்காட்டிற்காக பயன்படுத்துவது): பின்னோக்கி பரப்புவதில் இரண்டு முக்கிய வேறுபாடுகள் உள்ளனஃ அடுக்குகள் மற்றும் அதற்கு அப்பால் உள்ள வெளிப்படையான நகல் பெருக்கத்தை கம்ப்யூட்டிங் தவிர்க்கிறது. தொடக்கத்தில் இருந்து பெருக்குதல்-பிழையை பின்னோக்கி பரப்புதல்-அதாவது ஒவ்வொரு படியும் வெறுமனே ஒரு திசையன் () ஐ எடைகள் மற்றும் செயல்பாடுகளின் வழித்தோன்றல்களின் மேட்ரிக்ஸ்களால் பெருக்குகிறது. இதற்கு மாறாக, முந்தைய அடுக்கில் உள்ள மாற்றங்களிலிருந்து தொடங்கி, முன்னோக்கி பெருக்குவது என்பது ஒவ்வொரு பெருக்கமும் ஒரு மேட்ரிக்ஸை ஒரு மேட்ரிக்ஸால் பெருக்குகிறது என்பதாகும். இது மிகவும் விலை உயர்ந்தது, மேலும் ஒரு அடுக்கில் ஏற்படும் மாற்றத்தின் ஒவ்வொரு சாத்தியமான பாதையையும் அடுக்கில் ஏற்படும் மாற்றங்களுக்கு (பெருக்குவதற்கு, செயல்பாடுகளின் வழித்தோன்றல்களுக்கான கூடுதல் பெருக்கங்களுடன்) கண்காணிப்பதற்கு ஒத்திருக்கிறது, இது எடை மாற்றங்கள் மறைக்கப்பட்ட முனைகளின் மதிப்புகளை எவ்வாறு பாதிக்கின்றன என்பதற்கான இடைநிலை அளவுகளை தேவையில்லாமல் கணக்கிடுகிறது. ஒருங்கிணைந்த வரைபடம் மேலும் பொதுவான வரைபடங்கள் மற்றும் பிற மேம்பட்ட மாறுபாடுகளுக்கு, பின்னோக்கிய பரப்புதலை தானியங்கி வேறுபாட்டின் அடிப்படையில் புரிந்து கொள்ள முடியும், இங்கு பின்னோக்கிய பரப்புதல் என்பது தலைகீழ் குவிப்பின் (அல்லது "தலைகீழ் முறை") ஒரு சிறப்பு நிகழ்வாகும். உள்ளுணர்வு உந்துதல் எந்தவொரு மேற்பார்வையிடப்பட்ட கற்றல் வழிமுறையின் குறிக்கோளும் உள்ளீடுகளின் தொகுப்பை அவற்றின் சரியான வெளியீட்டிற்கு சிறந்த முறையில் வரைபடமாக்கும் ஒரு செயல்பாட்டைக் கண்டுபிடிப்பதாகும். பின்னோக்கி பரப்புவதற்கான உந்துதல் என்பது பல அடுக்கு நரம்பியல் வலையமைப்பைப் பயிற்றுவிப்பதாகும், இது பொருத்தமான உள் பிரதிநிதித்துவங்களைக் கற்றுக்கொள்ள முடியும், இது வெளியீட்டிற்கான உள்ளீட்டின் எந்தவொரு தன்னிச்சையான வரைபடத்தையும் கற்றுக்கொள்ள அனுமதிக்கிறது. ஒரு உகப்பாக்கம் சிக்கலாக கற்றல் பின்னோக்கிய புரிதல் வழிமுறையின் கணித வழித்தோன்றலைப் புரிந்துகொள்ள, ஒரு நியூரானின் உண்மையான வெளியீட்டிற்கும் ஒரு குறிப்பிட்ட பயிற்சி எடுத்துக்காட்டிற்கான சரியான வெளியீட்டிற்கும் இடையிலான உறவைப் பற்றி முதலில் சில உள்ளுணர்வுகளை உருவாக்க இது உதவுகிறது. இரண்டு உள்ளீட்டு அலகுகள், ஒரு வெளியீட்டு அலகு மற்றும் மறைக்கப்பட்ட அலகுகள் இல்லாத ஒரு எளிய நரம்பியல் வலையமைப்பைக் கவனியுங்கள், இதில் ஒவ்வொரு நரம்பணுவும் ஒரு நேரியல் வெளியீட்டைப் பயன்படுத்துகிறது (நரம்பியல் வலையமைப்புகளில் பெரும்பாலான வேலைகளைப் போலல்லாமல், உள்ளீடுகளிலிருந்து வெளியீடுகளுக்கு வரைபடம் எடுப்பது நேரியல் அல்லாதது) இது அதன் உள்ளீட்டின் எடையுள்ள கூட்டுத்தொகையாகும். ஆரம்பத்தில், பயிற்சிக்கு முன், எடைகள் தோராயமாக அமைக்கப்படும். பின்னர் நியூரான் பயிற்சி எடுத்துக்காட்டுகளிலிருந்து கற்றுக்கொள்கிறது, இது இந்த விஷயத்தில் நெட்வொர்க்கிற்கான உள்ளீடுகள் மற்றும் சரியான வெளியீட்டைக் கொண்ட டப்பிள்களின் தொகுப்பைக் கொண்டுள்ளது (நெட்வொர்க் அந்த உள்ளீடுகளைக் கொடுக்கும்போது, அது பயிற்சி பெற்றபோது உற்பத்தி செய்ய வேண்டும்). ஆரம்ப நெட்வொர்க், கொடுக்கப்பட்ட மற்றும், வேறுபடும் ஒரு வெளியீட்டைக் கணக்கிடும் (கொடுக்கப்பட்ட சீரற்ற எடைகள்). இலக்கு வெளியீட்டிற்கும் கணக்கிடப்பட்ட வெளியீட்டிற்கும் இடையிலான முரண்பாட்டை அளவிட ஒரு இழப்பு செயல்பாடு பயன்படுத்தப்படுகிறது. பின்னடைவு பகுப்பாய்வு சிக்கல்களுக்கு ஸ்கொயர் பிழையை இழப்பு செயல்பாடாகப் பயன்படுத்தலாம், வகைப்பாட்டிற்கு வகைப்படுத்தப்பட்ட குறுக்கு-என்ட்ரோபி பயன்படுத்தப்படலாம். ஒரு எடுத்துக்காட்டாக, சதுர பிழையைப் பயன்படுத்தி ஒரு பின்னடைவு சிக்கலை இழப்பாகக் கருதுங்கள்ஃ முரண்பாடு அல்லது பிழை எங்கே? ஒரே பயிற்சி வழக்கில் நெட்வொர்க்கைக் கவனியுங்கள்ஃ எனவே, உள்ளீடு மற்றும் முறையே 1 மற்றும் 1 மற்றும் சரியான வெளியீடு, 0 ஆகும். இப்போது கிடைமட்ட அச்சில் நெட்வொர்க்கின் வெளியீட்டிற்கும் செங்குத்து அச்சில் உள்ள பிழைகளுக்கும் இடையே உறவு திட்டமிடப்பட்டால், இதன் விளைவாக ஒரு பரவளையமாகும். பரவளையத்தின் குறைந்தபட்சம் வெளியீட்டிற்கு ஒத்திருக்கிறது, இது பிழையைக் குறைக்கிறது. ஒரு ஒற்றை பயிற்சி வழக்கில், குறைந்தபட்சம் கிடைமட்ட அச்சையும் தொடுகிறது, அதாவது பிழை பூஜ்ஜியமாக இருக்கும், மேலும் நெட்வொர்க் இலக்கு வெளியீட்டுடன் சரியாக பொருந்தக்கூடிய வெளியீட்டை உருவாக்க முடியும். எனவே, வெளியீடுகளுக்கு உள்ளீடுகளை வரைபடமாக்கும் சிக்கலை குறைந்தபட்ச பிழையை உருவாக்கும் ஒரு செயல்பாட்டைக் கண்டுபிடிப்பதற்கான உகப்பாக்கம் சிக்கலாகக் குறைக்கலாம். இருப்பினும், ஒரு நரம்பணு வெளியீடு அதன் அனைத்து உள்ளீடுகளின் எடையுள்ள கூட்டுத்தொகையைப் பொறுத்ததுஃ உள்ளீட்டு அலகுகளிலிருந்து வெளியீட்டு அலகுக்கு இணைப்பின் எடைகள் எங்கே மற்றும் எங்கே. எனவே, பிழை நியூரானுக்கு உள்வரும் எடைகளைப் பொறுத்தது, இது இறுதியில் கற்றலை செயல்படுத்த நெட்வொர்க்கில் மாற்றப்பட வேண்டும். இந்த எடுத்துக்காட்டில், பயிற்சி தரவை உட்செலுத்தும்போது, இழப்பு செயல்பாடு ஆகிறது பின்னர், இழப்பு செயல்பாடு அதன் அடித்தளத்துடன் ஒரு பரவளைய உருளை வடிவத்தை எடுக்கிறது. திருப்திப்படுத்தும் அனைத்து எடைகளின் தொகுப்புகளும் இழப்பு செயல்பாட்டைக் குறைப்பதால், இந்த விஷயத்தில் ஒரு தனித்துவமான தீர்வுக்கு ஒன்றிணைக்க கூடுதல் கட்டுப்பாடுகள் தேவைப்படுகின்றன. எடைகளுக்கு குறிப்பிட்ட நிபந்தனைகளை அமைப்பதன் மூலமோ அல்லது கூடுதல் பயிற்சி தரவை செலுத்துவதன் மூலமோ கூடுதல் கட்டுப்பாடுகள் உருவாக்கப்படலாம். பிழையைக் குறைக்கும் எடைகளின் தொகுப்பைக் கண்டறிய பொதுவாகப் பயன்படுத்தப்படும் ஒரு வழிமுறை சாய்வு இறங்கு ஆகும். பின்னோக்கி பரப்புவதன் மூலம், தற்போதைய சினாப்டிக் எடைகளுக்கு எதிரான இழப்பு செயல்பாட்டின் செங்குத்தான இறங்கு திசை கணக்கிடப்படுகிறது. பின்னர், செங்குத்தான இறங்கு திசையில் எடைகளை மாற்றியமைக்கலாம், மேலும் பிழை ஒரு திறமையான வழியில் குறைக்கப்படுகிறது. வழித்தோன்றல் வழித்தோன்றல் முறை நெட்வொர்க்கின் எடைகளைப் பொறுத்து இழப்பு செயல்பாட்டின் வழித்தோன்றலைக் கணக்கிடுவதை உள்ளடக்கியது. இது பொதுவாக பின்னோக்கி பரப்புதலைப் பயன்படுத்தி செய்யப்படுகிறது. ஒரு வெளியீட்டு நரம்பணுவைக் கருதினால், வர்க்க பிழை செயல்பாடு என்பது வெளியீடு மற்றும் இலக்கு மதிப்புக்கான இழப்பு, ஒரு பயிற்சி மாதிரியின் இலக்கு வெளியீடு மற்றும் வெளியீட்டு நரம்பணுவின் உண்மையான வெளியீடு ஆகும். ஒவ்வொரு நரம்பணுக்கும், அதன் வெளியீடு செயல்படுத்தும் செயல்பாடு நேரியல் அல்லாததாகவும், செயல்படுத்தும் பகுதியில் வேறுபடுத்தக்கூடியதாகவும் இருக்கும் இடத்தில் வரையறுக்கப்படுகிறது (ஒரு கட்டத்தில் ReLU வேறுபடுத்த முடியாது). வரலாற்று ரீதியாக பயன்படுத்தப்படும் செயல்படுத்தும் செயல்பாடு லாஜிஸ்டிக் செயல்பாடாகும்ஃ இது ஒரு வசதியான வழித்தோன்றலைக் கொண்டுள்ளதுஃ ஒரு நியூரானுக்கு உள்ளீடு என்பது முந்தைய நியூரான்களின் வெளியீடுகளின் எடை கூட்டுத்தொகையாகும். நரம்பணு உள்ளீட்டு அடுக்குக்குப் பிறகு முதல் அடுக்கில் இருந்தால், உள்ளீட்டு அடுக்கின் உள்ளீடு வெறுமனே நெட்வொர்க்கிற்கான உள்ளீடுகளாகும். நரம்பணு உள்ளீட்டு அலகுகளின் எண்ணிக்கை. இந்த மாறி முந்தைய அடுக்கின் நரம்பணு மற்றும் தற்போதைய அடுக்கின் நரம்பணு இடையே உள்ள எடையைக் குறிக்கிறது. பிழையின் வழித்தோன்றலைக் கண்டறிவது ஒரு எடையைப் பொறுத்தவரை பிழையின் பகுதியளவு வழித்தோன்றலைக் கணக்கிடுவது சங்கிலி விதியை இரண்டு முறை பயன்படுத்துகிறதுஃ மேலே உள்ள வலது புறத்தின் கடைசி காரணியில், தொகையில் ஒரு சொல் மட்டுமே சார்ந்துள்ளது, இதனால் நரம்பணு உள்ளீட்டு அடுக்குக்குப் பிறகு முதல் அடுக்கில் இருந்தால், அது நியாயமானது. அதன் உள்ளீட்டைப் பொறுத்தவரை நியூரானின் வெளியீட்டின் வழித்தோன்றல் வெறுமனே செயல்படுத்தும் செயல்பாட்டின் பகுதியளவு வழித்தோன்றலாகும்ஃ இது லாஜிஸ்டிக் செயல்படுத்தும் செயல்பாட்டிற்கு இது காரணமாகும். (இருப்பினும், 0 இல் வேறுபடுத்த முடியாத ReLU செயல்படுத்தும் செயல்பாடு மிகவும் பிரபலமாகிவிட்டது, எ. கா. அலெக்ஸ்நெட்டில்) நரம்பணு வெளியீட்டு அடுக்கில் இருந்தால் மதிப்பீடு செய்ய முதல் காரணி நேரடியானது, ஏனெனில் பின்னர் மற்றும் சதுர பிழையின் பாதி இழப்பு செயல்பாடாகப் பயன்படுத்தப்பட்டால் அதை மீண்டும் எழுதலாம் இருப்பினும், நெட்வொர்க்கின் தன்னிச்சையான உள் அடுக்கில் இருந்தால், தொடர்புடைய வழித்தோன்றலைக் கண்டுபிடிப்பது குறைவாக வெளிப்படையானது. நரம்பணுவிலிருந்து உள்ளீட்டைப் பெறும் அனைத்து நரம்பணுக்களும் உள்ளீடுகளாக இருப்பதால் ஒரு செயல்பாடாகக் கருதப்பட்டு, மொத்த வழித்தோன்றலை எடுத்துக்கொள்வதன் மூலம், வழித்தோன்றலுக்கான ஒரு தொடர்ச்சியான வெளிப்பாடு பெறப்படுகிறதுஃ எனவே, அடுத்த அடுக்கின் வெளியீடுகள் தொடர்பான அனைத்து வழித்தோன்றல்களும்-வெளியீட்டு நரம்பணுவுக்கு நெருக்கமானவை-தெரிந்தால் கணக்கிடப்படலாம். [குறிப்பு, தொகுப்பில் உள்ள எந்த நியூரான்களும் நியூரானுடன் இணைக்கப்படாவிட்டால், அவை சுயாதீனமாக இருக்கும், மேலும் கூட்டுத்தொகையின் கீழ் தொடர்புடைய பகுதி வழித்தோன்றல் 0 ஆக மறைந்துவிடும்.] மாற்றீடு, மற்றும் நாம் பெறுவதுஃ லாஜிஸ்டிக் செயல்பாடு என்றால், மற்றும் பிழை சதுர பிழையாகும்ஃ சாய்வு வம்சாவளியைப் பயன்படுத்தி எடையைப் புதுப்பிக்க, ஒருவர் கற்றல் விகிதத்தைத் தேர்வு செய்ய வேண்டும்,. எடையில் ஏற்படும் மாற்றம் எடை அதிகரிப்பு அல்லது குறைப்பின் தாக்கத்தை பிரதிபலிக்க வேண்டும். அதிகரித்தால், அதிகரித்தால்; மாறாக, அதிகரித்தால், குறைகிறது. புதியது பழைய எடையுடன் சேர்க்கப்படுகிறது, மேலும் கற்றல் விகிதம் மற்றும் சாய்வு ஆகியவற்றின் விளைபொருள், எப்போதும் குறையும் வகையில் மாறும் உத்தரவாதங்களால் பெருக்கப்படுகிறது. வேறு வார்த்தைகளில் கூறுவதானால், உடனடியாக கீழே உள்ள சமன்பாட்டில், எப்போதும் குறைக்கப்படும் வகையில் மாறுகிறதுஃ இரண்டாவது வரிசை சாய்வு வம்சாவளி பிழை செயல்பாட்டின் இரண்டாவது வரிசை வழித்தோன்றல்களின் ஹெஸியன் மேட்ரிக்ஸைப் பயன்படுத்தி, லெவென்பெர்க்-மார்க்வார்ட் வழிமுறை பெரும்பாலும் முதல் வரிசை சாய்வு வம்சாவளியை விட வேகமாக ஒருங்கிணைக்கிறது, குறிப்பாக பிழை செயல்பாட்டின் இடவியல் சிக்கலானதாக இருக்கும்போது. மற்ற முறைகள் ஒன்றிணைக்காத சிறிய முனை எண்ணிக்கையிலும் இது தீர்வுகளைக் காணலாம். ஃபிஷர் தகவல் மேட்ரிக்ஸ் மூலம் ஹெஸியன் தோராயமாக மதிப்பிடப்படலாம். இழப்புச் செயல்பாடு என்பது ஒன்று அல்லது அதற்கு மேற்பட்ட மாறிகளின் மதிப்புகளை ஒரு உண்மையான எண்ணில் உள்ளுணர்வாக அந்த மதிப்புகளுடன் தொடர்புடைய சில "செலவை" குறிக்கும் ஒரு செயல்பாடாகும். பின்னோக்கி பரப்புவதைப் பொறுத்தவரை, இழப்பு செயல்பாடு நெட்வொர்க் வெளியீட்டிற்கும் அதன் எதிர்பார்க்கப்படும் வெளியீட்டிற்கும் இடையிலான வேறுபாட்டைக் கணக்கிடுகிறது, ஒரு பயிற்சி எடுத்துக்காட்டு நெட்வொர்க் மூலம் பரப்பப்பட்ட பிறகு. அனுமானங்கள் இழப்பு செயல்பாட்டின் கணித வெளிப்பாடு பின்னோக்கி பரப்புவதில் பயன்படுத்தப்படுவதற்கு இரண்டு நிபந்தனைகளை பூர்த்தி செய்ய வேண்டும். முதலாவதாக, தனிப்பட்ட பயிற்சி எடுத்துக்காட்டுகளுக்கு, இது பிழை செயல்பாடுகளின் சராசரியாக எழுதப்படலாம். இந்த அனுமானத்திற்கான காரணம் என்னவென்றால், பேக் ப்ராபகேஷன் அல்காரிதம் ஒரு ஒற்றை பயிற்சி எடுத்துக்காட்டிற்கான பிழை செயல்பாட்டின் சாய்வைக் கணக்கிடுகிறது, இது ஒட்டுமொத்த பிழை செயல்பாட்டிற்கு பொதுமைப்படுத்தப்பட வேண்டும். இரண்டாவது அனுமானம் என்னவென்றால், இது நரம்பியல் வலையமைப்பிலிருந்து வரும் வெளியீடுகளின் செயல்பாடாக எழுதப்படலாம். எடுத்துக்காட்டு இழப்பு செயல்பாடு திசையன்களாக இருக்கட்டும். இரண்டு வெளியீடுகளுக்கு இடையிலான வேறுபாட்டை அளவிடும் பிழை செயல்பாட்டைத் தேர்ந்தெடுக்கவும். நிலையான தேர்வு திசையன்களுக்கிடையேயான யூக்ளிடியன் தூரத்தின் சதுரமாகும் மற்றும்ஃ பயிற்சி எடுத்துக்காட்டுகள் மீது பிழை செயல்பாட்டை பின்னர் தனிப்பட்ட எடுத்துக்காட்டுகள் மீது இழப்புகளின் சராசரியாக எழுதலாம்ஃ வரம்புகள் பின்னோக்கிய பரப்புதலுடன் சாய்வு வம்சாவளி பிழை செயல்பாட்டின் உலகளாவிய குறைந்தபட்சத்தைக் கண்டுபிடிப்பதற்கான உத்தரவாதம் இல்லை, ஆனால் ஒரு உள்ளூர் குறைந்தபட்சம் மட்டுமே; மேலும், பிழை செயல்பாட்டு நிலப்பரப்பில் பீடபூமிகளைக் கடப்பதில் சிக்கல் உள்ளது. நரம்பியல் நெட்வொர்க்குகளில் பிழை செயல்பாடுகளின் தொடர்பு இல்லாததால் ஏற்படும் இந்த சிக்கல், ஒரு பெரிய குறைபாடு என்று நீண்ட காலமாக கருதப்பட்டது, ஆனால் யான் லெகன் மற்றும் பலர். பல நடைமுறை சிக்கல்களில், அது இல்லை என்று வாதிடுகிறார். பின்னோக்கி பரப்புதல் கற்றலுக்கு உள்ளீட்டு திசையன்களின் இயல்பாக்கம் தேவையில்லை; இருப்பினும், இயல்பாக்கம் செயல்திறனை மேம்படுத்தலாம். வலையமைப்பு வடிவமைப்பு நேரத்தில் செயல்படுத்தும் செயல்பாடுகளின் வழித்தோன்றல்கள் அறியப்பட வேண்டும். நவீன பின்னோக்கிய பரப்புதல் என்பது செப்போ லின்னைன்மாவின் தானியங்கி வேறுபாட்டின் தலைகீழ் முறை (1970) ஆகும், இது தனித்துவமான இணைக்கப்பட்ட நெட்வொர்க்குகளுக்கான நெஸ்டட் வேறுபடுத்தக்கூடிய செயல்பாடுகளாகும். இது அத்தகைய நெட்வொர்க்குகளுக்கு சங்கிலி விதியின் (1673 இல் காட்ஃபிரைட் வில்ஹெல்ம் லீப்னிஸால் பெறப்பட்டது) திறமையான பயன்பாடாகும். ஹென்றி ஜே. கெல்லி ஏற்கனவே 1960 ஆம் ஆண்டில் கட்டுப்பாட்டுக் கோட்பாட்டின் பின்னணியில் பின்னோக்கி பரப்புவதற்கான தொடர்ச்சியான முன்னோடியைக் கொண்டிருந்தாலும், "பின்னோக்கி பரப்புதல் பிழை திருத்தம்" என்ற சொல் 1962 ஆம் ஆண்டில் ஃபிராங்க் ரோசென்ப்ளாட் என்பவரால் அறிமுகப்படுத்தப்பட்டது, ஆனால் இதை எவ்வாறு செயல்படுத்துவது என்று அவருக்குத் தெரியவில்லை. சீரற்ற சாய்வு வம்சாவளியால் பயிற்றுவிக்கப்பட்ட முதல் ஆழமான கற்றல் பல அடுக்கு பெர்செப்ட்ரான் (எம். எல். பி) 1967 ஆம் ஆண்டில் சுனிச்சி அமாரியால் வெளியிடப்பட்டது. கணினி சோதனைகளில், இரண்டு மாற்றியமைக்கக்கூடிய அடுக்குகளைக் கொண்ட அவரது ஐந்து அடுக்கு எம்எல்பி, நேரியல் அல்லாத பிரிக்கக்கூடிய முறை வகுப்புகளை வகைப்படுத்த தேவையான உள் பிரதிநிதித்துவங்களைக் கற்றுக்கொண்டது. 1982 ஆம் ஆண்டில், பால் வெர்போஸ் எம். எல். பி. களுக்கு பின்னோக்கிய பிரச்சாரத்தைப் பயன்படுத்தினார், அது தரமானதாகிவிட்டது. 1985 ஆம் ஆண்டில், டேவிட் ஈ. ருமல்ஹார்ட் மற்றும் பலர். நுட்பத்தின் சோதனை பகுப்பாய்வை வெளியிட்டது. இது பின்னோக்கிய பரப்புதலை பிரபலப்படுத்துவதற்கு பங்களித்தது மற்றும் பல அடுக்கு பெர்செப்ட்ரான்களில் செயலில் ஆராய்ச்சியைத் தொடங்க உதவியது. கெல்லி (1960) மற்றும் ஆர்தர் ஈ. பிரைசன் (1961) ஆகியோர் இந்த முறையின் மேற்கூறிய தொடர்ச்சியான முன்னோடியைப் பெற டைனமிக் புரோகிராமிங்கின் கொள்கைகளைப் பயன்படுத்தினர். 1962 ஆம் ஆண்டில், ஸ்டூவர்ட் ட்ரேஃபஸ் சங்கிலி விதியை மட்டுமே அடிப்படையாகக் கொண்ட ஒரு எளிய வழித்தோன்றலை வெளியிட்டார். 1973 ஆம் ஆண்டில், அவர் பிழையின் சாய்வுகளின் விகிதத்தில் கட்டுப்படுத்திகளின் அளவுருக்களை மாற்றியமைத்தார். லின்னைன்மாவின் 1970 முறையைப் போலல்லாமல், இந்த முன்னோடிகள் "ஒரு கட்டத்திலிருந்து முந்தைய கட்டத்திற்கு நிலையான ஜாகோபியன் மேட்ரிக்ஸ் கணக்கீடுகளைப் பயன்படுத்தினர், பல நிலைகளில் நேரடி இணைப்புகளை உரையாற்றவில்லை அல்லது நெட்வொர்க் ஸ்பார்சிட்டி காரணமாக கூடுதல் செயல்திறன் ஆதாயங்கள் இல்லை". 1985 ஆம் ஆண்டில், இந்த முறையை பார்க்கரும் விவரித்தார். யான் லெகன் 1987 ஆம் ஆண்டில் தனது முனைவர் பட்ட ஆய்வறிக்கையில் நரம்பியல் நெட்வொர்க்குகளுக்கான பின்னோக்கிய பிரச்சாரத்தின் மாற்று வடிவத்தை முன்மொழிந்தார். 1993 ஆம் ஆண்டில், எரிக் வான் பின்னோக்கிய பிரச்சாரத்தின் மூலம் ஒரு சர்வதேச முறை அங்கீகாரப் போட்டியை வென்றார். 2000 களில் இது சாதகமாக இல்லை, ஆனால் 2010 களில் திரும்பியது, மலிவான, சக்திவாய்ந்த ஜி. பி. யூ அடிப்படையிலான கணினி அமைப்புகளால் பயனடைந்தது. இது குறிப்பாக பேச்சு அங்கீகாரம், இயந்திர பார்வை, இயற்கையான மொழி செயலாக்கம் மற்றும் மொழி கட்டமைப்பு கற்றல் ஆராய்ச்சி (இதில் முதல் மற்றும் இரண்டாவது மொழி கற்றல் தொடர்பான பல்வேறு நிகழ்வுகளை விளக்க இது பயன்படுத்தப்பட்டுள்ளது.). என் 400 மற்றும் பி 600 போன்ற மனித மூளை ஈஆர்பி கூறுகளை விளக்குவதற்கு பிழை பின்னோக்கி பரப்புதல் பரிந்துரைக்கப்படுகிறது. 2023 ஆம் ஆண்டில், ஸ்டான்போர்ட் பல்கலைக்கழகத்தின் ஒரு குழுவால் ஒரு ஃபோட்டோனிக் செயலி மீது ஒரு பின்னோக்கிய பரப்புதல் வழிமுறை செயல்படுத்தப்பட்டது. மேலும் காண்க செயற்கை நரம்பியல் நெட்வொர்க் நரம்பியல் சுற்று பேரழிவு குறுக்கீடு ஒருங்கிணைந்த கற்றல் அடா பூஸ்ட் நேரத்தின் மூலம் நரம்பியல் பின்னோக்கிப் பரப்புதல் பின்னோக்கிப் பரப்புதல் குறிப்புகள் மேலும் வாசிப்பு விக்கி பல்கலைக்கழக இயந்திர கற்றல் வழிமுறைகளில் வெளிப்புற இணைப்புகள் பின்னோக்கிப் பரப்புதல் நரம்பியல் நெட்வொர்க் பயிற்சி செயற்கை நரம்பியல் நெட்வொர்க்குகள்