Gated recurrent unit
गेटेड रिकरेंट यूनिट्स (जीआरयू) रिकरेंट न्यूरल नेटवर्क में एक गेटिंग तंत्र है, जिसे 2014 में क्यूंग्युन चो एट अल द्वारा पेश किया गया था। जीआरयू एक लंबी अल्पकालिक स्मृति (एलएसटीएम) की तरह है जिसमें कुछ विशेषताओं को इनपुट करने या भूलने के लिए एक गेटिंग तंत्र होता है, लेकिन इसमें एक संदर्भ वेक्टर या आउटपुट गेट का अभाव होता है, जिसके परिणामस्वरूप एलएसटीएम की तुलना में कम मापदंड होते हैं। पॉलीफोनिक संगीत मॉडलिंग, स्पीच सिग्नल मॉडलिंग और प्राकृतिक भाषा प्रसंस्करण के कुछ कार्यों पर जीआरयू का प्रदर्शन एलएसटीएम के समान पाया गया। जीआरयू ने दिखाया कि गेटिंग वास्तव में सामान्य रूप से सहायक है, और बेंजियो की टीम कोई ठोस निष्कर्ष पर नहीं पहुंची कि दो गेटिंग इकाइयों में से कौन सी बेहतर थी। वास्तुकला पूर्ण गेटेड इकाई पर कई भिन्नताएँ हैं, जिसमें पिछले छिपे हुए अवस्था और विभिन्न संयोजनों में पूर्वाग्रह का उपयोग करके गेटिंग किया जाता है, और एक सरलीकृत रूप जिसे न्यूनतम गेटेड इकाई कहा जाता है। प्रचालक निम्नलिखित में हडमर्ड उत्पाद को दर्शाता है। पूर्णतया गेटेड इकाई प्रारंभ में, आउटपुट वेक्टर के लिए है। चरः इनपुट वेक्टरः आउटपुट वेक्टरः उम्मीदवार सक्रियण वेक्टरः अपडेट गेट वेक्टरः रीसेट गेट वेक्टर, औरः पैरामीटर मैट्रिक्स और वेक्टर सक्रियण कार्यः मूल एक लॉजिस्टिक कार्य है। : मूल एक हाइपरबोलिक स्पर्शरेखा है। वैकल्पिक सक्रियण कार्य संभव हैं, बशर्ते कि। वैकल्पिक रूपों को बदलकर बनाया जा सकता है और टाइप 1, प्रत्येक गेट केवल पिछली छिपी स्थिति और पूर्वाग्रह पर निर्भर करता है। टाइप 2, प्रत्येक गेट केवल पिछली छिपी हुई स्थिति पर निर्भर करता है। टाइप 3, प्रत्येक गेट की गणना केवल पूर्वाग्रह का उपयोग करके की जाती है। न्यूनतम गेटेड इकाई न्यूनतम गेटेड इकाई (एम. जी. यू.) पूरी तरह से गेटेड इकाई के समान है, सिवाय इसके कि अद्यतन और रीसेट गेट वेक्टर को एक फॉरगेट गेट में मिला दिया जाता है। इसका यह भी तात्पर्य है कि आउटपुट वेक्टर के लिए समीकरण को बदला जाना चाहिएः चरः इनपुट वेक्टरः आउटपुट वेक्टरः उम्मीदवार सक्रियण वेक्टरः वेक्टर को भूल जाओ, औरः पैरामीटर मैट्रिक्स और वेक्टर लाइट गेटेड आवर्ती इकाई प्रकाश गेटेड आवर्ती इकाई (एल. आई. जी. आर. यू.) रीसेट गेट को पूरी तरह से हटा देती है, तान्ह को आर. ई. एल. यू. सक्रियण से बदल देती है, और बैच सामान्यीकरण (बी. एन.) को लागू करती हैः एल. आई. जी. आर. यू. का अध्ययन बायेसियन दृष्टिकोण से किया गया है। इस विश्लेषण से लाइट बायेसियन रिकरेंट यूनिट (एल. आई. बी. आर. यू.) नामक एक प्रकार प्राप्त हुआ, जिसने भाषण पहचानने के कार्यों पर एल. आई. जी. आर. यू. की तुलना में थोड़ा सुधार दिखाया। संदर्भ कृत्रिम तंत्रिका नेटवर्क