Gated recurrent unit
ગેટેડ રિકરન્ટ યુનિટ્સ (જીઆરયુ) એ રિકરન્ટ ન્યુરલ નેટવર્ક્સમાં ગેટિંગ મિકેનિઝમ છે, જે 2014 માં ક્યુન્ગ્યુન ચો એટ અલ દ્વારા રજૂ કરવામાં આવી હતી. GRU એ લાંબા ટૂંકા ગાળાના મેમરી (LSTM) જેવું છે, જેમાં ચોક્કસ સુવિધાઓ દાખલ કરવા અથવા ભૂલી જવા માટે ગેટિંગ મિકેનિઝમ છે, પરંતુ તેમાં સંદર્ભ વેક્ટર અથવા આઉટપુટ ગેટનો અભાવ છે, જેના પરિણામે LSTM કરતા ઓછા પરિમાણો મળે છે. પોલીફોનિક મ્યુઝિક મોડેલિંગ, સ્પીચ સિગ્નલ મોડેલિંગ અને નેચરલ લેંગ્વેજ પ્રોસેસિંગના અમુક કાર્યો પર GRUનું પ્રદર્શન LSTM જેવું જ હોવાનું જણાયું હતું. જીઆરયુએ દર્શાવ્યું હતું કે ગેટિંગ ખરેખર સામાન્ય રીતે મદદરૂપ છે, અને બેંગિયોની ટીમ બે ગેટિંગ એકમોમાંથી કયા વધુ સારા છે તેના પર કોઈ નક્કર નિષ્કર્ષ પર આવી નથી. આર્કિટેક્ચર સંપૂર્ણ ગેટેડ એકમ પર ઘણી ભિન્નતાઓ છે, જેમાં અગાઉની છુપાયેલી સ્થિતિ અને વિવિધ સંયોજનોમાં પૂર્વગ્રહનો ઉપયોગ કરીને ગેટિંગ કરવામાં આવે છે, અને મિનિમલ ગેટેડ એકમ તરીકે ઓળખાતું સરળ સ્વરૂપ છે. સંચાલક નીચેની બાબતોમાં હડામાર્ડ ઉત્પાદનને સૂચવે છે. સંપૂર્ણ ગેટેડ એકમ શરૂઆતમાં, માટે, આઉટપુટ વેક્ટર છે. ચલઃ ઇનપુટ વેક્ટરઃ આઉટપુટ વેક્ટરઃ ઉમેદવાર સક્રિયકરણ વેક્ટરઃ અપડેટ ગેટ વેક્ટરઃ રીસેટ ગેટ વેક્ટર, અનેઃ પરિમાણ મેટ્રિસીસ અને વેક્ટર સક્રિયકરણ કાર્યોઃ મૂળ એ લોજિસ્ટિક કાર્ય છે. : મૂળ હાયપરબોલિક સ્પર્શક છે. વૈકલ્પિક સક્રિયકરણ કાર્યો શક્ય છે, જો કે. વૈકલ્પિક સ્વરૂપો બદલીને અને પ્રકાર 1 દ્વારા બનાવી શકાય છે, દરેક દ્વાર ફક્ત અગાઉની છુપાયેલી સ્થિતિ અને પૂર્વગ્રહ પર આધાર રાખે છે. પ્રકાર 2, દરેક દરવાજો ફક્ત અગાઉની છુપાયેલી સ્થિતિ પર આધાર રાખે છે. પ્રકાર 3, દરેક દરવાજાની ગણતરી માત્ર પક્ષપાતનો ઉપયોગ કરીને કરવામાં આવે છે. મિનિમલ ગેટેડ યુનિટ મિનિમલ ગેટેડ યુનિટ (એમ. જી. યુ.) સંપૂર્ણ ગેટેડ યુનિટ જેવું જ છે, સિવાય કે અપડેટ અને રીસેટ ગેટ વેક્ટરને ફોરગેટ ગેટમાં મર્જ કરવામાં આવે છે. આ એ પણ સૂચવે છે કે આઉટપુટ વેક્ટર માટેનું સમીકરણ બદલવું આવશ્યક છેઃ ચલઃ ઇનપુટ વેક્ટરઃ આઉટપુટ વેક્ટરઃ ઉમેદવાર સક્રિયકરણ વેક્ટરઃ વેક્ટરને ભૂલી જાઓ, અનેઃ પરિમાણ મેટ્રિસીસ અને વેક્ટર લાઇટ ગેટેડ પુનરાવર્તિત એકમ પ્રકાશ ગેટેડ પુનરાવર્તિત એકમ (LiGRU) રીસેટ ગેટને એકસાથે દૂર કરે છે, તનહને ReLU સક્રિયકરણ સાથે બદલે છે, અને બેચ સામાન્યીકરણ (BN) લાગુ કરે છેઃ LiGRU નો અભ્યાસ બાયેસિયન દ્રષ્ટિકોણથી કરવામાં આવ્યો છે. આ વિશ્લેષણથી લાઇટ બાયેસિયન રિકરન્ટ યુનિટ (એલ. આઈ. બી. આર. યુ.) નામનો એક પ્રકાર પ્રાપ્ત થયો, જેણે વાણી ઓળખ કાર્યો પર એલ. આઈ. જી. આર. યુ. ની સરખામણીમાં થોડો સુધારો દર્શાવ્યો હતો. સંદર્ભો આર્ટિફિશિયલ ન્યુરલ નેટવર્ક