Gated recurrent unit
گیٹیڈ ریکرنٹ یونٹس (جی آر یو) ریکرنٹ نیورل نیٹ ورکس میں ایک گیٹنگ میکانزم ہے، جسے 2014 میں کیونگھیون چو اور دیگر نے متعارف کرایا تھا۔ جی آر یو ایک طویل قلیل مدتی میموری (ایل ایس ٹی ایم) کی طرح ہے جس میں کچھ خصوصیات کو داخل کرنے یا بھول جانے کے لیے گیٹنگ میکانزم ہوتا ہے، لیکن اس میں سیاق و سباق ویکٹر یا آؤٹ پٹ گیٹ کا فقدان ہوتا ہے، جس کے نتیجے میں ایل ایس ٹی ایم سے کم پیرامیٹرز ہوتے ہیں۔ پولیفونک میوزک ماڈلنگ، اسپیچ سگنل ماڈلنگ اور نیچرل لینگویج پروسیسنگ کے کچھ کاموں پر جی آر یو کی کارکردگی ایل ایس ٹی ایم سے ملتی جلتی پائی گئی۔ جی آر یوز نے دکھایا کہ گیٹنگ درحقیقت عام طور پر مددگار ہے، اور بینجیو کی ٹیم کسی ٹھوس نتیجے پر نہیں پہنچی کہ دو گیٹنگ یونٹس میں سے کون سا بہتر ہے۔ فن تعمیر مکمل گیٹیڈ یونٹ پر کئی تغیرات ہیں، جس میں گیٹنگ پچھلی پوشیدہ حالت اور مختلف امتزاج میں تعصب کا استعمال کرتے ہوئے کی جاتی ہے، اور ایک آسان شکل جسے کم سے کم گیٹیڈ یونٹ کہا جاتا ہے۔ آپریٹر مندرجہ ذیل میں ہڈمارڈ پروڈکٹ کی نشاندہی کرتا ہے۔ مکمل طور پر گیٹیڈ یونٹ ابتدائی طور پر، آؤٹ پٹ ویکٹر کے لیے ہے۔ متغیرات: ان پٹ ویکٹر: آؤٹ پٹ ویکٹر: امیدوار ایکٹیویشن ویکٹر: اپ ڈیٹ گیٹ ویکٹر: ری سیٹ گیٹ ویکٹر، اور: پیرامیٹر میٹرکس اور ویکٹر ایکٹیویشن افعال: اصل ایک لاجسٹک فنکشن ہے۔ : اصل ایک ہائپربولک ٹینجینٹ ہے۔ متبادل ایکٹیویشن افعال ممکن ہیں، بشرطیکہ۔ متبادل فارم تبدیل کر کے بنائے جا سکتے ہیں اور ٹائپ 1، ہر گیٹ کا انحصار صرف پچھلی پوشیدہ حالت اور تعصب پر ہوتا ہے۔ ٹائپ 2، ہر گیٹ کا انحصار صرف پچھلی پوشیدہ حالت پر ہوتا ہے۔ ٹائپ 3، ہر گیٹ کا حساب صرف تعصب کا استعمال کرتے ہوئے کیا جاتا ہے۔ کم سے کم گیٹیڈ یونٹ کم سے کم گیٹیڈ یونٹ (ایم جی یو) مکمل گیٹیڈ یونٹ سے ملتا جلتا ہے، سوائے اس کے کہ اپ ڈیٹ اور ری سیٹ گیٹ ویکٹر کو بھولے ہوئے گیٹ میں ضم کر دیا جائے۔ اس سے یہ بھی ظاہر ہوتا ہے کہ آؤٹ پٹ ویکٹر کے لیے مساوات کو تبدیل کیا جانا چاہیے: متغیرات: ان پٹ ویکٹر: آؤٹ پٹ ویکٹر: امیدوار ایکٹیویشن ویکٹر: ویکٹر کو بھول جائیں، اور: پیرامیٹر میٹرکس اور ویکٹر لائٹ گیٹڈ ریکرنٹ یونٹ لائٹ گیٹڈ ریکرنٹ یونٹ (لی جی آر یو) ری سیٹ گیٹ کو مکمل طور پر ہٹا دیتا ہے، تانہ کو ری ایل یو ایکٹیویشن سے بدل دیتا ہے، اور بیچ نارملائزیشن (بی این) کا اطلاق کرتا ہے: لی جی آر یو کا مطالعہ بیسیائی نقطہ نظر سے کیا گیا ہے۔ اس تجزیے سے لائٹ بایسیئن ریکرنٹ یونٹ (ایل آئی بی آر یو) نامی ایک قسم حاصل ہوئی، جس نے تقریر کی شناخت کے کاموں پر ایل آئی جی آر یو کے مقابلے میں معمولی بہتری ظاہر کی۔ حوالہ جات مصنوعی عصبی نیٹ ورک