Comparison The Performance of The Recurrent Neural Network in Reducing Training Parameters for Convolution Neural Network: مقارنة أداء الشبكات العصبونية التكرارية في تخفيض بارامترات التدريب لشبكات التلافيف العصبية

Keywords: Recurrent Neural network, Convolution Neural network, LWCNN, LSTM, GRU

The study aims to reduce the number of parameters in the Convolution Neural Network (CNN), which is one of the best techniques used to extract and categorize behavioral features in video files. These networks have a very big size and a large number of parameters which distributed in the deep layers, especially in the last layers that responsible for classification, the values of the parameters are modified at each stage of network training, which consume memory too much, and its need for a very large memory space. In this research we work to reduce the number of parameters through using lightweight Convolution Neural Network (LWCNN), we choose Alex Net network in our research, but we made some modification on it, we decrease the number of filters in convolution layer, and we replace the last layers in the network with one of the most important types of Recurrent Neural Network (RNN). We use each of Long Short Term Memory (LSTM), and Gated Recurrent Unit (GRU). The work was tested during the research period on a dataset containing 960(videos) for normal children and children with autism spectrum, which were taken in Center for psychosocial support for people with special needs. And the experimental results proved the significant decrease in the number of parameters in the system with lightweight networks after linking them with recurrent networks with 84%, as well as the recurrent network with long reliability (LSTM) gave better results than the Gated recurrent unit (GRU) in accuracy and the loss value. 




  




  




  


‫لشبكات‬ ‫التدريب‬ ‫ات‬ ‫بارامتر‬ ‫تخفيض‬ ‫في‬ ‫التكرارية‬ ‫العصبونية‬ ‫الشبكات‬ ‫أداء‬ ‫مقارنة‬ ‫العصبية‬ ‫التالفيف‬

  
	22 20 ‫م‬ 22 20 ‫م‬	‫مارس‬ ‫مارس‬	‫ــ‬ ‫ــ‬	‫األ‬ ‫ول‬ ‫األ‬ ‫ول‬	‫العدد‬ ‫العدد‬	‫ــ‬ ‫ــ‬	‫ال‬ ‫سادس‬ ‫ال‬ ‫سادس‬	‫المجلد‬ ‫المجلد‬	‫ــ‬ ‫ــ‬	‫المعلومات‬ ‫وتكنولوجيا‬ ‫الهندسية‬ ‫العلوم‬ ‫مجلة‬ ‫المعلومات‬ ‫وتكنولوجيا‬ ‫الهندسية‬ ‫العلوم‬ ‫مجلة‬	‫ــ‬ ‫ــ‬	‫األبحاث‬ ‫ونشر‬ ‫للعلوم‬ ‫العربية‬ ‫المجلة‬ ‫األبحاث‬ ‫ونشر‬ ‫للعلوم‬ ‫العربية‬ ‫المجلة‬
	‫الخفيفة‬ 2 . ‫يمكن‬ ‫هل‬ (Light Weight Convolution Neural Network LWCNN) ‫است‬ ‫التجريبية.‬ ‫النتائج‬ ‫تتأثر‬ ‫أن‬ ‫دون‬ ‫الشبكة‬ ‫في‬ ‫الكثيرة‬ ‫ات‬ ‫امتر‬ ‫البار‬ ‫ذات‬ ‫الطبقات‬ ‫بدال‬ ‫تم‬ ‫حيث‬ ‫است‬ ‫شبكة‬ ‫خدام‬ Alex Net ‫من‬ ‫مجموعة‬ ‫اء‬ ‫إجر‬ ‫بعد‬ ‫وذلك‬
	‫وكذلك‬ ‫الطي،‬ ‫طبقات‬ ‫في‬ ‫املستخدمة‬ ‫املرشحات‬ ‫عدد‬ ‫تخفيض‬ ‫من‬ ‫عليها،‬ ‫التعديالت‬ ‫ارية‬ ‫التكر‬ ‫الشبكات‬ ‫أنواع‬ ‫أهم‬ ‫بأحد‬ ‫التصنيف‬ ‫عن‬ ‫مسؤولة‬ ‫تكون‬ ‫التي‬ (Recurrent Neural Network RNN) ‫است‬ ‫املستخدمة‬ ‫الشبكة‬ ‫من‬ ‫االخيرة‬ ‫الطبقات‬ ‫بدال‬ ‫تم‬ ‫حيث‬ ‫است‬ ً ‫كال‬ ‫خدام‬ ‫من‬ 3 -‫اسة‬ ‫الدر‬ ‫فرضيات‬ :
	‫الطويلة‬ ‫االعتمادية‬ ‫ذات‬ ‫ارية‬ ‫التكر‬ ‫الشبكة‬ GRU) . ‫تم‬ ‫اخت‬ ‫تضم‬ ‫بيانات‬ ‫مجموعة‬ ‫على‬ ‫البحث‬ ‫فترة‬ ‫خالل‬ ‫العمل‬ ‫بار‬ (Long Short Term Memory LSTM) 960 ‫فيديو‬ ‫اسة‬ ‫الدر‬ ‫تفترض‬ : ‫اال‬ ‫لذوي‬ ‫ي‬ ‫النفس‬ ‫الدعم‬ ‫اكز‬ ‫مر‬ ‫أحد‬ ‫في‬ ‫تسجيلها‬ ‫حت‬ 1 . ‫است‬ ‫الخفيفة‬ ‫األوزان‬ ‫ذات‬ ‫العصبية‬ ‫الطي‬ ‫شبكات‬ ‫خدام‬ LWCNN ‫ألطفال‬ ‫املبوبة‬ ‫ارية‬ ‫التكر‬ ‫والشبكة‬ ‫طبيعيي‬ ‫ن‬ ‫تم‬ ‫التوحد،‬ ‫بطيف‬ ‫مصابين‬ ‫وأطفال‬ (Gated Recurrent Unit . ‫في‬ ‫ات‬ ‫امتر‬ ‫البار‬ ‫عدد‬ ‫في‬ ‫الكبير‬ ‫االنخفاض‬ ‫التجريبية‬ ‫النتائج‬ ‫أثبتت‬ ‫وقد‬ ‫الخاصة.‬ ‫ياجات‬ ‫بمقدار‬ ‫ارية‬ ‫التكر‬ ‫الشبكات‬ ‫مع‬ ‫ربطها‬ ‫بعد‬ ‫الخفيفة‬ ‫االوزان‬ ‫ذات‬ ‫العصبونية‬ ‫الشبكات‬ 84 % ، ‫التك‬ ‫الشبكة‬ ‫فإن‬ ‫كذلك‬ ‫االعتمادية‬ ‫ذات‬ ‫ارية‬ ‫ر‬ 2 . ‫است‬ ‫في‬ ‫األخيرة‬ ‫الطبقات‬ ‫بدال‬ LWCNN ‫ارية‬ ‫التكر‬ ‫العصبية‬ ‫الشبكات‬ ‫من‬ ‫معينة‬ ‫بأنواع‬ RNN .
	‫الطويلة‬ ‫بمقدار‬ ‫الخطأ‬ LSTM 9 4 -‫البحث‬ ‫هدف‬ ‫املبوبة‬ ‫ارية‬ ‫التكر‬ ‫الشبكة‬ ‫من‬ ‫أفضل‬ ‫نتائج‬ ‫أعطت‬ : .% ‫املفتاحية‬ ‫الكلمات‬ : ‫العصبية‬ ‫الشبكات‬ ‫ارية،‬ ‫التكر‬ ‫الطي‬ ‫شبكات‬ ‫العصبية،‬ GRU ‫حيث‬ ‫من‬ LWCNN ‫بمقدار‬ ‫الدقة‬ ‫ادت‬ ‫ز‬ ‫حيث‬ ‫والخطأ،‬ ‫الدقة‬ ، LSTM ، GRU ‫ي‬ ‫األساس‬ ‫الهدف‬ ‫إن‬ ‫من‬ ‫ب‬ ‫يقوم‬ ‫نظام‬ ‫تطوير‬ ‫هو‬ ‫البحث‬ ‫هذا‬ ‫است‬ ‫املرئية‬ ‫امللفات‬ ‫من‬ ‫السلوكية‬ ‫السمات‬ ‫اج‬ ‫خر‬ 3 ‫وانخفض‬ % . ‫ب‬ ‫است‬ ‫مع‬ ‫الخفيفة‬ ‫االوزان‬ ‫ذات‬ ‫العصبية‬ ‫الطي‬ ‫شبكات‬ ‫خدام‬ ‫است‬ ‫من‬ ‫وذلك‬ ‫فيها.‬ ‫ات‬ ‫امتر‬ ‫البار‬ ‫من‬ ‫ممكن‬ ‫عدد‬ ‫أقل‬ ‫خدام‬
	1 ‫خال‬ -‫ارية‬ ‫التكر‬ ‫العصبونية‬ ‫الشبكات‬ ‫أنواع‬ ‫بأحد‬ ‫املقدمة‬ ‫ل‬ ‫اال‬ ‫و‬ ‫كبير،‬ ‫بشكل‬ ‫فيها‬ ‫ات‬ ‫امتر‬ ‫البار‬ ‫تتركز‬ ‫التي‬ ‫التصنيف‬ ‫عن‬ ‫املسؤولة‬ ‫األخيرة‬ ‫الطبقات‬ ‫حذف‬ ‫على‬ ‫عتماد‬ ‫است‬ . ‫يعد‬ ‫است‬ ‫خال‬ ‫وتصنيفها‬ ‫السلوكية‬ ‫السمات‬ ‫ص‬ . ‫ب‬ ‫تقوم‬ ‫خفيفة‬ ‫عصبية‬ ‫طي‬ ‫شبكة‬ ‫بناء‬ ‫وبالتالي‬ ‫است‬ ‫السمات‬ ‫خالص‬ ‫بدالها‬ ‫الحاسوبية‬ ‫الرؤية‬ ‫مجاالت‬ ‫أهم‬ ‫أحد‬ ‫املرئية‬ ‫امللفات‬ ‫من‬ (Computer Vision) . ‫السابقة‬ ‫التقليدية‬ ‫الطرق‬ ‫من‬ ‫العديد‬ ‫يوجد‬ (Traditional Handcrafted Method) ‫تم‬ ‫التي‬ ‫عل‬ ‫املحافظة‬ ‫مع‬ ‫ات،‬ ‫امتر‬ ‫البار‬ ‫عدد‬ ‫تخفيض‬ ‫بعد‬ ‫وذلك‬ ‫وتصنيفها‬ ‫ممكن.‬ ‫خطأ‬ ‫وبأقل‬ ‫الدقة‬ ‫ى‬
	‫است‬ ‫خدامها‬ ‫معقدة‬ ‫الحركات‬ ‫من‬ ‫الكثير‬ ‫يتضمن‬ ‫الذي‬ ‫البشري‬ ‫السلوك‬ ‫تصنيف‬ ‫ال‬ ‫ست‬ ‫الد‬ ‫تعطي‬ ‫أن‬ ‫تستطع‬ ‫لم‬ ‫الطرق‬ ‫هذه‬ ‫لكن‬ ‫وتصنيفها،‬ ‫السلوكية‬ ‫السمات‬ ‫خالص‬ ‫في‬ ‫املطلوبة‬ ‫قة‬ ‫بسهولة.‬ ‫اكتشافها‬ ‫يصعب‬ ‫التي‬ ‫ظهور‬ ‫مع‬ ‫لكن‬ ‫العميقة‬ ‫العصبونية‬ ‫الشبكات‬ Deep Neural Network ‫و‬ ‫است‬ ‫خدامها‬ ‫في‬ ‫است‬ 5 -‫الدراسة‬ ‫أهمية‬ : ‫أن‬ ‫من‬ ‫اسة‬ ‫للدر‬ ‫العلمية‬ ‫االهمية‬ ‫تنبع‬ ‫في‬ ً ‫ا‬ ‫كثير‬ ‫سيساعد‬ ‫العصبية‬ ‫الطي‬ ‫شبكة‬ ‫في‬ ‫ات‬ ‫امتر‬ ‫البار‬ ‫عدد‬ ‫تخفيض‬ ‫البشرية،‬ ‫السلوكية‬ ‫السمات‬ ‫خالص‬ ‫است‬ ‫دقة‬ ‫في‬ ‫واضحة‬ ‫وزيادة‬ ً ‫ا‬ ‫كبير‬ ً ‫نجاحا‬ ‫تحقق‬ ‫أن‬ ‫طاعت‬ ‫التصنيف.‬ ‫العصبية‬ ‫الطي‬ ‫شبكات‬ ‫تعد‬ CNN ‫أنواع‬ ‫أهم‬ ‫أحد‬ ‫األمامية‬ ‫التغذية‬ ‫ذات‬ ‫العميقة‬ ‫العصبونية‬ ‫الشبكات‬ Feed Forward Neural Network ‫وكذلك‬ ‫الحسابي‬ ‫التعقيد‬ ‫تخفيض‬ ‫است‬ ‫باإل‬ ‫الذاكرة،‬ ‫هالك‬ ‫اضافة‬ ‫وهنا‬ ‫العصبونية.‬ ‫الشبكة‬ ‫في‬ ‫التدريب‬ ‫عملية‬ ‫تسريع‬ ‫إلى‬ ‫اال‬ ‫سيتم‬ ‫ست‬ ‫في‬ ‫ارية‬ ‫التكر‬ ‫الشبكات‬ ‫خصائص‬ ‫من‬ ً ‫أيضا‬ ‫فادة‬ ‫است‬ ‫ما‬ ‫وهو‬ ‫الحالية،‬ ‫املعالجة‬ ‫في‬ ‫السابقة‬ ‫املعلومات‬ ‫خدام‬ ‫املبدأ‬ ‫بنفس‬ ‫تعمل‬ ‫أنها‬ ‫حيث‬ ، ‫اإل‬ ‫دماغ‬ ‫في‬ ‫البصري‬ ‫الفص‬ ‫في‬ ‫به‬ ‫العمل‬ ‫يتم‬ ‫الذي‬ ‫سنسان‬ [10] ، ‫ك‬ ‫وقد‬ ‫انت‬ ‫الرؤية‬ ‫مجال‬ ‫في‬ ‫املشاكل‬ ‫من‬ ‫للعديد‬ ً ‫حال‬ ‫التصنيف.‬ ‫عملية‬ ‫في‬ ‫كبيرة‬ ‫دقة‬ ‫يعطي‬
	‫ال‬ 6 -‫من‬ ‫األخرى‬ ‫العصبية‬ ‫الشبكات‬ ‫من‬ ‫غيرها‬ ‫عن‬ ‫به‬ ‫تتميز‬ ‫ملا‬ ‫وذلك‬ ‫الفيديو،‬ ‫وملفات‬ ‫الصور‬ ‫معالجة‬ ‫من‬ ‫حاسوبية‬ ‫األول‬ ‫املبحث‬ -‫السابقة‬ ‫والدراسات‬ ‫النظري‬ ‫اإلطار‬
	‫خالل‬ ‫معينة‬ ‫وظيفة‬ ‫يؤدي‬ ‫منها‬ ‫كل‬ ‫طبقات‬ ‫عدة‬ ‫من‬ ‫العصبية‬ ‫الطي‬ ‫شبكات‬ ‫تتكون‬ ‫التصميمية.‬ ‫بنيتها‬ ‫في‬ ‫الخصائص‬
	‫بطيخ‬ ‫منير‬ ‫أحمد‬ ‫محمد‬ ‫نعال‬ ‫أيمن‬ ‫محمد‬ ‫ي‬ ‫بوش‬ ‫عامر‬ ‫وااللكترونية‬ ‫الكهربائية‬ ‫الهندسة‬ ‫كلية‬ || ‫حلب‬ ‫جامعة‬ ‫العصبية‬ ‫الطي‬ ‫شبكات‬ ‫في‬ ‫املوجودة‬ ‫ات‬ ‫امتر‬ ‫البار‬ ‫عدد‬ ‫تخفيض‬ ‫إلى‬ ‫البحث‬ ‫هذا‬ ‫عمل‬ || ‫سورية‬ ‫في‬ ‫األساسية‬ ‫املشكلة‬ ‫لكن‬ ‫وتصنيفها.‬ ‫السلوكية‬ ‫السمات‬ ‫خالص‬ ‫املساحة‬ ‫هو‬ ‫الشبكات‬ ‫من‬ ‫النوع‬ ‫هذا‬ ‫تتطلبها،‬ ‫التي‬ ‫الكبيرة‬ ‫الذاكرية‬ ‫املستخلص‬ : ‫عملية‬ ‫است‬ ‫باإل‬ ‫اضافة‬ ‫الشبكة‬ ‫تدريب‬ ‫خالل‬ 6 -1 ‫النظري‬ ‫اإلطار‬ : ً ‫وخصوصا‬ ‫الضخمة‬ ‫املعالجة‬ ‫عمليات‬ ‫من‬ ‫الكبير‬ ‫الكم‬ ‫إلى‬ ‫باإل‬ ‫العصبونية،‬ ‫اضافة‬ ‫وما‬ ‫الشبكة‬ ‫طبقات‬ ‫في‬ ‫املوزعة‬ ‫ات‬ ‫امتر‬ ‫البار‬ ‫من‬ ‫الضخم‬ ‫العدد‬ ‫إلى‬ ‫من‬ ‫تسببه‬ ‫است‬ 6 -1 -1 ‫الخفيفة‬ ‫األوزان‬ ‫ذات‬ ‫العصبية‬ ‫الطي‬ ‫شبكات‬ ‫مفهوم‬ LWCNN : ‫كبير‬ ‫هالك‬ ‫هذ‬ ‫ألن‬ ‫للذاكرة‬ ‫سنشأت‬ ‫خفيفة‬ ‫أوزان‬ ‫ذات‬ ‫عصبية‬ ‫طي‬ ‫شبكات‬ ‫بناء‬ ‫فكرة‬ (Light Weight Convolution Neural Network ‫املثال‬ ‫سبيل‬ ‫فعلى‬ ‫الشبكة.‬ ‫تدريب‬ ‫احل‬ ‫مر‬ ‫من‬ ‫مرحلة‬ ‫كل‬ ‫في‬ ‫دوري‬ ‫بشكل‬ ‫قيمها‬ ‫تتغير‬ ‫ات‬ ‫امتر‬ ‫البار‬ ‫ه‬ ‫شبكة‬ ALEX NET ‫التقليدية،‬ ‫بالطرق‬ ‫مقارنة‬ ‫والتصنيف‬ ‫التعرف‬ ‫دقة‬ ‫زيادة‬ ‫في‬ ً ‫ا‬ ‫كبير‬ ً ‫نجاحا‬ ‫حققت‬ ‫عصبية‬ ‫طي‬ ‫شبكة‬ ‫وا‬ ‫الشبكة‬ ‫في‬ ‫املوجودة‬ ‫ات‬ ‫امتر‬ ‫البار‬ ‫عدد‬ ‫في‬ ‫تكمن‬ ‫األساسية‬ ‫املشكلة‬ ‫لكن‬ ‫تبلغ‬ ‫لتي‬ 62, 378, 344 LWCNN) ‫املحمولة‬ ‫األجهزة‬ ‫على‬ ‫تعمل‬ ‫تطبيقات‬ ‫إسنشاء‬ ‫أجل‬ ‫من‬ (Mobile Devices) ‫الحاسب‬ ‫أجهزة‬ ‫على‬ ‫وكذلك‬ ‫تستخدم‬ ‫التي‬ ‫الحواسب‬ ‫مثل‬ ‫املوارد‬ ‫محدودة‬ CPU ‫من‬ ً ‫بدال‬ ‫است‬ ‫الرسوميات‬ ‫معالجة‬ ‫وحدة‬ ‫خدام‬ (Graphic ‫من‬ ‫أكثر‬ ‫يوجد‬ ‫والتي‬ 90% ‫شبكة‬ ‫كذلك‬ ‫التصنيف.‬ ‫عن‬ ‫املسؤولة‬ ‫األخيرة‬ ‫الطبقات‬ ‫في‬ ‫منها‬ VGG-19 ‫حوالي‬ ‫تحوي‬ 138 Processing Unit GPU) ‫يميز‬ ‫ما‬ ‫وأهم‬ . ‫است‬ ‫شبكات‬ ‫خدام‬ LWCNN ‫خالل‬ ‫من‬ ‫األداء‬ ‫في‬ ‫العالية‬ ‫الدقة‬ ‫على‬ ‫املحافظة‬ ‫هو‬ ‫امتر،‬ ‫بار‬ ‫مليون‬ ‫شبكة‬ ‫كذلك‬ Google Net ‫تمتلك‬ ‫التي‬ 7 ‫وشبكة‬ ‫امتر،‬ ‫بار‬ ‫مليون‬ ResNet ‫تحوي‬ ‫التي‬ 25 ‫امتر‬ ‫بار‬ ‫مليون‬ [1] ‫من‬ ‫افقه‬ ‫ير‬ ‫وما‬ ‫الشبكة،‬ ‫في‬ ‫املستخدمة‬ ‫الطبقات‬ ‫عدد‬ ‫في‬ ‫الكبير‬ ‫التخفيض‬ ‫إنقاص‬ ‫مما‬ ‫(األوزان)،‬ ‫ات‬ ‫امتر‬ ‫البار‬ ‫عدد‬ ‫في‬ . 2 -‫الدراسة‬ ‫مشكلة‬ : ‫تخف‬ ‫يعد‬ ‫التدريب‬ ‫عملية‬ ‫تسريع‬ ‫في‬ ‫زيا‬ ‫إلى‬ ‫يؤدي‬ ‫و‬ ‫السرعة‬ ‫في‬ ‫والزيادة‬ ‫التخزين،‬ ‫مساحة‬ ‫في‬ ‫دة‬ ‫إنقاص‬ ‫شبكات‬ ‫في‬ ‫املوجودة‬ ‫املعقدة‬ ‫الحسابات‬ CNN [3] ‫شبكات‬ ‫في‬ ‫الدقة‬ ‫زيادة‬ ‫أجل‬ ‫فمن‬ CNN ‫املطوية‬ ‫الطبقات‬ ً ‫وخاصة‬ ‫الشبكة‬ ‫طبقات‬ ‫عدد‬ ‫زيادة‬ ‫على‬ ‫العمل‬ ‫يجب‬ ً ‫جدا‬ ‫كبيرة‬ ‫أهمية‬ ‫ذو‬ ‫العصبونية‬ ‫الشبكة‬ ‫في‬ ‫ات‬ ‫امتر‬ ‫البار‬ ‫عدد‬ ‫يض‬ (Convolutional Layer) [14] ، ‫شبكة‬ ‫ففي‬ Alex Net ‫تم‬ ‫است‬ ‫خدام‬ 8 ‫الش‬ ‫في‬ ‫طبقات‬ ‫ب‬ ‫كة‬ ‫شبكة‬ ‫في‬ ‫الدقة‬ ‫زيادة‬ ‫تم‬ ‫ثم‬ ، (Convolution Neural Network CNN) ‫ال‬ ‫املستخدمة‬ ‫التقنيات‬ ‫أفضل‬ ‫من‬ ‫تعد‬ ‫التي‬ ‫ست‬ ‫املرئية‬ ‫امللفات‬ ‫في‬ ‫وتصنيفها‬ ‫السلوكية‬ ‫السمات‬ ‫خالص‬ (Videos) ‫الشبكات‬ ‫هذه‬ ‫تمتلك‬ ، ‫التصنيف،‬ ‫عن‬ ‫املسؤولة‬ ‫األخيرة‬ ‫الطبقات‬ ‫في‬ ‫وخاصة‬ ‫العميقة‬ ‫الطبقات‬ ‫في‬ ‫املوزعة‬ ‫ات‬ ‫امتر‬ ‫البار‬ ‫من‬ ً ‫جدا‬ ‫كبير‬ ‫وعدد‬ ً ‫جدا‬ ‫كبيرة‬ ‫احجام‬ ‫من‬ ‫والتخفيض‬ ‫است‬ ‫لذلك‬ ‫الذاكرة،‬ ‫هالك‬ ‫التالية‬ ‫التساؤالت‬ ‫في‬ ‫اسة‬ ‫الدر‬ ‫مشكلة‬ ‫صياغة‬ ‫يمكن‬ : 1 . ‫يمكن‬ ‫هل‬ ‫است‬ ‫أقل‬ ‫بعدد‬ ‫ولكن‬ ‫الدقة‬ ‫نفس‬ ‫وتعطي‬ ‫املهمة‬ ‫نفس‬ ‫تؤدي‬ ‫بشبكة‬ ‫العصبية‬ ‫املطوية‬ ‫الشبكة‬ ‫بدال‬ VGG ‫خالل‬ ‫من‬ ‫است‬ ‫خدام‬ 16 ‫شبكة‬ ‫وفي‬ ‫الشبكة،‬ ‫تصميم‬ ‫في‬ ‫طبقة‬ Google Net ‫تم‬ ‫است‬ ‫خدام‬ 22 ‫في‬ ‫أما‬ ‫طبقة،‬ ‫شبكة‬ Res Net ‫الدقة‬ ‫زيادة‬ ‫في‬ ‫ا‬ ‫كبير‬ ً ‫تجاحا‬ ‫حققت‬ ‫التي‬ ، ‫تم‬ ‫فقد‬ ‫است‬ ‫خدام‬ 152 ( ‫والشكل‬ ‫الشبكة.‬ ‫بنية‬ ‫في‬ ‫طبقة‬ 1 )
	‫الشبكة‬ ‫تدريب‬ ‫احل‬ ‫مر‬ ‫من‬ ‫مرحلة‬ ‫كل‬ ‫في‬ ‫قيمها‬ ‫تعديل‬ ‫يتم‬ ‫والتي‬ ‫خالل‬ ‫من‬ ‫وذلك‬ ‫ات‬ ‫امتر‬ ‫البار‬ ‫عدد‬ ‫تخفيض‬ ‫إلى‬ ‫البحث‬ ‫هذا‬ ‫خالل‬ ‫من‬ ‫العمل‬ ‫تم‬ . ‫يسبب‬ ‫ما‬ ‫وهو‬ ‫است‬ ‫كبيرة‬ ‫ذاكرية‬ ‫مساحة‬ ‫إلى‬ ‫والحاجة‬ ‫للذاكرة‬ ‫كبير‬ ‫هالك‬ ً ‫جدا‬ ‫است‬ ‫م‬ ‫شبكة‬ ‫بنية‬ ‫يوضح‬ ‫التالي‬ Alex Net ‫إ‬ ‫الطي‬ ‫طبقات‬ ‫من‬ ‫لها،‬ ‫املكونة‬ ‫الطبقات‬ ‫مع‬ ‫العصبية‬ ‫الطي‬ ‫شبكات‬ ‫حدى‬ ‫ات.‬ ‫امتر‬ ‫البار‬ ‫ن‬ ‫االوزان‬ ‫ذات‬ ‫العصبية‬ ‫الطي‬ ‫شبكات‬ ‫خدام‬ ‫الخمسة‬ ، ‫التجميع‬ ‫طبقات‬ ‫من‬ ‫يتبعها‬ ‫وما‬ (Max Pooling) ‫اال‬ ‫وطبقات‬ ‫رت‬ ‫الثالث‬ ‫الكلي‬ ‫باط‬ (Dense Layer) [9] .
											‫بوشي‬ ‫بوشي‬	‫نعال‬ , ‫نعال‬ ,	‫بطيخ‬ , ‫بطيخ‬ ,

‫تخفيض‬ ‫في‬ ‫التكرارية‬ ‫العصبونية‬ ‫الشبكات‬ ‫أداء‬ ‫مقارنة‬ ‫العصبية‬ ‫التالفيف‬ ‫لشبكات‬ ‫التدريب‬ ‫بارامترات‬ ( 2 ) ‫تخفيض‬ ‫في‬ ‫التكرارية‬ ‫العصبونية‬ ‫الشبكات‬ ‫أداء‬ ‫مقارنة‬ ‫العصبية‬ ‫التالفيف‬ ‫لشبكات‬ ‫التدريب‬ ‫بارامترات‬ ( 3 ) ‫األبحاث‬ ‫ونشر‬ 
‫للعلوم‬ ‫العربية‬ ‫المجلة‬ ‫ــ‬ ‫المعلومات‬ ‫وتكنولوجيا‬ ‫الهندسية‬ ‫العلوم‬ ‫مجلة‬ ‫ــ‬ ‫المجلد‬ ‫ال‬ ‫سادس‬ ‫ــ‬ ‫العدد‬ ‫األ‬ ‫ول‬ ‫ــ‬ ‫مارس‬ 22 20 ‫م‬ ‫تخفيض‬ ‫في‬ ‫التكرارية‬ ‫العصبونية‬ ‫الشبكات‬ ‫أداء‬ ‫مقارنة‬ ‫العصبية‬ ‫التالفيف‬ ‫لشبكات‬ ‫التدريب‬ ‫بارامترات‬ ( 4 )

  ‫تماما‬ ‫مستقل‬ ‫الدخل‬ ‫يكون‬ ‫حيث‬ ‫املطوية‬ ‫وهي‬ ‫هامة‬ ‫ميزة‬ ‫ارية‬ ‫التكر‬ ‫الشبكات‬ ‫تمتلك‬ ‫كما‬ ‫الحالية.‬ ‫للمرحلة‬ ‫كدخل‬ ‫السابقة‬ ‫املرحلة‬ ‫من‬ ‫الناتج‬ ‫الخرج‬ ‫تستخدم‬ ‫مع‬ ‫مناسب‬ ‫بشكل‬ ‫الشبكة‬ ‫طبقات‬ ‫ربط‬ ‫إعادة‬ ‫ثم‬ ‫ومن‬ ‫العناصر‬ ‫هذه‬ ‫حذف‬ ‫يجب‬ ‫لذلك‬ . ‫أما‬ ‫معين.‬ ‫مجال‬ ‫اضمن‬ ‫الخرج‬ ‫قيم‬ ‫اضبط‬ ‫أجل‬ ‫من‬ ‫طي‬ ‫طبقة‬ ‫كل‬ ‫بعد‬ 


	22 20 ‫م‬ 22 20 ‫م‬	‫مارس‬ ‫مارس‬	‫ــ‬ ‫ــ‬	‫األ‬ ‫ول‬ ‫األ‬ ‫ول‬	‫العدد‬ ‫العدد‬	‫ــ‬ ‫ــ‬	‫ال‬ ‫سادس‬ ‫ال‬ ‫سادس‬	‫المجلد‬ ‫المجلد‬	‫ــ‬ ‫ــ‬	‫المعلومات‬ ‫وتكنولوجيا‬ ‫الهندسية‬ ‫العلوم‬ ‫مجلة‬ ‫المعلومات‬ ‫وتكنولوجيا‬ ‫الهندسية‬ ‫العلوم‬ ‫مجلة‬	‫ــ‬ ‫ــ‬	‫األبحاث‬ ‫ونشر‬ ‫للعلوم‬ ‫العربية‬ ‫المجلة‬ ‫األبحاث‬ ‫ونشر‬ ‫للعلوم‬ ‫العربية‬ ‫المجلة‬
	(Gated Recurrent Unit GRU) Jha Debesh ‫وآخرون‬ [6] ‫في‬ ‫تعتمد‬ ‫عصبية‬ ‫طي‬ ‫شبكة‬ ‫ببناء‬ ‫اسة‬ ‫الدر‬ ‫هذه‬ ‫في‬ ‫الباحثون‬ ‫قام‬ ‫حيث‬ :	‫شبكة‬ ‫اسة‬ ‫در‬	2 1 . -
	‫شبكة‬ ‫إصدار‬ ‫تم‬ ‫طبقات‬ ‫على‬ ‫تصميمها‬ GRU ‫مسبقا‬ ‫مدرب‬ ‫نموذج‬ ‫على‬ ‫االعتماد‬ ‫وبدون‬ ‫خفيفة‬ ‫عام‬ ‫في‬ 2014 ‫إصد‬ ‫أحدث‬ ‫أحد‬ ‫وتعتبر‬ ‫ار‬ ‫ا‬ ‫ت‬ ‫ارية‬ ‫التكر‬ ‫الشبكات‬ (Transfer Learning) RNN ‫في‬ ‫مشابهة‬ ‫وهي‬ ‫تم‬ ‫حيث‬ .
	(pooling	‫تجميع‬ ‫وطبقة‬ ،	3x3	‫أبعاده‬ ‫مرشح‬ ‫تستخدم‬ ‫أي‬	‫لشبكة‬ ‫عملها‬ ‫مبدأ‬ ‫است‬ ‫طي‬ ‫طبقة‬ ‫خدام‬ LSTM ‫فقط‬ ‫بوابتين‬ ‫تحوي‬ ‫لكنها‬ . (Convolution Layer) 3x3
	‫لبوابة‬ ‫مشابه‬ ‫بشكل‬ ‫تعمل‬ 2x2 ‫وطبقة‬ ‫ارت‬ ‫كلي‬ ‫باط‬ Dense layer (Input+ Forget) ‫ثالث‬ ‫استخدام‬ ‫تم‬ ‫وقد‬ . ‫في‬ LSTM ، ‫املعلومات‬ ‫تحدد‬ ‫حيث‬ ‫هذه‬ ‫من‬ ‫بلوكات‬	‫التعديل‬ ‫بوابة‬ Layer) ‫نوع‬ ‫من‬ Update Gate : Max Pooling	1 .
	‫السابقة.‬ ‫املرحلة‬ ‫من‬ ‫املحفوظة‬ ‫واملعلومات‬ ‫الحالية‬ ‫املرحلة‬ ‫في‬ ‫املضافة‬ ‫الطب‬ ‫النوع‬ ‫هذا‬ ‫يميز‬ ‫ما‬ ‫املطوية.‬ ‫الشبكة‬ ‫تصميم‬ ‫في‬ ‫قات‬ ‫هو‬ ‫است‬ ‫القياسية‬ ‫الطبقة‬ ‫عن‬ ‫مختلفة‬ ‫طي‬ ‫طبقة‬ ‫خدام‬
	‫التصفير‬ ‫بوابة‬ ‫تم‬ ‫حيث‬ ‫است‬ ‫تضم‬ ‫طي‬ ‫طبقة‬ ‫خدام‬ Reset Gate : ‫السابقة‬ ‫املرحلة‬ ‫من‬ ‫املحذوفة‬ ‫املعلومات‬ ‫تحديد‬ ‫عن‬ ‫مسؤولة‬ ‫من‬ ‫كال‬ (Depthwise Spatial Convolution DW) [4] . ‫كل‬ ‫فيها‬ ‫يكون‬ ‫التي‬ ،	2 .
	(Pointwise	‫خدام‬	‫است‬	‫الشكل(‬ 1 ‫شبكة‬ ‫طبقات‬ ) ‫شبكة‬ ‫وبوابات‬ ‫بنية‬ ‫يوضح‬ ) GRU [12] . Kernel ‫والشكل‬ ( 3 ‫مرشح‬ ‫ميزة‬ ‫عن‬ ‫مسؤول‬ Feature ‫سيتم‬ ‫ثم‬ ‫ومن‬ ‫الدخل،‬ ‫من‬ ‫واحدة‬ Alex Net
	‫لكن‬	‫واالوزان‬ ‫ات‬ ‫امتر‬ ‫البار‬ ‫عدد‬ ‫في‬ ‫ال‬ ‫ز‬ .	‫اخت‬	DW ‫تم‬ ‫قد‬ ‫يكون‬ ‫وبالتالي‬ .	‫من‬ ‫الناتج‬ ‫الخرج‬ ‫على‬	Convolution 1x1)
	‫التكرارية‬ ‫العصبية‬ ‫الشبكات‬ ‫مفهوم‬ ‫العصبية‬ ‫الشبكات‬ ‫عكس‬ ‫على‬ ‫اال‬ ‫طبقة‬ ‫مشكلة‬ ‫تبقى‬ ‫رت‬ ‫فيها‬ ‫يتم‬ ‫التي‬ ‫الكلي‬ ‫باط‬ RNN : ‫اسة‬ ‫در‬ Dai Dawei ‫وآخرون‬ [2] ‫أ‬ ‫من‬ ‫الباحثون‬ ‫قام‬ ‫حيث‬ ‫ارت‬ ‫السابقة.‬ ‫الطبقة‬ ‫من‬ ‫العصبونات‬ ‫بجميع‬ ‫عصبون‬ ‫كل‬ ‫باط‬ ‫ارية‬ ‫التكر‬ ‫الشبكات‬ ‫فإن‬ ‫الخرج،‬ ‫عن‬ ً ‫في‬ ‫ات‬ ‫امتر‬ ‫البار‬ ‫عدد‬ ‫تخفيض‬ ‫جل‬ ‫بتطبيق‬ ‫البحث‬ ‫هذا‬ ( ‫األوزان‬ ‫نفس‬ ‫ا‬ ‫امتر‬ ‫البار‬ ‫ت‬ ‫الكتلة‬ ‫نفس‬ ‫في‬ ‫املوجودة‬ ‫املتشابهة‬ ‫املطوية‬ ‫الطبقات‬ ‫على‬ ‫واحدة‬ ‫مرة‬ ) (Block) ً ‫بدال‬ ،	-1 2 . -2	6
	‫أحد‬ ‫وهي‬	ResNet	‫شبكة‬ ‫على‬	‫اسة‬ ‫الدر‬ ‫هذه‬ ‫تطبيق‬ ‫تم‬ ‫لوحدها.‬ ‫طي‬ ‫طبقة‬ ‫كل‬ ‫على‬ ‫ات‬ ‫امتر‬ ‫البار‬ ‫تطبيق‬ ‫من‬
	‫من‬ ‫كتلة‬ ‫كل‬ ‫في‬ ‫املدربة‬ ‫ات‬ ‫امتر‬ ‫البار‬ ‫من‬ ‫طبقة‬	34	‫إلى‬	‫باإل‬ ‫طبقة،‬ ‫اضافة‬	152	‫تضم‬ ‫التي‬ ‫عصبية‬	‫ال‬ ‫املطوية‬ ‫الشبكات‬
	‫هذه‬ ‫في‬ ‫التركيز‬ ‫تم‬ ‫الدقة.‬ ‫على‬ ‫املحافظة‬ ‫مع‬ ‫الكلي‬ ‫العدد‬ ‫من‬ ‫الثلث‬ ‫بمقدار‬ ‫ات‬ ‫امتر‬ ‫البار‬	‫إنقاص‬	‫تم‬ ‫وقد‬ ‫الشبكة.‬
	‫في‬ ‫ات‬ ‫امتر‬ ‫البار‬ ‫عدد‬ ‫خفيض‬	‫ت‬ ‫على‬ ‫العمل‬ ‫أي‬ ‫فقط،‬ ‫املطوية‬ ‫الطبقات‬ ‫في‬ ‫املوجودة‬ ‫ات‬ ‫امتر‬ ‫البار‬ ‫على‬ ‫اسة‬ ‫الدر‬
	‫باط‬	‫الشكل(‬ 3 ‫شبكة‬ ‫بنية‬ ) ‫اال‬ ‫طبقات‬ ‫في‬ ‫موجود‬ ‫يكون‬ ‫ات‬ ‫امتر‬ ‫البار‬ ‫من‬ ‫األكبر‬ ‫العدد‬ ‫أن‬ ‫رغم‬ ‫فقط،‬ GRU ‫رت‬	‫الشبكة‬ ‫من‬ ‫املطوية‬ ‫الطبقات‬
													‫العصبية.‬ ‫الطي‬ ‫شبكات‬ ‫في‬ ‫الكلي‬
	6 ‫باإل‬ -2 3 . ‫اضافة‬ ‫السابقة‬ ‫اسات‬ ‫الدر‬ ‫اسة‬ ‫در‬ Qiangui Huang ‫شبكة‬ ‫في‬ ‫األوزان‬ ‫قيم‬ ‫اسنعدام‬ ‫مشكلة‬ ‫حل‬ ‫تم‬ ‫فإنه‬ ‫ذلك‬ ‫إلى‬ ‫وآخرون‬ [5] ‫خوارزمية‬ ‫بإسنشاء‬ ‫الباحثون‬ ‫قام‬ ‫حيث‬ ّ ‫بالتعل‬ ‫البوابات‬ ‫قوم‬ RNN ‫التدريب‬ ‫عملية‬ ‫خالل‬ ("Try and Learn") [12] . ‫النموذج‬ ‫في‬ ‫مهمة‬ ‫غير‬ ‫ات)‬ ‫امتر‬ ‫(البار‬ ‫األوزان‬ ‫بعض‬ ‫هناك‬ ‫أن‬ ‫نالحظ‬ ‫العصبية‬ ‫املطوية‬ ‫الشبكة‬ ‫تدريب‬ ‫بعد‬ ‫بغية‬ ‫وذلك‬ ‫درب‬ ‫إنقاص‬ ‫جودة‬ ‫على‬ ‫املحافظة‬ ‫مع‬ ‫الشبكة‬ ‫طبقات‬ ‫في‬ ‫الضرورية‬ ‫غير‬ ‫املرشحات‬ ‫حذف‬ ‫خالل‬ ‫من‬ ‫الشبكة‬ ‫حجم‬ ّ ‫امل‬ (Trained Model) ‫ولتكن‬ ‫الشبكة‬ ‫من‬ ‫معينة‬ ‫طي‬ ‫طبقة‬ ‫في‬ ‫املرشحات‬ ‫مجموعات‬ ‫لدينا‬ ‫كان‬ ‫فإذا‬ ‫األداء.‬ /L/ ‫تكون‬ ‫حيث‬ ‫مثال،‬ ‫على‬
	‫أهمية‬ ‫لتحديد‬ ‫ائية‬	‫شبكة‬ ‫تحتوي‬ ‫اضرورة‬ ‫على‬ ‫التأكيد‬ ‫است‬ LSTM ‫النموذج.‬ ‫خالل‬ ‫صحيح‬ ‫بشكل‬ ‫املعلومات‬ ‫تدفق‬ ‫ار‬ ‫مر‬ ‫رئيسية‬ ‫بوابات‬ ‫ثالث‬ : ‫التالي‬ ‫الشكل‬ : WL= { WL1, WL2, WL3, ………, WLN} ، ‫الثن‬ ‫القيم‬ ‫من‬ ‫مجموعة‬ ‫تنظيم‬ ‫ويتم‬
	‫اإلدخال‬ ‫بوابة‬ ‫ال‬ ‫يوجد‬ ‫التي‬ ‫السابقة‬ ‫اسات‬ ‫الدر‬ ‫من‬ ‫عديد‬ Input Gate : ‫تحديد‬ ‫عن‬ ‫مسؤولة‬ ‫هدف‬ ‫املضاف‬ ‫املعلومات‬ ‫ت‬ ‫إل‬ ‫نقاص‬ ‫يلي‬ ‫كما‬ ‫تصنيفها‬ ‫يمكن‬ ‫والتي‬ ‫الشبكة‬ ‫حجم‬ ‫الحالية‬ ‫املرحلة‬ ‫في‬ ‫ة‬ . ‫يلي‬ ‫كما‬ ‫أهميته‬ ‫عدم‬ ‫أو‬ ‫املرشح‬ AL= { aL1, aL2, aL3, ………, aLN} ‫قيم‬ ‫تكون‬ ‫حيث‬ a / 0 ‫أو‬ / / 1 ‫ك‬ ‫فإذا‬ ،/ [13] : ‫انت‬	1 .
	‫النسيان‬ ‫بوابة‬ ‫على‬ ‫املعتمدة‬ ‫الطرق‬ Forget Gate : ‫إنقاص‬ ‫السابقة.‬ ‫املرحلة‬ ‫من‬ ‫املحفوظة‬ ‫املعلومات‬ ‫تحديد‬ ‫عن‬ ‫مسؤولة‬ ‫الشبكة‬ ‫حجم‬ : ‫على‬ ‫واألوزان‬ ‫العصبونات‬ ‫حذف‬ ‫تأثير‬ ‫اسة‬ ‫در‬ ‫خالل‬ ‫من‬ ‫وذلك‬ ‫قيمة‬ aLi= 0 ‫ك‬ ‫إذا‬ ‫أما‬ ‫حذفه،‬ ‫يتم‬ ‫وبالتالي‬ ‫مهم‬ ‫غير‬ ‫املرشح‬ ‫أن‬ ‫يعني‬ ‫فهذا‬ ‫انت‬ ‫قيمة‬ aLi= 1 ‫املرشح‬ ‫أن‬ ‫يعني‬ ‫فهذا‬	2 . 1 -
	‫الخرج‬ ‫بوابة‬ ‫ح‬ ‫يتم‬ ‫حيث‬ ‫لها،‬ ‫التالية‬ ‫الطبقة‬ Output Gate : ‫إلى‬ ‫الحالية‬ ‫املرحلة‬ ‫من‬ ‫املطلوبة‬ ‫من‬ ‫املعلومات‬ ‫تحديد‬ ‫عن‬ ‫مسؤولة‬ ‫الدقة.‬ ‫جودة‬ ‫على‬ ‫تؤثر‬ ‫ال‬ ‫والتي‬ ‫األقل‬ ‫التأثير‬ ‫ذات‬ ‫االوزان‬ ‫ذف‬ ‫اال‬ ‫ويتم‬ ‫مهم‬ ‫حت‬ ‫التقييم‬ ‫ثم‬ ‫ومن‬ ‫التجريب‬ ‫على‬ ‫تعتمد‬ ‫أنها‬ ‫الطريقة‬ ‫هذه‬ ‫في‬ ‫األساسية‬ ‫املشكلة‬ ‫لكن‬ ‫به.‬ ‫فاظ‬ ‫التالية.‬ ‫املرحلة‬	3 .
	‫والشكل‬ ‫والتجميع‬ ‫التشابه‬ ‫على‬ ‫املعتمدة‬ ‫الطرق‬ ( 2 ‫شبكة‬ ‫بنية‬ ‫يوضح‬ ) LSTM : ‫تم‬ ‫التي‬ ‫املرشحات‬ ‫ملجموعة‬ ‫است‬ ‫في‬ ‫خدامها‬ ‫الثالثة‬ ‫وبواباتها‬ ‫تؤثر‬ ‫وال‬ ‫فائضة‬ ‫تكون‬ ‫والتي‬ ‫واملكررة‬ ‫املتشابهة‬ ‫األوزان‬ ‫حذف‬ ‫يتم‬ ‫حيث‬ [12] . ‫است‬ ‫السمات.‬ ‫خالص‬	-	2
													‫حذفها.‬ ‫حال‬ ‫في‬ ‫الدقة‬ ‫على‬
	‫الب‬ ‫مصفوفة‬ ‫تقسيم‬ ‫على‬ ‫تعتمد‬ ‫والتي‬ ‫مصفوفتين‬ ‫ناتج‬ ‫إلى‬ ‫ات‬ ‫امتر‬ ‫ار‬	‫ات‬ ‫امتر‬ ‫البار‬ ‫مصفوفة‬ ‫على‬ ‫املعتمدة‬ ‫الطرق‬ : ‫الثاني‬ ‫املبحث‬ -‫ائقه‬ ‫وطر‬ ‫البحث‬ ‫مواد‬	3 7 --
	‫الشكل(‬ 2 ‫شبكة‬ ‫بنية‬ ) ‫األكبر.‬ ‫الوزن‬ ‫مصفوفة‬ ‫من‬ ‫كفاءة‬ ‫أكثر‬ ‫بشكل‬ ‫مكافئة‬ ‫وظيفة‬ LSTM (Quantitzation) ‫ألداء‬ ‫التكميم‬ ‫على‬ ‫املعتمدة‬ ‫الطرق‬ ‫أصغر‬ ، ‫يمكن‬ ‫است‬ ‫خدامهم‬ : ‫صحيحة‬ ‫قيم‬ ‫إلى‬ ‫األوزان‬ ‫تحويل‬ ‫يتم‬ ‫حيث‬ ‫املطوية‬ ‫العصبية‬ ‫بالشبكة‬ ‫يف‬ ‫التعر‬ ‫يتم‬ ‫أن‬ ‫يجب‬ ‫املقترحة‬ ‫بالطريقة‬ ‫البدء‬ ‫قبل‬ ‫ب‬ ‫في‬ ‫املستخدمة‬ (integer) ‫حثنا.‬ ‫العائمة‬ ‫الفاصلة‬ ‫بصيغة‬ ‫تكون‬ ‫التي‬ ‫األساسية‬ ‫القيم‬ (floating point) ‫إلى‬ ‫سيؤدي‬ ‫ما‬ ‫وهذا‬ ‫است‬ ‫شبكة‬ Alex Net: ‫أقل‬ ‫هالك‬ ‫من‬ ً ‫بدال‬ ‫عام‬ ‫الشبكة‬ ‫هذه‬ ‫طرح‬ ‫تم‬ 2012 ‫الباحث‬ ‫قبل‬ ‫من‬ Alex Krizhersky ‫وزمالءه‬ [8] ‫ك‬ ‫وقد‬ ، ‫انت‬ ‫شبكة‬ ‫أول‬ ‫أسرع.‬ ‫بشكل‬ ‫تتم‬ ‫والحسابات‬ ‫للذاكرة‬ ‫التصميم‬ ‫على‬ ‫املعتمدة‬ ‫الطرق‬ : ‫خالل‬ ‫من‬ ‫وذلك‬ ‫است‬ ‫املجال.‬ ‫هذا‬ ‫في‬ ‫املستخدمة‬ ‫السابقة‬ ‫التقليدية‬ ‫بالطرق‬ ‫مقارنة‬ ‫والتصنيف‬ ‫التعرف‬ ‫في‬ ‫كبيرة‬ ‫دقة‬ ‫تعطي‬ ‫مطوية‬ ‫عصبية‬ 4 -7 -1 5 -‫عصبونية‬ ‫شبكة‬ ‫لبناء‬ ‫الذكية‬ ‫والطرق‬ ‫الخوارزميات‬ ‫خدام‬ ‫على‬ ‫موزعة‬ ‫طبقات‬ ‫ثماسني‬ ‫الشبكة‬ ‫هذه‬ ‫تتضمن‬ ‫التالي‬ ‫الشكل‬ : ‫طي‬ ‫طبقات‬ ‫خمس‬ (Convolution Layer) ، ‫تكون‬ ‫القياسية.‬ ‫للشبكات‬ ‫األداء‬ ‫جودة‬ ‫وبنفس‬ ‫خفيفة‬ ‫طبقاتها‬ ‫تكون‬ 6 -‫الهجينة‬ ‫الطرق‬ (Hybrid) : ‫الت‬ ‫إل‬ ‫العصبية‬ ‫الشبكة‬ ‫بناء‬ ‫في‬ ‫طريقة‬ ‫من‬ ‫أكثر‬ ‫دمج‬ ‫على‬ ‫تعتمد‬ ‫ي‬ ‫نقاص‬ ‫تجميع‬ ‫بطبقة‬ ‫متبوعة‬ ‫واألخيرة‬ ‫االولى‬ ‫املطوية‬ ‫الطبقة‬ (Pooling Layer) ‫تابع‬ ‫تطبيق‬ ‫يتم‬ (Max) ‫خاللها.‬ ‫من‬ ‫يتم‬ ‫كذلك‬ ‫عدد‬ ‫فيها.‬ ‫ات‬ ‫امتر‬ ‫البار‬ ‫تم‬ ‫وقد‬ ‫اخت‬ ‫ب‬ ‫تمت‬ ‫التي‬ ‫اسات‬ ‫الدر‬ ‫بعض‬ ‫يار‬ ‫است‬ ‫ومنها‬ ‫السابقة‬ ‫الطرق‬ ‫خدام‬ : ‫است‬ ‫طبقة‬ ‫خدام‬ (Batch Normalization BN)
		‫تخفيض‬ ‫في‬ ‫التكرارية‬ ‫العصبونية‬ ‫الشبكات‬ ‫أداء‬ ‫مقارنة‬ ‫العصبية‬ ‫التالفيف‬ ‫لشبكات‬ ‫التدريب‬ ‫بارامترات‬ ‫تخفيض‬ ‫في‬ ‫التكرارية‬ ‫العصبونية‬ ‫الشبكات‬ ‫أداء‬ ‫مقارنة‬ ‫العصبية‬ ‫التالفيف‬ ‫لشبكات‬ ‫التدريب‬ ‫بارامترات‬	) )	5 6	( (	‫بوشي‬ ‫بوشي‬ ‫بوشي‬	‫نعال‬ , ‫نعال‬ , ‫نعال‬ ,	‫بطيخ‬ , ‫بطيخ‬ , ‫بطيخ‬ ,

‫ذا‬ ‫ارية‬ ‫التكر‬ ‫الشبكات‬ ‫تمتلك‬ ‫الخرج.‬ ‫أو‬ ‫الدخل‬ ‫ات‬ ‫إطار‬ ‫في‬ ‫سواء‬ ‫ابط‬ ‫التر‬ ‫في‬ ‫تبع‬ ُ ‫امل‬ ‫التسلسل‬ ‫ال‬ ‫بحيث‬ ‫املدى‬ ‫قصيرة‬ ‫كرة‬ ‫الدخل‬ ‫ات‬ ‫اطار‬ ‫بين‬ ‫الطويلة‬ ‫االعتمادية‬ ‫معالجة‬ ‫تستطيع‬ [11] . ‫تم‬ ‫الفيديو‬ ‫ملفات‬ ‫في‬ ً ‫وخصوصا‬ ‫املشكلة‬ ‫هذه‬ ‫ولحل‬ ‫خالل‬ ‫معينة‬ ‫حركة‬ ‫الى‬ ‫للوصول‬ ‫ات‬ ‫اإلطار‬ ‫من‬ ‫املستخرجة‬ ‫السمات‬ ‫لربط‬ ‫كبير‬ ‫زمني‬ ‫مجال‬ ‫ذات‬ ‫ارية‬ ‫تكر‬ ‫شبكات‬ ‫إسنشاء‬ ‫الزمن‬ [7] ‫أهمها‬ ‫ومن‬ : 1 -‫شبكة‬ (Long Short Term Memory LSTM) : ‫ارية‬ ‫التكر‬ ‫الشبكة‬ ‫في‬ RNN ‫طويلة‬ ‫زمنية‬ ‫ملدة‬ ‫املعلومات‬ ‫حفظ‬ ‫يتم‬ ‫ال‬ ، ‫معلومات‬ ‫اضياع‬ ‫يتم‬ ‫أن‬ ‫يمكن‬ ‫حيث‬ ‫شبكة‬ ‫في‬ ‫أما‬ ‫التصنيف.‬ ‫في‬ ‫خطأ‬ ‫سينتج‬ ‫وبالتالي‬ ‫للحركة‬ ‫مهمة‬ LSTM ‫بتنظيم‬ ‫تقوم‬ ‫التي‬ ‫بالبوابات‬ ‫يسمى‬ ‫ما‬ ‫تحوي‬ ‫فهي‬ ‫ت‬ ‫التدريب‬ ‫وأثناء‬ ‫املعلومات،‬ ‫تدفق‬ ‫حذفها.‬ ‫يجب‬ ‫التي‬ ‫واملعلومات‬ ‫املهمة‬ ‫املعلومات‬ ‫وحفظ‬ ‫م‬ 
 13-Vaderal, S., Ameen, S., (2020), " Methods for Pruning Deep Neural Networks", university of Salford, Salford M5 4WT, Greater Manchester. 14-Zhou, Y., Chen, S., (2020), "Review of research on lightweight convolution neural network", Naval university of engineering, Wuhan, China, 2020 IEEE 5th Information Technology and Mechatronics Engineering Conference.
Comparison The Performance of The Recurrent Neural Network in Reducing Training Parameters for Convolution Neural Network: مقارنة أداء الشبكات العصبونية التكرارية في تخفيض بارامترات التدريب لشبكات التلافيف العصبية