ما هي فوائد استخدام وظيفة تنشيط ReLU على وظيفة السيغمويد الكلاسيكية في الشبكات العصبية؟
1. مشكلة اختفاء التدرج: القيمة القصوى للمشتقة من الدالة السيغموية هي 0.25، والتي يمكن أن تؤدي إلى أن تصبح التدرجات الإجمالية صغيرة جداً أثناء الانتشار الخلفي. على النقيض من ذلك ، لدى ReLU تدرج ثابت 1 للمدخلات الإيجابية. 2. كفاءة الحساب: يمكن حساب ReLU باستخدام max ((0) ، x) ، أكثر كفاءة من العمليات الأسية في الدالة السيغموية. 3. سرعة التقارب: تم الإبلاغ أيضًا عن أن استخدام ReLU كدالة تنشيط في الشبكات العصبية يتقارب أسرع من استخدام الدالة السيغموية.