عصبی نیٹ ورکس میں کلاسک سگمائیڈ فنکشن پر ReLU ایکٹیویشن فنکشن استعمال کرنے کے کیا فوائد ہیں؟
-
1. تدریجی ختم ہونے کا مسئلہ: سگمائیڈ فنکشن کے مشتق کی زیادہ سے زیادہ قیمت 0.25 ہے، جس کے نتیجے میں بیک پروپیگیشن کے دوران کل میلان بہت چھوٹا ہو سکتا ہے۔ اس کے برعکس مثبت آدانوں کے لیے ReLU میں مستقل میلان 1 ہے۔  2. کمپیوٹ کی کارکردگی: ReLU کی گنتی max(0, x) کا استعمال کرتے ہوئے کی جا سکتی ہے، جو سگمائیڈ فنکشن میں ایکسپونینشل آپریشنز سے زیادہ موثر ہے۔  3. کنورجینس کی رفتار: یہ بھی اطلاع دی گئی ہے کہ ReLU کو نیورل نیٹ ورکس میں ایکٹیویشن فنکشن کے طور پر استعمال کرنے سے سگمائیڈ فنکشن استعمال کرنے سے زیادہ تیزی سے کنورجنس ہوتا ہے۔