Backpropagation
مشین لرننگ الگورتھم کے طور پر، بیک پروپیگنڈا نیورل نیٹ ورک ماڈل کے پیرامیٹرز کو ایڈجسٹ کرنے کے لیے بیکورڈ پاس انجام دیتا ہے، جس کا مقصد مین اسکوائرڈ ایرر (ایم ایس ای) کو کم کرنا ہے۔ ملٹی لیئرڈ نیٹ ورک میں، بیک پروپیگیشن مندرجہ ذیل مراحل کا استعمال کرتا ہے: ماڈل کے ذریعے تربیتی ڈیٹا کو ان پٹ سے پیش گوئی شدہ آؤٹ پٹ تک مسلسل پوشیدہ تہوں کے آؤٹ پٹ اور آخر میں آخری پرت کے آؤٹ پٹ (فیڈ فارورڈ مرحلہ) کا حساب لگا کر پھیلائیں۔ وزن سے متعلق غلطی کو کم کرنے کے لیے ماڈل کے وزن کو ایڈجسٹ کریں۔ غلطی عام طور پر پیشن گوئی اور ہدف کے درمیان مربع فرق ہے۔ ہر وزن کے لیے، غلطی کا ڈھلوان یا مشتق پایا جاتا ہے، اور وزن کو اس مشتق کے منفی متعدد کے ذریعے ایڈجسٹ کیا جاتا ہے، تاکہ کم سے کم غلطی کی ترتیب کی طرف نیچے کی طرف جائے۔ اس مشتق کا حتمی پرت کے وزن کے لیے حساب لگانا آسان ہے، اور اگلی پرت کے مشتقات کو دیکھتے ہوئے ایک پرت کے لیے حساب لگانا ممکن ہے۔ آخر سے شروع کرتے ہوئے، پھر، مشتقات کا حساب شروع کی طرف پرت در پرت کیا جاتا ہے-اس طرح "بیک پروپیگنڈےشن"۔ بار بار وزن کو اپ ڈیٹ کریں جب تک کہ وہ یکجا نہ ہو جائیں یا ماڈل کافی تکرار سے گزر جائے۔ یہ ایسے نیٹ ورکس پر لیبنز چین رول (1673) کا ایک موثر اطلاق ہے۔ سیپو لنینما (1970) کی وجہ سے اسے خودکار تفریق یا ریورس جمع کرنے کے ریورس موڈ کے نام سے بھی جانا جاتا ہے۔ "بیک-پروپیگیٹنگ ایرر کریکشن" کی اصطلاح 1962 میں فرینک روزن بلیٹ نے متعارف کرائی تھی، لیکن وہ نہیں جانتے تھے کہ اسے کیسے لاگو کیا جائے، حالانکہ ہنری جے کیلی کے پاس کنٹرول تھیوری کے تناظر میں پہلے سے ہی 1960 میں بیک پروپیگیشن کا مسلسل پیش خیمہ تھا۔ بیک پروپیگنڈےشن ایک واحد ان پٹ آؤٹ پٹ مثال کے لیے نیٹ ورک کے وزن کے حوالے سے نقصان فنکشن کے میلان کا حساب لگاتا ہے، اور ایسا مؤثر طریقے سے کرتا ہے، ایک وقت میں میلان کی ایک پرت کا حساب لگاتا ہے، سلسلہ اصول میں انٹرمیڈیٹ اصطلاحات کے بے کار حسابات سے بچنے کے لیے آخری پرت سے پیچھے کی طرف دہراتا ہے۔ یہ متحرک پروگرامنگ کے ذریعے حاصل کیا جا سکتا ہے۔ گریڈیئنٹ ڈیسنٹ، یا مختلف اقسام جیسے سٹوچسٹک گریڈیئنٹ ڈیسنٹ، عام طور پر استعمال ہوتے ہیں۔ سختی سے اصطلاح بیک پروپیگیشن سے مراد صرف میلان کی گنتی کے لیے الگورتھم ہے، یہ نہیں کہ میلان کو کس طرح استعمال کیا جاتا ہے۔ لیکن یہ اصطلاح اکثر پورے سیکھنے کے الگورتھم کا حوالہ دینے کے لیے ڈھیلی طور پر استعمال کی جاتی ہے-بشمول میلان کو کس طرح استعمال کیا جاتا ہے، جیسے کہ سٹوچسٹک میلان نزول۔ 1986 میں ڈیوڈ ای رومیلہارٹ اور دیگر۔ اس تکنیک کا ایک تجرباتی تجزیہ شائع کیا۔ اس نے بیک پروپیگیشن کو مقبول بنانے میں اہم کردار ادا کیا اور ملٹی لیئر پرسیپٹرون میں تحقیق کا ایک فعال دور شروع کرنے میں مدد کی۔ جائزہ بیک پروپیگنڈےشن نقصان کی تقریب کے حوالے سے فیڈ فارورڈ نیورل نیٹ ورک کے وزن کی جگہ میں میلان کا حساب لگاتا ہے۔ اشارہ کریں:: ان پٹ (خصوصیات کا ویکٹر): ٹارگٹ آؤٹ پٹ درجہ بندی کے لیے، آؤٹ پٹ کلاس امکانات کا ایک ویکٹر ہوگا (مثال کے طور پر،، اور ٹارگٹ آؤٹ پٹ ایک مخصوص کلاس ہے، جسے ون ہاٹ/ڈمی متغیر (مثال کے طور پر،) کے ذریعے انکوڈ کیا جاتا ہے۔ : لاس فنکشن یا "لاگت فنکشن" درجہ بندی کے لیے، یہ عام طور پر کراس اینٹروپی (ایکس سی، لاگ لاس) ہوتا ہے، جبکہ رجعت کے لیے یہ عام طور پر اسکوائرڈ ایرر لاس (ایس ای ایل) ہوتا ہے۔ : تہوں کی تعداد: پرت میں-th نوڈ اور پرت میں-th نوڈ کے درمیان وزن کہاں ہے: پرت میں ایکٹیویشن افعال درجہ بندی کے لیے آخری پرت عام طور پر بائنری درجہ بندی کے لیے لاجسٹک فنکشن ہوتی ہے، اور ملٹی کلاس درجہ بندی کے لیے سافٹ میکس (سافٹ آرگ میکس)، جبکہ پوشیدہ تہوں کے لیے یہ روایتی طور پر ہر نوڈ (کوآرڈینیٹ) پر سگمائڈ فنکشن (لاجسٹک فنکشن یا دیگر) تھا، لیکن آج زیادہ متنوع ہے، جس میں ریکٹیفائر (ریمپ، ری ایل یو) عام ہے۔ : پرت میں-th نوڈ کو چالو کرنا۔ بیک پروپیگنڈے کی مشتق میں، دیگر درمیانی مقداروں کو ذیل میں ضرورت کے مطابق متعارف کروا کر استعمال کیا جاتا ہے۔ تعصب کی اصطلاحات کو خاص طور پر نہیں سمجھا جاتا ہے کیونکہ وہ 1 کے مقررہ ان پٹ کے ساتھ وزن سے مطابقت رکھتے ہیں۔ بیک پروپیگنڈے کے لیے مخصوص نقصان فنکشن اور ایکٹیویشن فنکشن اس وقت تک کوئی فرق نہیں پڑتا جب تک کہ ان کا اور ان کے مشتقات کا مؤثر طریقے سے جائزہ لیا جا سکے۔ روایتی ایکٹیویشن افعال میں سگمائڈ، تانہ اور ری ایل یو شامل ہیں۔ اس کے بعد سے سوش مش، اور دیگر ایکٹیویشن افعال بھی تجویز کیے گئے ہیں۔ مجموعی نیٹ ورک فنکشن کمپوزیشن اور میٹرکس ضرب کا ایک مجموعہ ہے: ٹریننگ سیٹ کے لیے ان پٹ-آؤٹ پٹ جوڑوں کا ایک سیٹ ہوگا۔ ٹریننگ سیٹ میں ہر ان پٹ آؤٹ پٹ جوڑی کے لیے، اس جوڑی پر ماڈل کا نقصان پیش گوئی شدہ آؤٹ پٹ اور ٹارگٹ آؤٹ پٹ کے درمیان فرق کی قیمت ہے: فرق کو نوٹ کریں: ماڈل کی تشخیص کے دوران وزن طے کیے جاتے ہیں جبکہ ان پٹ مختلف ہوتے ہیں (اور ٹارگٹ آؤٹ پٹ نامعلوم ہو سکتا ہے)، اور نیٹ ورک آؤٹ پٹ پرت کے ساتھ ختم ہوتا ہے (اس میں لاس فنکشن شامل نہیں ہوتا ہے)۔ ماڈل ٹریننگ کے دوران ان پٹ آؤٹ پٹ جوڑی طے کی جاتی ہے جبکہ وزن مختلف ہوتا ہے، اور نیٹ ورک لاس فنکشن کے ساتھ ختم ہوتا ہے۔ بیک پروپیگنڈےشن ایک مقررہ ان پٹ-آؤٹ پٹ جوڑی کے لیے میلان کا حساب لگاتا ہے، جہاں وزن مختلف ہو سکتے ہیں۔ میلان کے ہر انفرادی جزو کا حساب سلسلہ کے اصول کے ذریعے کیا جا سکتا ہے ؛ لیکن ہر وزن کے لیے الگ سے ایسا کرنا ناکارہ ہے۔ بیک پروپیگنڈےشن مؤثر طریقے سے ڈپلیکیٹ حسابات سے گریز کرکے اور غیر ضروری انٹرمیڈیٹ ویلیوز کا حساب نہ لگا کر، ہر پرت کے گریڈینٹ کا حساب لگا کر-خاص طور پر ہر پرت کے ویٹڈ ان پٹ کا گریڈینٹ، جس کی طرف اشارہ کیا گیا ہے-پیچھے سے سامنے تک۔ غیر رسمی طور پر، کلیدی نقطہ یہ ہے کہ چونکہ وزن میں کمی کو متاثر کرنے کا واحد طریقہ اگلی پرت پر اس کے اثر کے ذریعے ہوتا ہے، اور یہ لکیری طور پر ہوتا ہے، یہی وہ ڈیٹا ہے جس کی آپ کو پرت پر وزن کے میلان کا حساب لگانے کی ضرورت ہے، اور پھر پچھلی پرت کا حساب لگایا جا سکتا ہے اور اسے بار بار دہرایا جا سکتا ہے۔ یہ دو طریقوں سے ناکارہ ہونے سے بچاتا ہے۔ سب سے پہلے، یہ نقل سے بچتا ہے کیونکہ پرت پر میلان کا حساب لگاتے وقت-ہر بار بعد کی تہوں پر تمام مشتقات کا دوبارہ حساب لگانا غیر ضروری ہے۔ دوسرا، یہ غیر ضروری انٹرمیڈیٹ حسابات سے بچتا ہے، کیونکہ ہر مرحلے پر یہ وزن میں ہونے والی تبدیلیوں کے حوالے سے پوشیدہ تہوں کی اقدار کے مشتقات کو غیر ضروری طور پر شمار کرنے کے بجائے، حتمی آؤٹ پٹ (نقصان) کے حوالے سے وزن کے میلان کا براہ راست حساب لگاتا ہے۔ بیک پروپیگنڈے کا اظہار سادہ فیڈ فارورڈ نیٹ ورکس کے لیے میٹرکس ضرب کے لحاظ سے، یا زیادہ عام طور پر ملحقہ گراف کے لحاظ سے کیا جا سکتا ہے۔ میٹرکس ضرب فیڈ فارورڈ نیٹ ورک کے بنیادی معاملے کے لیے، جہاں ہر پرت میں نوڈس صرف فوری اگلی پرت میں نوڈس سے جڑے ہوتے ہیں (کسی بھی پرت کو چھوڑے بغیر)، اور ایک نقصان فنکشن ہوتا ہے جو حتمی آؤٹ پٹ کے لیے اسکیلر نقصان کا حساب لگاتا ہے، بیک پروپیگیشن کو صرف میٹرکس ضرب کے ذریعے سمجھا جا سکتا ہے۔ بنیادی طور پر، بیک پروپیگیشن لاگت فنکشن کے مشتق کے لیے اظہار کا اندازہ دائیں سے بائیں-"بیکورڈ"-ہر پرت کے درمیان مشتقات کے پروڈکٹ کے طور پر کرتا ہے جس میں ہر پرت کے درمیان وزن کا میلان جزوی مصنوعات کی سادہ ترمیم ہوتی ہے ("بیکورڈ پروپیگیٹڈ ایرر")۔ ان پٹ آؤٹ پٹ جوڑی کو دیکھتے ہوئے، نقصان یہ ہے: اس کا حساب لگانے کے لیے، کوئی ان پٹ سے شروع کرتا ہے اور آگے کام کرتا ہے ؛ ہر چھپی ہوئی پرت کے وزن والے ان پٹ کو اور چھپی ہوئی پرت کے آؤٹ پٹ کو ایکٹیویشن کے طور پر ظاہر کرتا ہے۔ بیک پروپیگنڈے کے لیے، بیک ورڈ پاس کے دوران استعمال کے لیے ایکٹیویشن کے ساتھ ساتھ مشتقات (جس کا اندازہ کیا گیا ہے) کو کیش کیا جانا چاہیے۔ ان پٹ کے لحاظ سے نقصان کا مشتق سلسلہ اصول کے ذریعہ دیا گیا ہے ؛ نوٹ کریں کہ ہر اصطلاح کل مشتق ہے، جس کا اندازہ ان پٹ پر نیٹ ورک کی قیمت (ہر نوڈ پر) پر کیا جاتا ہے: جہاں ایک اخترن میٹرکس ہے۔ یہ اصطلاحات یہ ہیں: لاس فنکشن کا مشتق ؛ ایکٹیویشن فنکشن کے مشتق ؛ اور وزن کے میٹرکس: میلان ان پٹ کے لحاظ سے آؤٹ پٹ کے مشتق کا ٹرانسپوز ہے، لہذا میٹرکس کو منتقل کیا جاتا ہے اور ضرب کی ترتیب کو الٹ دیا جاتا ہے، لیکن اندراجات ایک جیسے ہوتے ہیں: بیک پروپیگیشن پھر بنیادی طور پر اس اظہار کا دائیں سے بائیں طرف جائزہ لینے پر مشتمل ہوتا ہے (مساوی طور پر، مشتق کے لیے پچھلے اظہار کو بائیں سے دائیں سے ضرب دینا)، راستے میں ہر پرت پر میلان کا حساب لگانا ؛ ایک اضافی مرحلہ ہے، کیونکہ وزن کا میلان صرف ایک ذیلی اظہار نہیں ہے: ایک اضافی ضرب ہے۔ جزوی مصنوعات (دائیں سے بائیں ضرب) کے لیے معاون مقدار کا تعارف، جس کی تشریح "سطح پر غلطی" کے طور پر کی گئی ہے اور اس کی تعریف سطح پر ان پٹ اقدار کے میلان کے طور پر کی گئی ہے: نوٹ کریں کہ یہ ایک ویکٹر ہے، جس کی لمبائی سطح میں نوڈس کی تعداد کے برابر ہے ؛ ہر جزو کی تشریح "اس نوڈ (کی قیمت) سے منسوب لاگت" کے طور پر کی گئی ہے۔ اس کے بعد پرت میں وزن کا میلان یہ ہے: کا عنصر یہ ہے کہ سطح کے درمیان وزن اور سطح کو ان پٹ (ایکٹیویشن) کے متناسب طور پر متاثر کرتا ہے: ان پٹ طے ہوتے ہیں، وزن مختلف ہوتے ہیں۔ دائیں سے بائیں جاتے ہوئے آسانی سے تکراری حساب لگایا جا سکتا ہے، جیسا کہ: وزن کے میلان کو اس طرح ہر سطح کے لیے چند میٹرکس ضرب کا استعمال کرتے ہوئے شمار کیا جا سکتا ہے ؛ یہ بیک پروپیگیشن ہے۔ بے وقوف کمپیوٹنگ فارورڈز کے مقابلے میں (مثال کے لیے استعمال کرتے ہوئے): بیک پروپیگنڈے کے ساتھ دو اہم اختلافات ہیں: کے لحاظ سے کمپیوٹنگ تہوں اور اس سے آگے کے واضح ڈپلیکیٹ ضرب سے بچتی ہے۔ سے شروع کر کے ضرب دینا-غلطی کو پیچھے کی طرف پھیلانا-کا مطلب ہے کہ ہر قدم صرف ایک ویکٹر () کو وزن کے میٹرکس اور ایکٹیویشن کے مشتقات سے ضرب دیتا ہے۔ اس کے برعکس، پہلے کی پرت میں ہونے والی تبدیلیوں سے شروع کرتے ہوئے، آگے کی طرف ضرب دینے کا مطلب ہے کہ ہر ضرب ایک میٹرکس کو میٹرکس سے ضرب دیتی ہے۔ یہ بہت زیادہ مہنگا ہے، اور پرت میں ہونے والی تبدیلیوں کے لیے ایک پرت میں ہونے والی تبدیلی کے ہر ممکنہ راستے کو ٹریک کرنے سے مطابقت رکھتا ہے (ایکٹیویشن کے مشتقات کے لیے اضافی ضرب کے ساتھ، اس سے ضرب دینے کے لیے)، جو غیر ضروری طور پر درمیانی مقدار کا حساب لگاتا ہے کہ وزن کی تبدیلیاں پوشیدہ نوڈس کی اقدار کو کس طرح متاثر کرتی ہیں۔ زیادہ عام گراف، اور دیگر جدید تغیرات کے لیے، بیک پروپیگیشن کو خودکار تفریق کے لحاظ سے سمجھا جا سکتا ہے، جہاں بیک پروپیگیشن ریورس جمع (یا "ریورس موڈ") کا ایک خاص معاملہ ہے۔ وجدان کی تحریک کسی بھی سپروائزڈ لرننگ الگورتھم کا مقصد ایک ایسا فنکشن تلاش کرنا ہے جو ان پٹ کے ایک سیٹ کو ان کی صحیح آؤٹ پٹ پر بہترین نقشہ بناتا ہے۔ بیک پروپیگنڈے کا محرک ایک کثیر سطحی عصبی نیٹ ورک کو اس طرح تربیت دینا ہے کہ وہ مناسب اندرونی نمائشیں سیکھ سکے تاکہ اسے آؤٹ پٹ میں ان پٹ کی کسی بھی من مانی نقشہ سازی کو سیکھنے کی اجازت دی جا سکے۔ اصلاح کے مسئلے کے طور پر سیکھنا بیک پروپیگیشن الگورتھم کے ریاضیاتی مشتق کو سمجھنے کے لیے، یہ پہلے کسی خاص تربیتی مثال کے لیے نیوران کی اصل پیداوار اور صحیح پیداوار کے درمیان تعلق کے بارے میں کچھ وجدان تیار کرنے میں مدد کرتا ہے۔ ایک سادہ نیورل نیٹ ورک پر غور کریں جس میں دو ان پٹ یونٹ ہوں، ایک آؤٹ پٹ یونٹ اور کوئی پوشیدہ یونٹ نہ ہو، اور جس میں ہر نیوران ایک لکیری آؤٹ پٹ استعمال کرتا ہے (نیورل نیٹ ورک پر زیادہ تر کام کے برعکس، جس میں ان پٹ سے آؤٹ پٹ تک کی نقشہ سازی غیر لکیری ہوتی ہے) جو اس کے ان پٹ کا وزن ہے۔ ابتدائی طور پر، تربیت سے پہلے، وزن تصادفی طور پر مقرر کیا جائے گا۔ پھر نیوران تربیتی مثالوں سے سیکھتا ہے، جو اس معاملے میں ٹیپل کے ایک سیٹ پر مشتمل ہوتا ہے جہاں نیٹ ورک کے لیے ان پٹ ہوتے ہیں اور صحیح آؤٹ پٹ ہوتا ہے (نیٹ ورک کو ان ان پٹ کو دیکھتے ہوئے آؤٹ پٹ پیدا کرنا چاہیے، جب اسے تربیت دی گئی ہو)۔ ابتدائی نیٹ ورک، دیا ہوا اور، ایک آؤٹ پٹ کا حساب لگائے گا جو ممکنہ طور پر (بے ترتیب وزن کو دیکھتے ہوئے) سے مختلف ہے۔ ٹارگٹ آؤٹ پٹ اور کمپیوٹڈ آؤٹ پٹ کے درمیان تضاد کی پیمائش کے لیے لاس فنکشن کا استعمال کیا جاتا ہے۔ رجعت تجزیہ کے مسائل کے لیے مربع شدہ غلطی کو نقصان کی تقریب کے طور پر استعمال کیا جا سکتا ہے، درجہ بندی کے لیے زمرہ جاتی کراس اینٹروپی استعمال کی جا سکتی ہے۔ مثال کے طور پر مربع غلطی کو نقصان کے طور پر استعمال کرتے ہوئے رجعت کے مسئلے پر غور کریں: تضاد یا غلطی کہاں ہے۔ ایک ہی ٹریننگ کیس پر نیٹ ورک پر غور کریں: اس طرح، ان پٹ اور بالترتیب 1 اور 1 ہیں اور صحیح آؤٹ پٹ، 0 ہے۔ اب اگر تعلق افقی محور پر نیٹ ورک کے آؤٹ پٹ اور عمودی محور پر غلطی کے درمیان پلاٹ کیا گیا ہے، تو نتیجہ ایک پیرابولہ ہے۔ پیرابولہ کا کم از کم آؤٹ پٹ سے مطابقت رکھتا ہے جو غلطی کو کم کرتا ہے۔ ایک واحد ٹریننگ کیس کے لیے، کم از کم افقی محور کو بھی چھوتا ہے، جس کا مطلب ہے کہ غلطی صفر ہوگی اور نیٹ ورک ایک آؤٹ پٹ تیار کر سکتا ہے جو ہدف آؤٹ پٹ سے بالکل میل کھاتا ہو۔ لہذا، آؤٹ پٹ پر ان پٹ کی نقشہ سازی کے مسئلے کو کم سے کم غلطی پیدا کرنے والے فنکشن کو تلاش کرنے کے اصلاح کے مسئلے تک کم کیا جا سکتا ہے۔ تاہم، نیوران کی پیداوار اس کے تمام ان پٹ کے وزن کے مجموعے پر منحصر ہوتی ہے: ان پٹ یونٹس سے آؤٹ پٹ یونٹ تک کنکشن پر وزن کہاں اور کہاں ہیں۔ لہذا، غلطی کا انحصار نیوران میں آنے والے وزن پر بھی ہوتا ہے، جسے بالآخر سیکھنے کے قابل بنانے کے لیے نیٹ ورک میں تبدیل کرنے کی ضرورت ہے۔ اس مثال میں، ٹریننگ ڈیٹا کو انجیکشن لگانے پر، لاس فنکشن بن جاتا ہے پھر، لاس فنکشن پیرابولک سلنڈر کی شکل اختیار کر لیتا ہے جس کی بنیاد ساتھ ساتھ ہوتی ہے۔ چونکہ وزن کے تمام سیٹ جو نقصان کی تقریب کو کم سے کم کرتے ہیں، اس صورت میں ایک منفرد حل میں یکجا ہونے کے لیے اضافی رکاوٹوں کی ضرورت ہوتی ہے۔ اضافی رکاوٹیں یا تو وزن کے لیے مخصوص شرائط طے کر کے، یا اضافی تربیتی ڈیٹا انجکشن کر کے پیدا کی جا سکتی ہیں۔ غلطی کو کم کرنے والے وزن کے سیٹ کو تلاش کرنے کے لیے عام طور پر استعمال ہونے والا الگورتھم گریڈینٹ ڈیسنٹ ہے۔ بیک پروپیگیشن کے ذریعے، سب سے تیز نزول کی سمت کا حساب موجودہ سنپیٹک وزن کے مقابلے میں نقصان کی تقریب سے لگایا جاتا ہے۔ پھر، وزن کو سب سے تیز نزول کی سمت میں تبدیل کیا جا سکتا ہے، اور غلطی کو موثر طریقے سے کم کیا جاتا ہے۔ مشتق میلان کے طریقہ کار میں نیٹ ورک کے وزن کے حوالے سے نقصان کی تقریب کے مشتق کا حساب لگانا شامل ہے۔ یہ عام طور پر بیک پروپیگنڈے کا استعمال کرتے ہوئے کیا جاتا ہے۔ ایک آؤٹ پٹ نیوران کو فرض کرتے ہوئے، اسکوائرڈ ایرر فنکشن وہ ہے جہاں آؤٹ پٹ اور ٹارگٹ ویلیو کا نقصان ہوتا ہے، ٹریننگ نمونے کے لیے ٹارگٹ آؤٹ پٹ ہوتا ہے، اور آؤٹ پٹ نیوران کی اصل آؤٹ پٹ ہوتی ہے۔ ہر نیوران کے لیے، اس کے آؤٹ پٹ کی تعریف اس طرح کی جاتی ہے جہاں ایکٹیویشن فنکشن غیر لکیری ہوتا ہے اور ایکٹیویشن ریجن پر تفریق پذیر ہوتا ہے (ایک مقام پر ری ایل یو تفریق کے قابل نہیں ہوتا ہے)۔ ایک تاریخی طور پر استعمال ہونے والا ایکٹیویشن فنکشن لاجسٹک فنکشن ہے: جس کا ایک آسان مشتق ہے: نیوران کے لیے ان پٹ پچھلے نیوران کے آؤٹ پٹ کا وزن ہے۔ اگر نیوران ان پٹ پرت کے بعد پہلی پرت میں ہے، تو ان پٹ پرت صرف نیٹ ورک کے لیے ان پٹ ہیں۔ نیوران میں ان پٹ اکائیوں کی تعداد ہے۔ متغیر پچھلی پرت کے نیوران اور موجودہ پرت کے نیوران کے درمیان وزن کی نشاندہی کرتا ہے۔ غلطی کے مشتق کو تلاش کرنا وزن کے حوالے سے غلطی کے جزوی مشتق کا حساب دو بار سلسلہ اصول کا استعمال کرتے ہوئے کیا جاتا ہے: مذکورہ بالا کے دائیں طرف کے آخری عنصر میں، رقم میں صرف ایک اصطلاح کا انحصار ہوتا ہے، تاکہ اگر نیوران ان پٹ پرت کے بعد پہلی پرت میں ہے، تو یہ درست ہے۔ اس کے ان پٹ کے حوالے سے نیوران کے آؤٹ پٹ کا مشتق محض ایکٹیویشن فنکشن کا جزوی مشتق ہے: جو لاجسٹک ایکٹیویشن فنکشن کے لیے ہے۔ یہی وجہ ہے کہ بیک پروپیگیشن کے لیے ضروری ہے کہ ایکٹیویشن فنکشن تفریق پذیر ہو۔ (اس کے باوجود، ری ایل یو ایکٹیویشن فنکشن، جو 0 پر غیر تفریق پذیر ہے، کافی مقبول ہو گیا ہے، مثال کے طور پر۔ الیکس نیٹ میں) پہلا عنصر اس بات کا اندازہ کرنے کے لیے سیدھا ہے کہ آیا نیوران آؤٹ پٹ پرت میں ہے، کیونکہ تب اور اگر مربع غلطی کا نصف حصہ لاس فنکشن کے طور پر استعمال کیا جاتا ہے تو ہم اسے دوبارہ لکھ سکتے ہیں۔ تاہم، اگر نیٹ ورک کی من مانی اندرونی پرت میں ہے، تو اس کے حوالے سے مشتق تلاش کرنا کم واضح ہے۔ ان پٹ کے ساتھ ایک فنکشن کے طور پر غور کرتے ہوئے تمام نیوران نیوران سے ان پٹ وصول کرتے ہیں، اور اس کے حوالے سے کل مشتق لیتے ہیں، مشتق کے لیے ایک تکراری اظہار حاصل کیا جاتا ہے: لہذا، مشتق کے حوالے سے حساب لگایا جا سکتا ہے اگر اگلی پرت کے آؤٹ پٹ کے حوالے سے تمام مشتقات-جو آؤٹ پٹ نیوران کے قریب ہیں-معلوم ہوں۔ [نوٹ کریں، اگر سیٹ میں موجود کوئی بھی نیوران نیوران سے منسلک نہیں تھا، تو وہ اس سے آزاد ہوں گے اور خلاصہ کے تحت متعلقہ جزوی مشتق 0 پر غائب ہو جائے گا۔] متبادل، اور میں ہم حاصل کرتے ہیں: کے ساتھ اگر لاجسٹک فنکشن ہے، اور غلطی مربع کی غلطی ہے: گریڈینٹ ڈیسنٹ کا استعمال کرتے ہوئے وزن کو اپ ڈیٹ کرنے کے لیے، کسی کو سیکھنے کی شرح کا انتخاب کرنا چاہیے،۔ وزن میں تبدیلی کو وزن میں اضافے یا کمی کے اثرات کی عکاسی کرنے کی ضرورت ہے۔ اگر، اضافہ میں اضافہ ؛ اس کے برعکس، اگر، کمی میں اضافہ ہوتا ہے۔ نئے کو پرانے وزن میں شامل کیا جاتا ہے، اور سیکھنے کی شرح اور میلان کی پیداوار کو ضمانتوں سے ضرب دی جاتی ہے جو اس طرح سے تبدیل ہوتی ہے جو ہمیشہ کم ہوتی ہے۔ دوسرے لفظوں میں، فوری طور پر نیچے کی مساوات میں، ہمیشہ اس طرح سے تبدیل ہوتا ہے جس میں کمی واقع ہوتی ہے: سیکنڈ آرڈر گریڈینٹ نزول ایرر فنکشن کے سیکنڈ آرڈر مشتقات کے ہیسیئن میٹرکس کا استعمال کرتے ہوئے، لیونبرگ-مارکوارڈ الگورتھم اکثر فرسٹ آرڈر گریڈینٹ نزول سے زیادہ تیزی سے یکجا ہوتا ہے، خاص طور پر جب ایرر فنکشن کی ٹوپولوجی پیچیدہ ہو۔ یہ چھوٹے نوڈ گنتی میں بھی حل تلاش کر سکتا ہے جس کے لیے دوسرے طریقے یکجا نہیں ہو سکتے ہیں۔ فشر انفارمیشن میٹرکس کے ذریعے ہیسیئن کا تخمینہ لگایا جا سکتا ہے۔ لاس فنکشن ایک فنکشن ہے جو ایک یا ایک سے زیادہ متغیرات کی اقدار کو حقیقی تعداد پر نقش کرتا ہے جو ان اقدار سے وابستہ کچھ "لاگت" کی نمائندگی کرتا ہے۔ بیک پروپیگنڈے کے لیے، نقصان فنکشن نیٹ ورک آؤٹ پٹ اور اس کی متوقع آؤٹ پٹ کے درمیان فرق کا حساب لگاتا ہے، ایک تربیتی مثال کے نیٹ ورک کے ذریعے پھیلنے کے بعد۔ مفروضات نقصان کی تقریب کے ریاضیاتی اظہار کو ممکنہ طور پر بیک پروپیگنڈے میں استعمال ہونے کے لیے دو شرائط کو پورا کرنا ضروری ہے۔ پہلا یہ ہے کہ اسے انفرادی تربیتی مثالوں کے لیے اوسط اوور ایرر فنکشن کے طور پر لکھا جا سکتا ہے۔ اس مفروضے کی وجہ یہ ہے کہ بیک پروپیگنڈاشن الگورتھم ایک واحد تربیتی مثال کے لیے ایرر فنکشن کے میلان کا حساب لگاتا ہے، جسے مجموعی ایرر فنکشن میں عام کرنے کی ضرورت ہے۔ دوسرا مفروضہ یہ ہے کہ اسے نیورل نیٹ ورک سے آؤٹ پٹ کے فنکشن کے طور پر لکھا جا سکتا ہے۔ مثال نقصان فنکشن میں ویکٹر ہونے دیں۔ دو آؤٹ پٹ کے درمیان فرق کی پیمائش کرنے والا ایرر فنکشن منتخب کریں۔ معیاری انتخاب ویکٹروں کے درمیان یوکلیڈین فاصلے کا مربع ہے اور: ٹریننگ کی مثالوں پر ایرر فنکشن کو پھر انفرادی مثالوں پر نقصانات کی اوسط کے طور پر لکھا جا سکتا ہے: حدود بیک پروپیگنڈے کے ساتھ گریڈینٹ نزول کو ایرر فنکشن کی عالمی کم از کم تلاش کرنے کی ضمانت نہیں ہے، بلکہ صرف ایک مقامی کم از کم ہے۔ اس کے علاوہ، ایرر فنکشن کے منظر نامے میں سطح مرتفع کو عبور کرنے میں بھی دشواری ہوتی ہے۔ یہ مسئلہ، نیورل نیٹ ورکس میں ایرر فنکشنز کی غیر ارتعاش کی وجہ سے، طویل عرصے سے ایک بڑی خرابی سمجھا جاتا تھا، لیکن یان لیکون اور دیگر۔ دلیل دیتے ہیں کہ بہت سے عملی مسائل میں ایسا نہیں ہے۔ بیک پروپیگنڈاشن لرننگ کے لیے ان پٹ ویکٹروں کو معمول پر لانے کی ضرورت نہیں ہوتی ؛ تاہم، معمول پر لانے سے کارکردگی بہتر ہو سکتی ہے۔ بیک پروپیگنڈے کے لیے نیٹ ورک ڈیزائن کے وقت پر ایکٹیویشن افعال کے مشتقات کو جاننے کی ضرورت ہوتی ہے۔ جدید بیک پروپیگنڈا نیسٹڈ تفریق پذیر افعال کے مجرد منسلک نیٹ ورکس کے لیے سیپو لنینما کا خودکار تفریق کا ریورس موڈ (1970) ہے۔ یہ ایسے نیٹ ورکس پر چین رول (جو 1673 میں گوٹ فرائیڈ ولہیم لیبنز نے اخذ کیا تھا) کا ایک موثر اطلاق ہے۔ اصطلاح "بیک-پروپیگنٹنگ ایرر کریکشن" 1962 میں فرینک روزن بلیٹ نے متعارف کرائی تھی، لیکن وہ نہیں جانتے تھے کہ اسے کیسے نافذ کیا جائے، حالانکہ ہنری جے کیلی کے پاس کنٹرول تھیوری کے تناظر میں بیک پروپیگنڈے کا مسلسل پیش خیمہ پہلے ہی 1960 میں تھا۔ سٹوچسٹک گریڈینٹ ڈیسنٹ کے ذریعہ تربیت یافتہ پہلا ڈیپ لرننگ ملٹی لیئر پرسیپٹرون (ایم ایل پی) 1967 میں شونیچی اماری نے شائع کیا تھا۔ کمپیوٹر کے تجربات میں، دو قابل ترمیم تہوں کے ساتھ ان کی پانچ پرتوں والی ایم ایل پی نے غیر لکیری طور پر علیحدہ پیٹرن کلاسوں کی درجہ بندی کے لیے درکار اندرونی نمائندگی سیکھی۔ 1982 میں، پال وربوس نے ایم ایل پیز پر بیک پروپیگنڈے کا اطلاق اس طرح کیا جو کہ معیاری بن گیا ہے۔ 1985 میں، ڈیوڈ ای رومیل ہارٹ اور دیگر۔ اس تکنیک کا ایک تجرباتی تجزیہ شائع کیا۔ اس نے بیک پروپیگیشن کو مقبول بنانے میں اہم کردار ادا کیا اور ملٹی لیئر پرسیپٹرون میں تحقیق کا ایک فعال دور شروع کرنے میں مدد کی۔ کیلی (1960) اور آرتھر ای برایسن (1961) نے طریقہ کار کے مذکورہ بالا مسلسل پیش رو کو حاصل کرنے کے لیے متحرک پروگرامنگ کے اصولوں کا استعمال کیا۔ 1962 میں، اسٹیورٹ ڈریفس نے صرف چین رول پر مبنی ایک آسان مشتق شائع کیا۔ 1973 میں، انہوں نے غلطی کے میلان کے تناسب سے کنٹرولرز کے پیرامیٹرز کو ڈھال لیا۔ لنینما کے 1970 کے طریقہ کار کے برعکس، ان پیشروؤں نے "ایک مرحلے سے پچھلے مرحلے تک معیاری جیکوبین میٹرکس کے حسابات کا استعمال کیا، نہ تو کئی مراحل میں براہ راست روابط کو حل کیا اور نہ ہی نیٹ ورک کی رکاوٹ کی وجہ سے ممکنہ اضافی کارکردگی کے فوائد"۔ 1985 میں پارکر نے بھی اس طریقہ کو بیان کیا تھا۔ یان لیکون نے 1987 میں اپنے پی ایچ ڈی مقالے میں نیورل نیٹ ورکس کے لیے بیک پروپیگنڈے کی ایک متبادل شکل کی تجویز پیش کی۔ 1993 میں، ایرک وان نے بیک پروپیگنڈے کے ذریعے بین الاقوامی طرز کی شناخت کا مقابلہ جیتا۔ 2000 کی دہائی کے دوران یہ مقبولیت سے باہر ہو گیا، لیکن 2010 کی دہائی میں واپس آیا، جس سے سستے، طاقتور جی پی یو پر مبنی کمپیوٹنگ سسٹم سے فائدہ ہوا۔ یہ خاص طور پر تقریر کی شناخت، مشین وژن، نیچرل لینگویج پروسیسنگ، اور لینگویج اسٹرکچر لرننگ ریسرچ (جس میں اسے پہلی اور دوسری زبان سیکھنے سے متعلق مختلف مظاہر کی وضاحت کے لیے استعمال کیا گیا ہے) میں ایسا ہی رہا ہے۔ انسانی دماغ کے ای آر پی اجزاء جیسے این 400 اور پی 600 کی وضاحت کے لیے بیک پروپیگنڈے کی غلطی تجویز کی گئی ہے۔ 2023 میں، اسٹینفورڈ یونیورسٹی کی ایک ٹیم کے ذریعہ فوٹوونک پروسیسر پر بیک پروپیگنڈاشن الگورتھم نافذ کیا گیا تھا۔ مزید دیکھیں مصنوعی نیورل نیٹ ورک نیورل سرکٹ کیٹاسٹروفک مداخلت انسمبل لرننگ اڈابوسٹ اوورفٹنگ نیورل بیک پروپیگنڈےشن بیک پروپیگنڈےشن تھرو ٹائم نوٹ حوالہ جات مزید پڑھنا بیرونی لنکس بیک پروپیگنڈےشن نیورل نیٹ ورک ٹیوٹوریل وکی یونیورسٹی مشین لرننگ الگورتھم مصنوعی نیورل نیٹ ورک