Modern Hopfield network
جدید ہاپ فیلڈ نیٹ ورک (جسے ڈینس ایسوسی ایٹیو میموریز بھی کہا جاتا ہے) کلاسیکی ہاپ فیلڈ نیٹ ورک کی عمومی شکلیں ہیں جو ان پٹ خصوصیات کی تعداد اور ذخیرہ شدہ یادوں کی تعداد کے درمیان لکیری اسکیلنگ تعلقات کو توڑتی ہیں۔ یہ مضبوط غیر لکیریتیں (یا تو انرجی فنکشن یا نیوران کے ایکٹیویشن افعال میں) متعارف کروا کر حاصل کیا جاتا ہے جس کی وجہ سے فیچر نیوران کی تعداد کے فنکشن کے طور پر سپر لکیری (یہاں تک کہ ایک ایکسپونینشل) میموری اسٹوریج کی صلاحیت پیدا ہوتی ہے۔ نیٹ ورک کو اب بھی کافی تعداد میں پوشیدہ نیوران کی ضرورت ہوتی ہے۔ ماڈرن ہاپ فیلڈ نیٹ ورک کے پیچھے کلیدی نظریاتی خیال ایک انرجی فنکشن اور ایک اپ ڈیٹ رول کا استعمال کرنا ہے جو کلاسیکی ہاپ فیلڈ نیٹ ورک کے مقابلے میں نیوران کی ترتیبات کی جگہ میں ذخیرہ شدہ یادوں کے ارد گرد زیادہ تیزی سے عروج پر ہے۔ کلاسیکی ہاپ فیلڈ نیٹ ورک ہاپ فیلڈ نیٹ ورک بار بار آنے والے عصبی نیٹ ورک ہیں جن میں متحرک راستے مقررہ نقطہ پرکشش حالتوں میں تبدیل ہوتے ہیں اور ایک توانائی فنکشن کے ذریعے بیان کیے جاتے ہیں۔ ہر ماڈل نیوران کی حالت کی وضاحت وقت پر منحصر متغیر سے کی جاتی ہے، جسے مجرد یا مسلسل ہونے کے لیے منتخب کیا جا سکتا ہے۔ ایک مکمل نمونہ ریاضی کو بیان کرتا ہے کہ کس طرح ہر نیوران کی سرگرمی کی مستقبل کی حالت تمام نیوران کی موجودہ یا پچھلی سرگرمی پر منحصر ہوتی ہے۔ ایسوسی ایٹیو میموری کے اصل ہاپ فیلڈ ماڈل میں، متغیرات بائنری تھے، اور حرکیات کو نیوران کی حالت کی ایک بار اپ ڈیٹ کے ذریعے بیان کیا گیا تھا۔ میں ایک انرجی فنکشن کواڈریٹک کی وضاحت کی گئی تھی، اور حرکیات ہر ایک نیوران کی سرگرمی کو صرف اس صورت میں تبدیل کرنے پر مشتمل ہوتی ہے جب ایسا کرنے سے نظام کی کل توانائی کم ہو جائے۔ اسی خیال کو ایک مسلسل متغیر ہونے کے معاملے تک بڑھایا گیا جو نیوران کی پیداوار کی نمائندگی کرتا ہے، اور ایک ان پٹ کرنٹ کا مونوٹونک فنکشن ہے۔ حرکیات کا اظہار فرسٹ آرڈر تفریق مساوات کے ایک مجموعے کے طور پر ہوا جس کے لیے نظام کی "توانائی" ہمیشہ کم ہوتی ہے۔ مسلسل صورت میں توانایٔی کی ایک اصطلاح ہوتی ہے جو (بائنری ماڈل کی طرح) کواڈریٹک ہوتی ہے، اور دوسری اصطلاح جو گین فنکشن (نیوران کے ایکٹیویشن فنکشن) پر منحصر ہوتی ہے۔ ایسوسی ایٹیو میموری کی بہت سی مطلوبہ خصوصیات ہونے کے باوجود، یہ دونوں کلاسیکی نظام میموری اسٹوریج کی ایک چھوٹی سی صلاحیت سے دوچار ہیں، جو ان پٹ خصوصیات کی تعداد کے ساتھ لکیری طور پر پیمائش کرتے ہیں۔ مجرد متغیر جدید ہاپ فیلڈ نیٹ ورک کی ایک سادہ سی مثال بائنری متغیرات کے لحاظ سے لکھی جا سکتی ہے جو ماڈل نیوران کی فعال اور غیر فعال حالت کی نمائندگی کرتے ہیں۔ اس فارمولے میں وزن میموری ویکٹرز کے میٹرکس کی نمائندگی کرتے ہیں (انڈیکس مختلف یادوں کی گنتی کرتا ہے، اور انڈیکس ہر میموری کے مواد کو-th فیچر نیوران کے مطابق شمار کرتا ہے)، اور فنکشن تیزی سے بڑھتا ہوا غیر لکیری فنکشن ہے۔ انفرادی نیوران کے لیے اپ ڈیٹ رول (غیر متغیر صورت میں) مندرجہ ذیل شکل میں لکھا جا سکتا ہے جس میں کہا گیا ہے کہ-th نیوران کی تازہ ترین حالت کا حساب لگانے کے لیے نیٹ ورک دو توانائیوں کا موازنہ کرتا ہے: آن حالت میں-th نیوران کے ساتھ نیٹ ورک کی توانائی اور آف حالت میں-th نیوران کے ساتھ نیٹ ورک کی توانائی، باقی نیوران کی حالتوں کو دیکھتے ہوئے۔ - th نیوران کی تازہ ترین حالت اس حالت کا انتخاب کرتی ہے جس میں دو توانائیوں میں سے سب سے کم ہوتی ہے۔ محدود صورت میں جب غیر لکیری توانائی فنکشن کواڈریٹک ہوتا ہے تو یہ مساوات واقف توانائی فنکشن اور کلاسیکی بائنری ہاپ فیلڈ نیٹ ورک کے لیے اپ ڈیٹ رول تک کم ہو جاتی ہیں۔ ان نیٹ ورکس کی میموری اسٹوریج کی صلاحیت کا حساب بے ترتیب بائنری پیٹرن کے لیے کیا جا سکتا ہے۔ پاور انرجی فنکشن کے لیے یادوں کی زیادہ سے زیادہ تعداد جو اس نیٹ ورک سے بغیر کسی غلطی کے ذخیرہ اور بازیافت کی جا سکتی ہے اس کی طرف سے دی گئی ہے۔ ایک ایکسپونینشیل انرجی فنکشن کے لیے میموری اسٹوریج کی صلاحیت فیچر نیوران کی تعداد میں ایکسپونینشیل ہے۔ مسلسل متغیر جدید ہاپ فیلڈ نیٹ ورک یا ڈینس ایسوسی ایٹیو میموریز کو مسلسل متغیرات اور مسلسل وقت میں بہتر طریقے سے سمجھا جا سکتا ہے۔ نیٹ ورک فن تعمیر پر غور کریں، جو Fig.1 میں دکھایا گیا ہے، اور نیوران کی حالت کے ارتقاء کے لیے مساوات جہاں فیچر نیوران کے دھاروں کی نشاندہی کی جاتی ہے، اور میموری نیوران کے دھاروں کی نشاندہی کی جاتی ہے (پوشیدہ نیوران کے لیے کھڑا ہے)۔ فیچر نیوران یا میموری نیوران کے درمیان کوئی سنپیٹک کنکشن نہیں ہوتے ہیں۔ میٹرکس ایک فیچر نیوران سے میموری نیوران تک مطابقت پذیری کی طاقت کی نشاندہی کرتا ہے۔ مطابقت پذیری کو ہم آہنگ سمجھا جاتا ہے، تاکہ ایک ہی قدر میموری نیوران سے فیچر نیوران تک مختلف جسمانی مطابقت پذیری کی خصوصیت رکھتی ہے۔ میموری نیوران اور فیچر نیوران کے آؤٹ پٹ کو اور سے ظاہر کیا جاتا ہے، جو متعلقہ کرنٹس کے غیر لکیری افعال ہیں۔ عام طور پر یہ آؤٹ پٹ اس پرت میں موجود تمام نیوران کے دھاروں پر منحصر ہو سکتے ہیں تاکہ اور۔ ان ایکٹیویشن فنکشن کو نیوران کے دو گروپوں کے لیے لگرینجین افعال کے مشتقات کے طور پر بیان کرنا آسان ہے۔ اس طرح نیوران کی حالتوں کے لیے مساوات کی مخصوص شکل کو مکمل طور پر ایک بار جب لگرینجین افعال کی وضاحت کی جاتی ہے تو بیان کیا جاتا ہے۔ آخر میں، نیوران کے دو گروپوں کے لیے وقت کے مستقل کو اور کے ذریعے ظاہر کیا جاتا ہے، نیٹ ورک کے لیے ان پٹ کرنٹ ہے جسے پیش کردہ ڈیٹا کے ذریعے چلایا جا سکتا ہے۔ غیر لکیری تفریقی مساوات کے عمومی نظام میں بہت سے پیچیدہ طرز عمل ہو سکتے ہیں جو غیر لکیری کے انتخاب اور ابتدائی حالات پر منحصر ہو سکتے ہیں۔ تاہم، ہاپ فیلڈ نیٹ ورکس کے لیے، ایسا نہیں ہے-متحرک راستے ہمیشہ ایک فکسڈ پوائنٹ پرکشش حالت میں یکجا ہوتے ہیں۔ یہ خاصیت حاصل کی جاتی ہے کیونکہ یہ مساوات خاص طور پر تیار کی جاتی ہیں تاکہ ان میں ایک بنیادی توانائی فنکشن ہو مربع بریکٹ میں گروپ کی گئی اصطلاحات نیوران کی حالتوں کے حوالے سے لگرینجین فنکشن کے لیجنڈری ٹرانسفارم کی نمائندگی کرتی ہیں۔ اگر لاگرانجین افعال کے ہیسیئن میٹرکس مثبت نیم یقینی ہیں، تو متحرک رفتار پر توانائی کی تقریب میں کمی کی ضمانت دی جاتی ہے۔ اس خاصیت سے یہ ثابت کرنا ممکن ہو جاتا ہے کہ نیوران کی سرگرمیوں کے عارضی ارتقاء کو بیان کرنے والے متحرک مساوات کا نظام بالآخر ایک مقررہ نقطہ کشش حالت تک پہنچ جائے گا۔ بعض حالات میں کوئی یہ فرض کر سکتا ہے کہ پوشیدہ نیوران کی حرکیات فیچر نیوران کے مقابلے میں بہت تیز وقت کے پیمانے پر متوازن ہوتی ہیں۔ اس صورت میں نظام () میں دوسری مساوات کا مستحکم حالت حل فیچر نیوران کے آؤٹ پٹ کے ذریعے پوشیدہ اکائیوں کے دھاروں کو ظاہر کرنے کے لیے استعمال کیا جا سکتا ہے۔ اس سے عام نظریہ () کو صرف فیچر نیوران کے لیے ایک موثر نظریہ تک کم کرنا ممکن ہو جاتا ہے۔ نتیجے میں موثر اپ ڈیٹ کے قواعد اور لگرینجین افعال کے مختلف عام انتخاب کے لیے توانائیاں Fig.2 میں دکھائی گئی ہیں۔ لاگ-سم-ایکسپونینشیل لگرینجین فنکشن کے معاملے میں فیچر نیوران کی حالتوں کے لیے اپ ڈیٹ رول (اگر ایک بار لاگو کیا جائے) عام طور پر بہت سے جدید اے آئی سسٹمز میں استعمال ہونے والا توجہ کا طریقہ کار ہے (حوالہ دیکھیں۔ مسلسل وقت کی تشکیل سے اس نتیجے کے مشتق کے لیے)۔ مسلسل متغیرات کے ساتھ کلاسیکی ہاپ فیلڈ نیٹ ورک سے تعلق مسلسل ہاپ فیلڈ نیٹ ورک کی کلاسیکی تشکیل کو ایک پوشیدہ پرت کے ساتھ جدید ہاپ فیلڈ نیٹ ورک کے ایک خاص محدود کیس کے طور پر سمجھا جا سکتا ہے۔ درجہ بند ردعمل والے نیوران کے لیے مسلسل ہاپ فیلڈ نیٹ ورکس کو عام طور پر متحرک مساوات اور توانائی فنکشن کے ذریعے بیان کیا جاتا ہے جہاں، اور ایکٹیویشن فنکشن کا الٹا ہوتا ہے۔ یہ ماڈل ماڈلز کی کلاس کی ایک خاص حد ہے جسے ماڈل اے کہا جاتا ہے، جس میں لیگرانجین افعال کے درج ذیل انتخاب کے ساتھ، تعریف () کے مطابق، ایکٹیویشن افعال کی طرف جاتا ہے۔ اگر ہم پوشیدہ نیوران کو مربوط کرتے ہیں تو مساوات کا نظام () فیچر نیوران () کے ساتھ مساوات تک کم ہو جاتا ہے، اور توانائی () کے لیے عمومی اظہار موثر توانائی تک کم ہو جاتا ہے۔ جبکہ مساوات () میں پہلی دو اصطلاحات مساوات () کی طرح ہی ہیں، تیسری اصطلاحات سطحی طور پر مختلف نظر آتی ہیں۔ مساوات () میں یہ فیچر نیوران کے لیے لگرینجین کا لیجنڈری ٹرانسفارم ہے، جبکہ () میں تیسری اصطلاح انورس ایکٹیویشن فنکشن کا ایک لازمی حصہ ہے۔ بہر حال، یہ دونوں تاثرات حقیقت میں مساوی ہیں، کیونکہ کسی فنکشن کے مشتقات اور اس کے لیجنڈر ٹرانسفارم ایک دوسرے کے الٹا افعال ہیں۔ یہ دیکھنے کا سب سے آسان طریقہ کہ یہ دونوں اصطلاحات واضح طور پر برابر ہیں، یہ ہے کہ ہر ایک کے حوالے سے فرق کیا جائے۔ دونوں تاثرات کے لیے ان تفریق کے نتائج برابر ہیں۔ اس طرح، دونوں تاثرات ایک اضافی مستقل کے برابر ہیں۔ یہ اس ثبوت کو مکمل کرتا ہے کہ مسلسل حالتوں کے ساتھ کلاسیکی ہاپ فیلڈ نیٹ ورک توانائی () کے ساتھ جدید ہاپ فیلڈ نیٹ ورک () کا ایک خاص محدود کیس ہے۔ جدید ہاپ فیلڈ نیٹ ورک کی عمومی تشکیل حیاتیاتی عصبی نیٹ ورک میں مختلف خلیوں کی اقسام کے لحاظ سے بڑی حد تک تنوع ہے۔ یہ سیکشن مکمل طور پر جڑے ہوئے ماڈرن ہاپ فیلڈ نیٹ ورک کے ریاضیاتی ماڈل کو بیان کرتا ہے جس میں یہ فرض کیا گیا ہے کہ یہ انتہائی حد تک مختلف ہے: ہر ایک نیوران مختلف ہے۔ خاص طور پر، ایک انرجی فنکشن اور اس سے متعلق متحرک مساوات کو یہ فرض کرتے ہوئے بیان کیا جاتا ہے کہ ہر نیوران کا اپنا ایکٹیویشن فنکشن اور کینیٹک ٹائم اسکیل ہوتا ہے۔ نیٹ ورک کو مکمل طور پر جڑا ہوا سمجھا جاتا ہے، تاکہ ہر نیوران وزن، اشاریہ جات کے سمیٹرک میٹرکس کا استعمال کرتے ہوئے ہر دوسرے نیوران سے جڑا ہو اور نیٹ ورک میں مختلف نیوران کی گنتی کرے، Fig.3 دیکھیں۔ اس مسئلے کو ریاضیاتی طور پر وضع کرنے کا سب سے آسان طریقہ یہ ہے کہ نیٹ ورک میں موجود تمام نیوران کی سرگرمیوں پر منحصر لگرینجین فنکشن کے ذریعے فن تعمیر کی وضاحت کی جائے۔ ہر نیوران کے لیے ایکٹیویشن فنکشن کو اس نیوران کی سرگرمی کے حوالے سے لاگرانجین کے جزوی مشتق کے طور پر بیان کیا گیا ہے۔ حیاتیاتی نقطہ نظر سے کوئی بھی نیوران کے محوری آؤٹ پٹ کے طور پر سوچ سکتا ہے۔ سب سے آسان صورت میں، جب لگرینجین مختلف نیوران کے لیے اضافی ہوتا ہے، تو اس تعریف کے نتیجے میں ایکٹیویشن ہوتا ہے جو اس نیوران کی سرگرمی کا غیر لکیری فنکشن ہوتا ہے۔ غیر اضافی لگرینجیوں کے لیے یہ ایکٹیویشن فنکشن نیوران کے ایک گروپ کی سرگرمیوں پر منحصر ہو سکتا ہے۔ مثال کے طور پر، اس میں متضاد (سافٹ میکس) یا تقسیم کرنے والی معمول سازی شامل ہو سکتی ہے۔ کسی دیئے گئے نیوران کے عارضی ارتقاء کو بیان کرنے والی متحرک مساوات اس کے ذریعہ دی گئی ہیں۔ یہ مساوات نیورو سائنس میں فائرنگ ریٹ ماڈل کہلانے والے ماڈلز کی کلاس سے تعلق رکھتی ہے۔ ہر نیوران تمام نیوران سے محوری پیداوار جمع کرتا ہے، انہیں سنپیٹک کوفیشنٹس سے وزن کرتا ہے اور اپنی وقت پر منحصر سرگرمی پیدا کرتا ہے۔ عارضی ارتقاء کا ایک وقت مستقل ہوتا ہے، جو عام طور پر ہر نیوران کے لیے مختلف ہو سکتا ہے۔ اس نیٹ ورک میں ایک عالمی توانائی فنکشن ہے جہاں پہلی دو اصطلاحات نیوران کے دھاروں کے حوالے سے لگرینجین فنکشن کے لیجنڈری ٹرانسفارم کی نمائندگی کرتی ہیں۔ اس توانائی فنکشن کے عارضی مشتق کا حساب متحرک راستوں پر کیا جا سکتا ہے (تفصیلات کے لیے دیکھیں) عدم مساوات کی آخری علامت یہ ہے کہ میٹرکس (یا اس کا ہم آہنگ حصہ) مثبت نیم یقینی ہو۔ اگر، اس کے علاوہ، توانائی کی تقریب کو غیر لکیری متحرک مساوات کے نیچے سے پابند کیا جاتا ہے تو اس بات کی ضمانت دی جاتی ہے کہ وہ ایک فکسڈ پوائنٹ پرکشش حالت میں ضم ہوجائے گی۔ لگرینجین افعال کے لحاظ سے اس نیٹ ورک کو تشکیل دینے کا فائدہ یہ ہے کہ اس سے ایکٹیویشن افعال کے مختلف انتخاب اور نیوران کے مختلف تعمیراتی انتظامات کے ساتھ آسانی سے تجربہ کرنا ممکن ہو جاتا ہے۔ ان تمام لچکدار انتخاب کے لیے کنورجنس کی شرائط کا تعین میٹرکس کی خصوصیات اور انرجی فنکشن پر نچلی حد کے وجود سے ہوتا ہے۔ ہائیرارکیکل ایسوسی ایٹیو میموری نیٹ ورک نیوران کو تہوں میں منظم کیا جا سکتا ہے تاکہ کسی دی گئی پرت میں ہر نیوران کا ایک ہی ایکٹیویشن فنکشن اور ایک ہی متحرک ٹائم اسکیل ہو۔ اگر ہم یہ فرض کرتے ہیں کہ پرت (لیٹرل کنکشن) کے اندر نیوران کے درمیان کوئی افقی کنکشن نہیں ہیں اور کوئی سکپ لیئر کنکشن نہیں ہیں، تو عام طور پر مکمل طور پر منسلک نیٹ ورک ()، () Fig.4 میں دکھائے گئے فن تعمیر میں کم ہو جاتا ہے۔ اس میں مسلسل متغیرات اور ایکٹیویشن افعال کے ذریعے بیان کردہ حالتوں کے ساتھ بار بار منسلک نیوران کی پرتیں ہوتی ہیں، انڈیکس نیٹ ورک کی تہوں کی گنتی کرتا ہے، اور انڈیکس اس پرت میں انفرادی نیوران کی گنتی کرتا ہے۔ ایکٹیویشن افعال پرت میں موجود تمام نیوران کی سرگرمیوں پر منحصر ہو سکتے ہیں۔ ہر پرت میں مختلف تعداد میں نیوران ہو سکتے ہیں۔ یہ نیوران سابقہ اور بعد کی تہوں میں نیوران کے ساتھ بار بار جڑے ہوتے ہیں۔ وزن کے میٹرکس جو تہوں میں نیوران کو جوڑتے ہیں اور ان کی نشاندہی اس طرح کی جاتی ہے (وزن کے لیے اوپری اشاریہ جات کی ترتیب نچلے اشاریہ جات کی ترتیب کے برابر ہوتی ہے، اوپر کی مثال میں اس کا مطلب یہ ہے کہ اشاریہ پرت میں نیوران کی گنتی کرتا ہے، اور اشاریہ پرت میں نیوران کی گنتی کرتا ہے)۔ فیڈ فارورڈ وزن اور فیڈ بیک وزن برابر ہیں۔ نیوران کی حالتوں کے لیے متحرک مساوات کو باؤنڈری کنڈیشنز کے طور پر لکھا جا سکتا ہے۔ روایتی فیڈ فارورڈ نیٹ ورکس سے ان مساوات کا بنیادی فرق دوسری اصطلاح کی موجودگی ہے، جو اونچی تہوں سے آنے والے تاثرات کے لیے ذمہ دار ہے۔ یہ اوپر سے نیچے کے اشارے نچلی تہوں میں نیوران کو پیش کردہ محرکات پر ان کے ردعمل کا فیصلہ کرنے میں مدد کرتے ہیں۔ عام ترکیب پر عمل کرتے ہوئے-th چھپی ہوئی پرت کے لیے لاگرانجین فنکشن متعارف کرانا آسان ہے، جو اس پرت میں موجود تمام نیوران کی سرگرمیوں پر منحصر ہے۔ اس پرت میں ایکٹیویشن افعال کو لاگرانجین کے جزوی مشتقات کے طور پر بیان کیا جا سکتا ہے۔ ان تعریفوں کے ساتھ توانائی (لیاپونوف) فنکشن کے ذریعے دیا جاتا ہے۔ اگر لاگرانجین افعال، یا مساوی طور پر ایکٹیویشن افعال، اس طرح سے منتخب کیے جاتے ہیں کہ ہر پرت کے لیے ہیسیئن مثبت نیم یقینی ہوں اور مجموعی توانائی نیچے سے محدود ہو، تو اس نظام کو ایک فکسڈ پوائنٹ پرکشش حالت میں ضم ہونے کی ضمانت دی جاتی ہے۔ اس توانائی فنکشن کا عارضی مشتق اس طرح دیا گیا ہے، درجہ بندی پرتوں والا نیٹ ورک درحقیقت عالمی توانائی فنکشن کے ساتھ ایک پرکشش نیٹ ورک ہے۔ اس نیٹ ورک کو مطابقت پذیری وزن کے ایک درجہ بندی سیٹ کے ذریعے بیان کیا جاتا ہے جسے ہر مخصوص مسئلے کے لیے سیکھا جا سکتا ہے۔ حوالہ جات اعصابی نیٹ ورک