Attractor network
একটি আকর্ষণীয় নেটওয়ার্ক হল এক ধরনের পুনরাবৃত্ত গতিশীল নেটওয়ার্ক, যা সময়ের সাথে সাথে একটি স্থিতিশীল প্যাটার্নের দিকে বিকশিত হয়। আকর্ষণীয় নেটওয়ার্কের নোডগুলি এমন একটি প্যাটার্নের দিকে একত্রিত হয় যা স্থির-বিন্দু (একটি একক অবস্থা), চক্রাকার (নিয়মিত পুনরাবৃত্ত অবস্থা সহ), বিশৃঙ্খল (স্থানীয়ভাবে কিন্তু বিশ্বব্যাপী অস্থির নয়) বা এলোমেলো (স্টোকাস্টিক) হতে পারে। অ্যাট্র্যাক্টর নেটওয়ার্কগুলি মূলত গণনামূলক স্নায়ুবিজ্ঞানে সহযোগী স্মৃতি এবং মোটর আচরণের মতো স্নায়বিক প্রক্রিয়াগুলির মডেল করার পাশাপাশি মেশিন লার্নিংয়ের জৈবিকভাবে অনুপ্রাণিত পদ্ধতিতে ব্যবহৃত হয়েছে। একটি আকর্ষণীয় নেটওয়ার্কে n নোডের একটি সেট থাকে, যা একটি d-মাত্রিক স্থানে ভেক্টর হিসাবে প্রতিনিধিত্ব করা যেতে পারে যেখানে n> d। সময়ের সাথে সাথে, নেটওয়ার্ক অবস্থা একটি ডি-ম্যানিফোল্ডে পূর্বনির্ধারিত অবস্থার একটি সেটের দিকে ঝুঁকে পড়ে; এগুলি আকর্ষণীয়। সংক্ষিপ্ত বিবরণ আকর্ষণকারী নেটওয়ার্কে, একটি আকর্ষণকারী (বা আকর্ষণীয় সেট) হল A অবস্থার একটি বদ্ধ উপসেট যার দিকে নোডের ব্যবস্থা বিবর্তিত হয়। একটি স্থির আকর্ষণ হল এমন একটি অবস্থা বা অবস্থার সেট যেখানে নেটওয়ার্কের বৈশ্বিক গতিশীলতা স্থিতিশীল হয়। চক্রাকার আকর্ষণগুলি একটি সীমা চক্রে অবস্থার একটি সেটের দিকে নেটওয়ার্ককে বিকশিত করে, যা বারবার অতিক্রম করা হয়। বিশৃঙ্খল আকর্ষণগুলি হল অ-পুনরাবৃত্ত সীমাবদ্ধ আকর্ষণ যা ক্রমাগত অতিক্রম করা হয়। নেটওয়ার্ক স্টেট স্পেস হল সমস্ত সম্ভাব্য নোড অবস্থার সেট। আকর্ষণকারী স্থান হল আকর্ষণকারীর উপর নোডের সেট। অ্যাট্র্যাক্টর নেটওয়ার্কগুলি ইনপুট প্যাটার্নের উপর ভিত্তি করে শুরু করা হয়। ইনপুট প্যাটার্নের মাত্রা নেটওয়ার্ক নোডের মাত্রা থেকে আলাদা হতে পারে। নেটওয়ার্কের গতিপথ বিবর্তনের পথ বরাবর অবস্থার সেট নিয়ে গঠিত কারণ নেটওয়ার্কটি আকর্ষণীয় অবস্থার দিকে একত্রিত হয়। আকর্ষণের অববাহিকা হল সেই রাজ্যগুলির সমষ্টি যা একটি নির্দিষ্ট আকর্ষণের দিকে অগ্রসর হয়। বিভিন্ন ধরনের নেটওয়ার্ক গতিবিদ্যার মডেল তৈরি করতে বিভিন্ন ধরনের আকর্ষণ ব্যবহার করা যেতে পারে। স্থির-বিন্দু আকর্ষণীয় নেটওয়ার্কগুলি সর্বাধিক প্রচলিত (হপফিল্ড নেটওয়ার্ক থেকে উদ্ভূত), অন্যান্য ধরনের নেটওয়ার্কগুলিও পরীক্ষা করা হয়। স্থির বিন্দুর আকর্ষণ হপফিল্ড নেটওয়ার্ক থেকে স্বাভাবিকভাবেই স্থির বিন্দুর আকর্ষণ অনুসরণ করে। প্রচলিতভাবে, এই মডেলের স্থির বিন্দুগুলি এনকোডেড স্মৃতির প্রতিনিধিত্ব করে। এই মডেলগুলি সহযোগী স্মৃতি, শ্রেণীবিভাগ এবং প্যাটার্ন সমাপ্তি ব্যাখ্যা করতে ব্যবহৃত হয়েছে। হপফিল্ড নেটগুলিতে একটি অন্তর্নিহিত শক্তি ফাংশন থাকে যা নেটওয়ার্ককে অ্যাসিম্পটোটিকভাবে একটি স্থির অবস্থার কাছে যেতে দেয়। এক শ্রেণীর পয়েন্ট অ্যাট্রাকটর নেটওয়ার্ক একটি ইনপুট দিয়ে শুরু করা হয়, যার পরে ইনপুটটি সরানো হয় এবং নেটওয়ার্কটি একটি স্থিতিশীল অবস্থার দিকে চলে যায়। আকর্ষণীয় নেটওয়ার্কের আরেকটি শ্রেণীতে পূর্বনির্ধারিত ওজন রয়েছে যা বিভিন্ন ধরনের ইনপুট দ্বারা পরীক্ষা করা হয়। যদি এই স্থিতিশীল অবস্থাটি ইনপুটের সময় এবং পরে ভিন্ন হয়, তবে এটি সহযোগী স্মৃতির একটি মডেল হিসাবে কাজ করে। যাইহোক, যদি ইনপুটের সময় এবং পরে অবস্থা আলাদা না হয়, তবে নেটওয়ার্কটি প্যাটার্ন সমাপ্তির জন্য ব্যবহার করা যেতে পারে। অন্যান্য স্থির আকর্ষণকারী লাইন আকর্ষণকারী এবং সমতল আকর্ষণকারী অকুলোমোটর নিয়ন্ত্রণের গবেষণায় ব্যবহৃত হয়। এই লাইন অ্যাট্র্যাক্টর বা নিউরাল ইন্টিগ্রেটরগুলি উদ্দীপনার প্রতিক্রিয়ায় চোখের অবস্থান বর্ণনা করে। ইঁদুরের মাথার দিকের মডেল তৈরি করতে রিং অ্যাট্রাকটর ব্যবহার করা হয়েছে। চক্রাকার আকর্ষণকারী কেন্দ্রীয় প্যাটার্ন জেনারেটর, নিউরনের মডেলিংয়ে সহায়ক, যা চিবানো, হাঁটা এবং শ্বাস-প্রশ্বাসের মতো প্রাণীদের মধ্যে দোলক ক্রিয়াকলাপ পরিচালনা করে। বিশৃঙ্খল আকর্ষণ বিশৃঙ্খল আকর্ষণ (যাকে অদ্ভুত আকর্ষণও বলা হয়) গন্ধ শনাক্তকরণে নিদর্শন প্রতিফলিত করার জন্য অনুমান করা হয়েছে। যদিও বিশৃঙ্খল আকর্ষণকারীদের সীমা চক্রের উপর আরও দ্রুত একত্রিত হওয়ার সুবিধা রয়েছে, তবুও এই তত্ত্বকে সমর্থন করার জন্য এখনও কোনও পরীক্ষামূলক প্রমাণ নেই। অবিচ্ছিন্ন আকর্ষণ ক্রমাগত আকর্ষণকারীদের প্রতিবেশী স্থিতিশীল অবস্থা (ফিক্স পয়েন্ট) (যাকে অবিচ্ছিন্ন আকর্ষণকারী নিউরাল নেটওয়ার্কও বলা হয়) একটি অবিচ্ছিন্ন পরিবর্তনশীলের প্রতিবেশী মানগুলির জন্য কোড যেমন মাথার দিক বা স্থানের প্রকৃত অবস্থান। রিং আকর্ষণ নিউরনের একটি নির্দিষ্ট টপোলজি সহ অবিচ্ছিন্ন আকর্ষণের একটি উপপ্রকার (1-মাত্রিক জন্য রিং এবং 2-মাত্রিক নেটওয়ার্কের জন্য টরাস বা বাঁকানো টরাস)। গ্রিড কোষের পর্যবেক্ষিত ক্রিয়াকলাপ সফলভাবে মধ্যবর্তী এন্টোরিনাল কর্টেক্সে রিং আকর্ষণকারীদের উপস্থিতি ধরে নিয়ে ব্যাখ্যা করা হয়। সম্প্রতি, এটি প্রস্তাব করা হয়েছে যে এনটোরিনাল কর্টেক্সের পার্শ্বীয় অংশে অনুরূপ রিং আকর্ষণকারী উপস্থিত রয়েছে এবং তাদের ভূমিকা নতুন এপিসোডিক স্মৃতি নিবন্ধনের জন্য প্রসারিত। বাস্তবায়ন অ্যাট্র্যাক্টর নেটওয়ার্কগুলি মূলত স্থির-বিন্দু আকর্ষণ ব্যবহার করে মেমরি মডেল হিসাবে প্রয়োগ করা হয়েছে। যাইহোক, আকর্ষণীয় ল্যান্ডস্কেপ এবং নেটওয়ার্ক তারের নকশা তৈরিতে অসুবিধার কারণে এগুলি গণনার উদ্দেশ্যে মূলত অবাস্তব হয়েছে, যার ফলে জাল আকর্ষণ এবং আকর্ষণের দুর্বল অবস্থার অববাহিকা তৈরি হয়েছে। উপরন্তু, কে-নিকটতম প্রতিবেশী শ্রেণীবিভাগের মতো অন্যান্য পদ্ধতির তুলনায় আকর্ষণীয় নেটওয়ার্কগুলির প্রশিক্ষণ সাধারণত গণনামূলকভাবে ব্যয়বহুল। যাইহোক, বিভিন্ন জৈবিক ক্রিয়াকলাপের সাধারণ বোঝার ক্ষেত্রে তাদের ভূমিকা, যেমন, লোকোমোটর ফাংশন, মেমরি, সিদ্ধান্ত গ্রহণ, কয়েকটি নাম, তাদের জৈবিকভাবে বাস্তবসম্মত মডেল হিসাবে আরও আকর্ষণীয় করে তোলে। হপফিল্ড নেটওয়ার্কগুলি হপফিল্ড অ্যাট্রাকটর নেটওয়ার্কগুলি সহযোগী মেমরির সাথে আকর্ষণীয় নেটওয়ার্কগুলির একটি প্রাথমিক বাস্তবায়ন। এই পুনরাবৃত্ত নেটওয়ার্কগুলি ইনপুট দ্বারা আরম্ভ করা হয় এবং একটি নির্দিষ্ট-বিন্দু আকর্ষণকারীর দিকে ঝুঁকে থাকে। বিচ্ছিন্ন সময়ে আপডেট ফাংশনটি হল, যেখানে নেটওয়ার্কে নোডগুলির একটি ভেক্টর এবং তাদের সংযোগ বর্ণনা করে একটি প্রতিসম ম্যাট্রিক্স। অবিচ্ছিন্ন সময় আপডেট হল। দ্বিমুখী নেটওয়ার্কগুলি হপফিল্ড নেটওয়ার্কের অনুরূপ, বিশেষ ক্ষেত্রে ম্যাট্রিক্সটি একটি ব্লক ম্যাট্রিক্স। স্থানীয় আকর্ষণকারী নেটওয়ার্ক জেমেল এবং মোজার (2001) নেটওয়ার্কের প্রতিটি সংযোগ দ্বারা একাধিক আকর্ষণের এনকোডিং থেকে উদ্ভূত জাল আকর্ষণের সংখ্যা হ্রাস করার জন্য একটি পদ্ধতির প্রস্তাব করেছিলেন। স্থানীয় আকর্ষণীয় নেটওয়ার্কগুলি স্থানীয়ভাবে জ্ঞানকে এনকোড করে আকর্ষণকারীদের প্রতিনিধিত্বকারী গাউসিয়ানদের মিশ্রণের উপর একটি প্রত্যাশা-সর্বাধিককরণ অ্যালগরিদম প্রয়োগ করে, যাতে নেটওয়ার্কে মুক্ত শক্তি হ্রাস করা যায় এবং শুধুমাত্র সবচেয়ে প্রাসঙ্গিক আকর্ষণকে একত্রিত করা যায়। এর ফলে নিম্নলিখিত আপডেট সমীকরণগুলি পাওয়া যায়ঃ আকর্ষণকারীদের ক্রিয়াকলাপ নির্ধারণ করুনঃ নেটওয়ার্কের পরবর্তী অবস্থা নির্ধারণ করুনঃ নেটওয়ার্কের মাধ্যমে আকর্ষণকারীর প্রস্থ নির্ধারণ করুনঃ (অববাহিকার শক্তি নির্দেশ করে, অববাহিকার কেন্দ্র নির্দেশ করে। নেটের ইনপুটকে বোঝায়, এটি একটি অ-স্বাভাবিক গাউসিয়ান বন্টন যা কেন্দ্রিক এবং স্ট্যান্ডার্ড বিচ্যুতি সমান)। তারপরে নেটওয়ার্কটি পুনরায় পর্যবেক্ষণ করা হয় এবং উপরের পদক্ষেপগুলি একত্রিত না হওয়া পর্যন্ত পুনরাবৃত্তি করা হয়। মডেলটি দুটি জৈবিকভাবে প্রাসঙ্গিক ধারণাকেও প্রতিফলিত করে। মডেলের পরিবর্তন সম্প্রতি পরিদর্শন করা আকর্ষণের দিকে দ্রুত একত্রীকরণের অনুমতি দিয়ে প্রাথমিক উদ্দীপনা তৈরি করে। উপরন্তু, আকর্ষণকারীদের সংক্ষিপ্ত ক্রিয়াকলাপ একটি গ্যাং প্রভাবকে অনুমতি দেয় যা কাছাকাছি দুটি আকর্ষণকে অন্যের অববাহিকাকে পারস্পরিকভাবে শক্তিশালী করে তোলে। রিকনসোলিডেশন অ্যাট্রাকটর নেটওয়ার্ক সিগেলম্যান (2008) স্থানীয় আকর্ষণকারী নেটওয়ার্ক মডেলকে সাধারণ করে তুলেছেন যাতে আকর্ষণকারীদের নিজেদের সুর অন্তর্ভুক্ত করা যায়। এই অ্যালগরিদমটি নিম্নলিখিত পরিবর্তনগুলি সহ উপরের ই. এম পদ্ধতিটি ব্যবহার করেঃ (1) অ্যালগরিদমের দ্রুত সমাপ্তি যখন আকর্ষণকারীর ক্রিয়াকলাপ সর্বাধিক বিতরণ করা হয়, বা যখন উচ্চ এনট্রপি অতিরিক্ত স্মৃতির প্রয়োজনীয়তার পরামর্শ দেয়, এবং (2) আকর্ষণকারীদের নিজেদের আপডেট করার ক্ষমতাঃ, এর পরিবর্তনের ধাপের আকারের পরামিতি কোথায়। এই মডেলটি প্রাণীদের মধ্যে স্মৃতি পুনর্বিবেচনার প্রতিফলন ঘটায় এবং স্মৃতি পরীক্ষায় পাওয়া কিছু একই গতিবিদ্যা দেখায়। কার্নেল ভিত্তিক আকর্ষণীয় নেটওয়ার্কগুলির মতো আকর্ষণীয় নেটওয়ার্কগুলির আরও উন্নয়নগুলি, জটিল গঠনমূলক কাঠামোগুলিতে প্যাটার্ন সম্পন্ন করার জন্য উচ্চ-স্তরের নমনীয়তা বজায় রেখে, একটি শেখার অ্যালগরিদম হিসাবে আকর্ষণীয় নেটওয়ার্কগুলির গণনামূলক সম্ভাব্যতা উন্নত করেছে। রেফারেন্স নেটওয়ার্ক