Learning automaton
লার্নিং অটোমেটন হল এক ধরনের মেশিন লার্নিং অ্যালগরিদম যা 1970-এর দশক থেকে অধ্যয়ন করা হয়েছে। স্বয়ংক্রিয়ভাবে শেখা পরিবেশ থেকে অতীত অভিজ্ঞতার উপর ভিত্তি করে তাদের বর্তমান কর্ম নির্বাচন করে। পরিবেশটি যদি অপ্রচলিত হয় এবং একটি মার্কভ সিদ্ধান্ত প্রক্রিয়া (এমডিপি) ব্যবহার করা হয় তবে এটি শক্তিবৃদ্ধি শিক্ষার পরিসরে পড়বে। অটোমেটা শেখার ক্ষেত্রে ইতিহাস গবেষণার সূত্রপাত 1960-এর দশকের গোড়ার দিকে সোভিয়েত ইউনিয়নে মাইকেল লভোভিচ সেটলিন-এর কাজ থেকে পাওয়া যায়। কিছু সহকর্মীদের সাথে তিনি অটোমাটা ফাংশন বর্ণনা করতে ম্যাট্রিক্স ব্যবহার করার বিষয়ে গবেষণাপত্রের একটি সংগ্রহ প্রকাশ করেছিলেন। উপরন্তু, সেটলিন যুক্তিসঙ্গত এবং সমষ্টিগত স্বয়ংক্রিয় আচরণ এবং স্বয়ংক্রিয় গেমগুলিতে কাজ করেছিলেন। 1960-এর দশকে মার্কিন যুক্তরাষ্ট্রে গবেষণা দ্বারা স্বয়ংক্রিয় শেখার বিষয়টিও তদন্ত করা হয়েছিল। যাইহোক, লার্নিং অটোমেটন শব্দটি 1974 সালে নরেন্দ্র এবং থাথাচার একটি সমীক্ষা পত্রে প্রবর্তনের আগে পর্যন্ত ব্যবহার করা হয়নি। একটি লার্নিং অটোমেটন একটি এলোমেলো পরিবেশে অবস্থিত একটি অভিযোজিত সিদ্ধান্ত গ্রহণের ইউনিট যা তার পরিবেশের সাথে পুনরাবৃত্ত মিথস্ক্রিয়ার মাধ্যমে সর্বোত্তম ক্রিয়াটি শেখে। ক্রিয়াগুলি একটি নির্দিষ্ট সম্ভাব্যতা বন্টন অনুসারে বেছে নেওয়া হয় যা একটি নির্দিষ্ট ক্রিয়া সম্পাদন করে অটোমেটন প্রাপ্ত পরিবেশগত প্রতিক্রিয়ার উপর ভিত্তি করে আপডেট করা হয়। শক্তিবৃদ্ধি শেখার ক্ষেত্রে, স্বয়ংক্রিয় শেখার বিষয়টিকে নীতি পুনরাবৃত্তিকারী হিসাবে চিহ্নিত করা হয়। অন্যান্য শক্তিবৃদ্ধি শিক্ষার্থীদের বিপরীতে, নীতি পুনরাবৃত্তিকারীরা সরাসরি নীতি π পরিচালনা করে। নীতি পুনরাবৃত্তিকারীদের আরেকটি উদাহরণ হল বিবর্তনীয় অ্যালগরিদম। আনুষ্ঠানিকভাবে, নরেন্দ্র এবং থাথাচার একটি স্টোকাস্টিক অটোমেটনকে সংজ্ঞায়িত করেছেনঃ সম্ভাব্য ইনপুটগুলির একটি সেট এক্স, সম্ভাব্য অভ্যন্তরীণ অবস্থার একটি সেট, সম্ভাব্য আউটপুটগুলির একটি সেট α = {α1,., r ≤ s সহ সম্ভাব্য আউটপুট বা ক্রিয়াগুলির αr, একটি প্রাথমিক অবস্থা সম্ভাব্যতা ভেক্টর p (0) = ′p1 (0), ps (0) ′, একটি গণনাযোগ্য ফাংশন A যা প্রতিটি সময় ধাপের পরে t থেকে p (t + 1) উৎপন্ন করে, বর্তমান ইনপুট, এবং বর্তমান অবস্থা, এবং একটি ফাংশন G: φ → α যা প্রতিটি সময় ধাপে আউটপুট তৈরি করে। তাদের গবেষণাপত্রে, তারা কেবল r = s এবং G বাইজেক্টিভ সহ স্টোকাস্টিক অটোমাটা তদন্ত করে, যা তাদের ক্রিয়া এবং অবস্থাকে বিভ্রান্ত করতে দেয়। এই ধরনের অটোমেটন-এর অবস্থা একটি "বিচ্ছিন্ন-অবস্থা বিচ্ছিন্ন-পরামিতি মার্কভ প্রক্রিয়া"-র অবস্থার সাথে মিলে যায়। প্রতিটি পর্যায়ে t = 0,1,2,3,., অটোমেটন তার পরিবেশ থেকে একটি ইনপুট পড়ে, পি (টি) থেকে পি (টি + 1) এ দ্বারা আপডেট করে, এলোমেলোভাবে সম্ভাব্যতা পি (টি + 1) অনুসারে একটি উত্তরসূরি অবস্থা নির্বাচন করে এবং সংশ্লিষ্ট ক্রিয়াটি আউটপুট করে। স্বয়ংক্রিয় যন্ত্রের পরিবেশ ক্রিয়াটি পড়ে এবং পরবর্তী ইনপুটটি স্বয়ংক্রিয় যন্ত্রের কাছে পাঠায়। প্রায়শই, ইনপুট সেট X = {0,1} ব্যবহার করা হয়, যার মধ্যে 0 এবং 1 যথাক্রমে একটি অ-জরিমানা এবং পরিবেশের একটি পেনাল্টি প্রতিক্রিয়ার সাথে সম্পর্কিত; এই ক্ষেত্রে, অটোমেটনকে পেনাল্টি প্রতিক্রিয়াগুলির সংখ্যা হ্রাস করতে শিখতে হবে, এবং অটোমেটন এবং পরিবেশের প্রতিক্রিয়া লুপকে "পি-মডেল" বলা হয়। আরও সাধারণভাবে, একটি "কিউ-মডেল" একটি নির্বিচারে সীমাবদ্ধ ইনপুট সেট এক্স-এর অনুমতি দেয় এবং একটি "এস-মডেল" বাস্তব সংখ্যার ব্যবধান [0,1] এক্স হিসাবে ব্যবহার করে। নিউক্যাসল বিশ্ববিদ্যালয়ের মাইক্রো সিস্টেমস (মাইক্রো সিস্টেমস) রিসার্চ গ্রুপ একক লার্নিং অটোমেটন-এর একটি দৃশ্যমান ডেমো/আর্ট ওয়ার্ক তৈরি করেছে। ফাইনাইট অ্যাকশন-সেট লার্নিং অটোমাটা (এফএএলএ) হল লার্নিং অটোমাটার একটি শ্রেণী যার জন্য সম্ভাব্য ক্রিয়াগুলির সংখ্যা সীমাবদ্ধ বা আরও গাণিতিক পরিভাষায়, যার জন্য অ্যাকশন-সেটের আকার সীমাবদ্ধ। আরও দেখুন রিইনফোর্সমেন্ট লার্নিং গেম থিওরি অটোমাটা থিওরি সাহিত্য ফিলিপ আরানজুল্লা এবং জন মেলোর (হোম পেজ): মেলোর জে এবং আরানজুল্লা পি (2000): "আইপি নেটওয়ার্কগুলির জন্য অটোমাটা ভিত্তিক রাউটিং স্কিমগুলি শেখার সাথে একটি এস-মডেল প্রতিক্রিয়া পরিবেশ ব্যবহার করা", প্রোক। অষ্টম আই. এফ. আই. পি কর্মশালা কর্মক্ষমতা মডেলিং এবং এ. টি. এম এবং আই. পি নেটওয়ার্কের মূল্যায়ন, পৃষ্ঠা <আই. ডি1> 12, ইলক্লে, ইউ. কে। আরানজুল্লা পি এবং মেলোর জে (1997): "দুটি রাউটিং অ্যালগরিদমের তুলনা করা যখন এটিএম নেটওয়ার্কে প্রয়োগ করা হয় তখন কম সংকেতের প্রয়োজন হয়", প্রোক। চৌদ্দতম ইউকে টেলিট্রাফিক সিম্পোজিয়াম অন পারফরম্যান্স ইঞ্জিনিয়ারিং ইন ইনফরমেশন সিস্টেমস, পিপি 20/1-20 4, ইউএমআইএসটি, ম্যানচেস্টার, ইউকে। সেটলিন এম. এল. অটোমেশন তত্ত্ব এবং জৈবিক ব্যবস্থার মডেলিং। একাডেমিক প্রেস; 1973। রেফারেন্স মেশিন লার্নিং নিয়ন্ত্রণ তত্ত্ব