Mountain car problem
মাউন্টেন কার, রিইনফোর্সমেন্ট লার্নিং-এর একটি স্ট্যান্ডার্ড টেস্টিং ডোমেইন, এমন একটি সমস্যা যেখানে একটি কম-চালিত গাড়ি অবশ্যই একটি খাড়া পাহাড়ে উঠতে হবে। যেহেতু মাধ্যাকর্ষণ গাড়ির ইঞ্জিনের চেয়ে শক্তিশালী, এমনকি পূর্ণ থ্রোটলেও, গাড়িটি কেবল খাড়া ঢালকে ত্বরান্বিত করতে পারে না। গাড়িটি একটি উপত্যকায় অবস্থিত এবং গাড়িটি ডানদিকের পাহাড়ের শীর্ষে লক্ষ্য অর্জন করতে সক্ষম হওয়ার আগে বিপরীত পাহাড়ে গাড়ি চালিয়ে সম্ভাব্য শক্তি কাজে লাগাতে শিখতে হবে। এই ক্ষেত্রটি বিভিন্ন রিইনফোর্সমেন্ট লার্নিং গবেষণাপত্রে পরীক্ষার কেন্দ্র হিসাবে ব্যবহৃত হয়েছে। ভূমিকা পাহাড়ি গাড়ির সমস্যা, যদিও মোটামুটি সহজ, সাধারণত প্রয়োগ করা হয় কারণ এর জন্য দুটি অবিচ্ছিন্ন চলক সম্পর্কে শেখার জন্য একটি শক্তিবৃদ্ধি শিক্ষণ এজেন্টের প্রয়োজন হয়ঃ অবস্থান এবং বেগ। গাড়ির যে কোনও নির্দিষ্ট অবস্থার (অবস্থান এবং বেগ) জন্য, এজেন্টকে বাম দিকে গাড়ি চালানোর, ডানদিকে গাড়ি চালানোর বা ইঞ্জিনটি একেবারেই ব্যবহার না করার সম্ভাবনা দেওয়া হয়। সমস্যার স্ট্যান্ডার্ড সংস্করণে, এজেন্ট প্রতিটি সময়ে একটি নেতিবাচক পুরস্কার পায় যখন লক্ষ্য পৌঁছায় না; প্রাথমিক সাফল্য না হওয়া পর্যন্ত এজেন্টের কাছে লক্ষ্য সম্পর্কে কোনও তথ্য থাকে না। অ্যান্ড্রু মুরের পিএইচডি থিসিস (1990)-এ পাহাড়ি গাড়ির সমস্যা প্রথম আবির্ভূত হয়। এটি পরে সিং এবং সাটনের রিইনফোর্সমেন্ট লিনিং পেপারে যোগ্যতার চিহ্ন সহ আরও কঠোরভাবে সংজ্ঞায়িত করা হয়েছিল। সমস্যাটি আরও ব্যাপকভাবে অধ্যয়ন করা হয় যখন সাটন এবং বার্টো তাদের বই রিইনফোর্সমেন্ট লার্নিংঃ অ্যান ইন্ট্রোডাকশন (1998)-এ এটি যুক্ত করেন। বছরের পর বছর ধরে সমস্যার অনেক সংস্করণ ব্যবহার করা হয়েছে, যেমন পুরস্কার ফাংশন, সমাপ্তি শর্ত এবং/অথবা প্রারম্ভিক অবস্থা পরিবর্তন করে। মাউন্টেন কার কিউ-লার্নিং সমাধানের জন্য ব্যবহৃত কৌশল এবং বিচ্ছিন্ন অবস্থার ম্যাপিং করার জন্য অনুরূপ কৌশলগুলি বিচ্ছিন্ন ক্রিয়াগুলিতে প্রসারিত করা দরকার যাতে সমস্যার অবিচ্ছিন্ন অবস্থার স্থান মোকাবেলা করতে সক্ষম হয়। পদ্ধতিগুলি প্রায়শই দুটি বিভাগের একটিতে পড়ে, স্টেট স্পেস ডিসক্রেটাইজেশন বা ফাংশন আনুমানিককরণ। পৃথকীকরণ এই পদ্ধতিতে, দুটি অবিচ্ছিন্ন অবস্থার চলককে প্রতিটি অবিচ্ছিন্ন চলককে একাধিক বিচ্ছিন্ন অবস্থায় পরিণত করে বিচ্ছিন্ন অবস্থায় ঠেলে দেওয়া হয়। এই পদ্ধতিটি সঠিকভাবে সুর করা পরামিতিগুলির সাথে কাজ করে তবে একটি অসুবিধা হল একটি রাজ্য থেকে সংগৃহীত তথ্য অন্য রাজ্যের মূল্যায়নের জন্য ব্যবহার করা হয় না। টাইল কোডিং ডিস্ক্রিটাইজেশন উন্নত করতে ব্যবহার করা যেতে পারে এবং একে অপরের থেকে অফসেট বালতির সেটে অবিচ্ছিন্ন ভেরিয়েবল ম্যাপিং জড়িত। প্রশিক্ষণের প্রতিটি ধাপ মূল্য ফাংশন আনুমানিকতার উপর ব্যাপক প্রভাব ফেলে কারণ যখন অফসেট গ্রিডগুলি সংক্ষিপ্ত করা হয়, তখন তথ্য ছড়িয়ে পড়ে। ফাংশন আনুমানিক ফাংশন আনুমানিক পর্বত গাড়ী সমাধান করার আরেকটি উপায়। আগে থেকে বেসিস ফাংশনগুলির একটি সেট বেছে নিয়ে বা সেগুলিকে গাড়ি চালনা হিসাবে তৈরি করে, এজেন্ট প্রতিটি রাজ্যে মান ফাংশন আনুমানিক করতে পারে। বিচ্ছিন্নকরণের মাধ্যমে তৈরি মান ফাংশনের ধাপে-ভিত্তিক সংস্করণের বিপরীতে, ফাংশন আনুমানিককরণ পর্বত গাড়ির ডোমেনের প্রকৃত মসৃণ কার্যকারিতা আরও পরিষ্কারভাবে অনুমান করতে পারে। যোগ্যতার চিহ্ন সমস্যার একটি আকর্ষণীয় দিক হল প্রকৃত পুরস্কারের বিলম্ব। সফল সমাপ্তি না হওয়া পর্যন্ত প্রতিনিধি লক্ষ্য সম্পর্কে জানতে সক্ষম হয় না। প্রতিটি ট্রায়ালের জন্য একটি সরল পদ্ধতির পরিপ্রেক্ষিতে গাড়িটি শুধুমাত্র গোলের পুরস্কার সামান্য ব্যাকআপ করতে পারে। এটি সরল বিচক্ষণতার জন্য একটি সমস্যা কারণ প্রতিটি বিচ্ছিন্ন অবস্থা শুধুমাত্র একবার ব্যাক আপ করা হবে, সমস্যাটি শিখতে আরও বেশি সংখ্যক পর্ব লাগবে। এই সমস্যাটি যোগ্যতার চিহ্নগুলির পদ্ধতির মাধ্যমে উপশম করা যেতে পারে, যা স্বয়ংক্রিয়ভাবে রাজ্যগুলিকে দেওয়া পুরষ্কারকে ব্যাকআপ করবে, নাটকীয়ভাবে শেখার গতি বাড়িয়ে তুলবে। যোগ্যতার চিহ্নগুলিকে সাময়িক পার্থক্য শেখার পদ্ধতি থেকে মন্টে কার্লো পদ্ধতি পর্যন্ত একটি সেতু হিসাবে দেখা যেতে পারে। প্রযুক্তিগত বিবরণ পাহাড়ি গাড়ির সমস্যা অনেক পুনরাবৃত্তির মধ্য দিয়ে গেছে। এই বিভাগটি সাটন (2008) থেকে স্ট্যান্ডার্ড সু-সংজ্ঞায়িত সংস্করণের উপর দৃষ্টি নিবদ্ধ করবে। অবস্থা চলক দ্বি-মাত্রিক অবিচ্ছিন্ন অবস্থা স্থান। ক্রিয়া এক-মাত্রিক পৃথক ক্রিয়া স্থান। প্রতিবার পদক্ষেপের জন্য পুরস্কারঃ আপডেট ফাংশন প্রতিবার পদক্ষেপের জন্যঃ শর্ত শুরু করা ঐচ্ছিকভাবে, অনেক বাস্তবায়নের মধ্যে আরও ভাল সাধারণীকৃত শিক্ষা দেখানোর জন্য উভয় পরামিতিগুলির মধ্যে এলোমেলোতা অন্তর্ভুক্ত রয়েছে। সমাপ্তি শর্ত সিমুলেশনটি শেষ করুন যখনঃ বৈচিত্র্য পর্বত গাড়ির অনেকগুলি সংস্করণ রয়েছে যা স্ট্যান্ডার্ড মডেল থেকে বিভিন্ন উপায়ে বিচ্যুত হয়। যে ভেরিয়েবলগুলি পরিবর্তিত হয় তার মধ্যে রয়েছে সমস্যার ধ্রুবক (মাধ্যাকর্ষণ এবং খাড়া) পরিবর্তনের মধ্যে সীমাবদ্ধ নয় তাই নির্দিষ্ট নীতিগুলির জন্য নির্দিষ্ট সুর অপ্রাসঙ্গিক হয়ে ওঠে এবং এজেন্টের ভিন্ন পদ্ধতিতে শেখার ক্ষমতাকে প্রভাবিত করার জন্য পুরস্কার ফাংশন পরিবর্তন করে। একটি উদাহরণ হল পুরস্কারকে গোল থেকে দূরত্বের সমান হিসাবে পরিবর্তন করা, অথবা পুরস্কারকে সর্বত্র শূন্যে এবং লক্ষ্যে একটিতে পরিবর্তন করা। উপরন্তু আমরা একটি 4ডি কন্টিনিউয়াস স্টেট স্পেস সহ একটি 3ডি মাউন্টেন গাড়ি ব্যবহার করতে পারি। তথ্যসূত্র বাস্তবায়ন সি + + মাউন্টেন কার সফ্টওয়্যার। রিচার্ড এস. সাটন। আরএল গ্লু পাইথনের সমর্থনে জাভা মাউন্টেন কার, ভাল আলোচনার সাথে (ব্লগ পোস্ট-ডাউন পেজ) মাউন্টেন কারকে যোগ্যতার সাথে প্রতিস্থাপনের সাথে আরও পড়া মাউন্টেন কার মেশিন লার্নিংয়ের সাথে গাউসিয়ান প্রক্রিয়াগুলি