Automatic basis function construction
মেশিন লার্নিং-এ, স্বয়ংক্রিয় বেসিস ফাংশন নির্মাণ (বা বেসিস আবিষ্কার) হল টাস্ক-ইন্ডিপেন্ডেন্ট বেসিস ফাংশনের একটি সেট খোঁজার গাণিতিক পদ্ধতি যা স্টেট স্পেসকে একটি নিম্ন-মাত্রিক এম্বেডিংয়ে ম্যাপ করে, যদিও এখনও মান ফাংশনকে সঠিকভাবে উপস্থাপন করে। স্বয়ংক্রিয় ভিত্তি নির্মাণ ডোমেনের পূর্ব জ্ঞান থেকে স্বাধীন, যা এটিকে ভালভাবে সম্পাদন করতে দেয় যেখানে বিশেষজ্ঞ-নির্মিত ভিত্তি ফাংশন তৈরি করা কঠিন বা অসম্ভব। রিইনফোর্সমেন্ট লার্নিং (আরএল)-এ, বেশিরভাগ বাস্তব-বিশ্বের মার্কভ ডিসিশন প্রসেস (এমডিপি) সমস্যাগুলির বড় বা অবিচ্ছিন্ন অবস্থা রয়েছে, যা সাধারণত দক্ষতার সাথে উপস্থাপন করার জন্য কিছু ধরণের আনুমানিকতার প্রয়োজন হয়। রৈখিক ফাংশন আনুমানিক (এল. এফ. এ) তাদের কম তাত্ত্বিক জটিলতার জন্য ব্যাপকভাবে গৃহীত হয়। আরও ভাল অনুমানের জন্য দুটি উপ-সমস্যা সমাধান করতে হবেঃ ওজন অপ্টিমাইজেশন এবং ভিত্তি নির্মাণ। দ্বিতীয় সমস্যাটি সমাধান করার একটি উপায় হল বিশেষ বেসিস ফাংশন ডিজাইন করা। এই বেসিস ফাংশনগুলি নির্দিষ্ট কাজগুলিতে ভাল কাজ করে তবে উল্লেখযোগ্যভাবে ডোমেনে সীমাবদ্ধ। এইভাবে বিস্তৃত প্রয়োগের জন্য স্বয়ংক্রিয়ভাবে ভিত্তি নির্মাণ ফাংশন তৈরি করা পছন্দ করা হয়। সমস্যার সংজ্ঞা একটি মার্কভ সিদ্ধান্ত প্রক্রিয়া সীমাবদ্ধ অবস্থার স্থান এবং স্থির নীতির সাথে একটি 5-টুপল দিয়ে সংজ্ঞায়িত করা হয়, যার মধ্যে সীমাবদ্ধ অবস্থার স্থান, সীমাবদ্ধ কর্মের স্থান, পুরস্কার ফাংশন, ছাড়ের ফ্যাক্টর এবং ট্রানজিশন মডেল অন্তর্ভুক্ত রয়েছে। বেলম্যান সমীকরণকে এভাবে সংজ্ঞায়িত করা হয়ঃ যখন উপাদানগুলির সংখ্যা কম হয়, তখন সাধারণত ট্যাবুলার ফর্ম হিসাবে বজায় রাখা হয়। যদিও এই ধরনের প্রতিনিধিত্বের জন্য খুব বড় হয়। সাধারণত বেসিস ফাংশনের রৈখিক সংমিশ্রণের মাধ্যমে আনুমানিক করা হয়, যাতে আমাদের থাকেঃ এখানে একটি ম্যাট্রিক্স রয়েছে যেখানে প্রতিটি সারিতে সংশ্লিষ্ট সারির জন্য একটি বৈশিষ্ট্য ভেক্টর থাকে, যা সাধারণত n পরামিতি সহ একটি ওজন ভেক্টর এবং। বেসিস কনস্ট্রাকশন স্বয়ংক্রিয়ভাবে আরও ভাল বেসিস ফাংশন নির্মাণের উপায়গুলির সন্ধান করে যা মান ফাংশনকে ভালভাবে উপস্থাপন করতে পারে। একটি ভাল নির্মাণ পদ্ধতিতে নিম্নলিখিত বৈশিষ্ট্যগুলি থাকা উচিতঃ অনুমান এবং বাস্তব মান ফাংশনের মধ্যে ছোট ত্রুটি সীমা মান ফাংশনের জায়গায় অর্থোগোনাল ভিত্তি গঠন স্থির মান ফাংশনের দ্রুত জনপ্রিয় পদ্ধতিতে মিলিত হয় প্রোটো-মান ভিত্তিতে এই পদ্ধতিতে, মহাদেবন ভিত্তি ফাংশনের একটি সেট নির্ধারণ করতে রাজ্যগুলির মধ্যে সংযোগ গ্রাফ বিশ্লেষণ করেন। স্বাভাবিক গ্রাফ ল্যাপলেসিয়ানকে এইভাবে সংজ্ঞায়িত করা হয়েছেঃ এখানে ডাব্লু একটি সংলগ্ন ম্যাট্রিক্স যা স্থির নীতি এমডিপির অবস্থার প্রতিনিধিত্ব করে যা একটি অনির্দিষ্ট গ্রাফ (এন, ই) গঠন করে। ডি হল নোডের ডিগ্রির সঙ্গে সম্পর্কিত একটি তির্যক ম্যাট্রিক্স। বিচ্ছিন্ন অবস্থার জায়গায়, দুটি অবস্থা সংযুক্ত আছে কিনা তা কেবল পরীক্ষা করে সংলগ্ন ম্যাট্রিক্স তৈরি করা যেতে পারে এবং ডাব্লু-এর প্রতিটি সারির যোগফল দিয়ে ডি গণনা করা যেতে পারে। অবিচ্ছিন্ন অবস্থার জায়গায়, আমরা ডাব্লু-এর র্যান্ডম ওয়াক ল্যাপলেসিয়ান নিতে পারি। এই বর্ণালী কাঠামোটি মান ফাংশন আনুমানিক (ভিএফএ)-এর জন্য ব্যবহার করা যেতে পারে। নির্দিষ্ট নীতির পরিপ্রেক্ষিতে, প্রান্তের ওজন সংশ্লিষ্ট অবস্থার রূপান্তর সম্ভাবনা দ্বারা নির্ধারিত হয়। মসৃণ মান অনুমান পেতে, ডিফিউশন ওয়েভলেট ব্যবহার করা হয়। ক্রাইলভ ভিত্তি ক্রাইলভ ভিত্তি নির্মাণ এলোমেলো হাঁটার পরিবর্তে প্রকৃত রূপান্তর ম্যাট্রিক্স ব্যবহার করে। এই পদ্ধতির অনুমান হল যে ট্রানজিশন মডেল পি এবং রিওয়ার্ড আর উপলব্ধ। নিউম্যান সিরিজের ভেক্টরগুলি সকলের জন্য চিহ্নিত করা হয়। এটি দেখায় যে ক্রাইলভ স্পেস দ্বারা বিস্তৃত যে কোনও মান ফাংশনকে উপস্থাপন করার জন্য যথেষ্ট, এবং m হল এর ন্যূনতম বহুপদের ডিগ্রি। ধরুন ন্যূনতম পলিনোমিয়ালটি, এবং আমাদের আছে, মান ফাংশনটি এইভাবে লেখা যেতে পারেঃ অ্যালগরিদম অগমেন্টেড ক্রাইলভ পদ্ধতি হল পি-এর শীর্ষ বাস্তব আইগেনভেক্টর যদি তা হয়; শেষ হয় যদি শেষ হয় তবে বিরতি; শেষ হয় যদি শেষ হয় k-এর জন্যঃ ভিত্তিতে আইগেনভেক্টরের সংখ্যা l: ভেক্টরের মোট সংখ্যা বেলম্যান ত্রুটি ভিত্তিক বেলম্যান ত্রুটি (বা বিইবিএফ) হিসাবে সংজ্ঞায়িত করা হয়ঃ আলগাভাবে বলতে গেলে, বেলম্যান ত্রুটি সর্বোত্তম মান ফাংশনের দিকে নির্দেশ করে। বিইবিএফ-এর ক্রম একটি বেসিস স্পেস গঠন করে যা বাস্তব মান ফাংশন স্পেসের অর্থোগোনাল; এইভাবে পর্যাপ্ত সংখ্যক বিইবিএফ-এর সাথে, যে কোনও মান ফাংশনকে সঠিকভাবে উপস্থাপন করা যেতে পারে। অ্যালগরিদম বিইবিএফ পর্যায় পর্যায় i = 1,; পর্যায় বর্তমান ভিত্তি ফাংশন অনুযায়ী ওজন ভেক্টর গণনা করে; দ্বারা নতুন বেলম্যান ত্রুটি গণনা করে; নতুন ভিত্তি ফাংশন গঠন করতে বেলম্যান ত্রুটি যোগ করুনঃ; এন অভিসরণ পর্যন্ত পুনরাবৃত্তির সংখ্যাকে উপস্থাপন করে। ":" মানে ম্যাট্রিক্স বা ভেক্টরের সংমিশ্রণ। বেলম্যান গড় রিওয়ার্ড বেস বেলম্যান গড় রিওয়ার্ড বেস (বা বিএআরবি) ক্রিলোভ বেসের অনুরূপ, তবে রিওয়ার্ড ফাংশনটি গড় সামঞ্জস্যপূর্ণ ট্রানজিশন ম্যাট্রিক্স দ্বারা প্রসারিত হচ্ছে। এখানে অনেক পদ্ধতি দ্বারা গণনা করা যেতে পারে। বি. ই. বি. এফ-এর তুলনায় বি. এ. আর. বি দ্রুত একত্রিত হয় এবং ক্রাইলভ যখন 1-এর কাছাকাছি থাকে। অ্যালগরিদম বি. এ. আর. বি-র পর্যায় পর্যায় i = 1,; পর্যায় বর্তমান বেসিস ফাংশন অনুযায়ী ওজন ভেক্টর গণনা করে; নতুন বেসিস গণনা করেঃ, এবং নতুন বেস ম্যাট্রিক্স গঠনের জন্য এটি যোগ করে; এন অভিসরণ পর্যন্ত পুনরাবৃত্তির সংখ্যাকে উপস্থাপন করে। ":" মানে ম্যাট্রিক্স বা ভেক্টরের সংমিশ্রণ। আলোচনা ও বিশ্লেষণ দুটি প্রধান ধরনের ভিত্তি নির্মাণ পদ্ধতি রয়েছে। প্রথম ধরনের পদ্ধতিগুলি হল পুরস্কার-সংবেদনশীল, যেমন ক্রাইলভ এবং বিইবিএফ; তারা ট্রানজিশন ম্যাট্রিক্সের মাধ্যমে জ্যামিতিকভাবে পুরস্কার ফাংশনকে প্রসারিত করে। যাইহোক, যখন ডিসকাউন্ট ফ্যাক্টর 1-এর কাছাকাছি আসে, ক্রাইলভ এবং বিইবিএফগুলি ধীরে ধীরে একত্রিত হয়। এর কারণ হল ক্রাইলভ ভিত্তিক ত্রুটি পদ্ধতিগুলি চেবিশেভ পলিনোমিয়াল বাউন্ড দ্বারা সীমাবদ্ধ। এই সমস্যা সমাধানের জন্য বি. এ. আর. বি-র মতো পদ্ধতি প্রস্তাব করা হয়েছে। বি. এ. আর. বি হল ড্রাজিন ঘাঁটির একটি ক্রমবর্ধমান রূপ, এবং বড় হয়ে গেলে ক্রাইলভ এবং বি. ই. বি. এফ-এর চেয়ে দ্রুত একত্রিত হয়। আরেকটি প্রকার হল গ্রাফ ল্যাপালেসিয়ান থেকে প্রাপ্ত পুরস্কার-অসংবেদনশীল প্রোটো মান ভিত্তিক ফাংশন। এই পদ্ধতিটি গ্রাফের তথ্য ব্যবহার করে, তবে সংলগ্ন ম্যাট্রিক্সের নির্মাণ এই পদ্ধতিটি বিশ্লেষণ করা কঠিন করে তোলে। আরও দেখুন গতিশীল প্রোগ্রামিং বেলম্যান সমীকরণ সর্বোত্তম নিয়ন্ত্রণ রেফারেন্স বাহ্যিক লিঙ্ক UMASS ALL ল্যাব সর্বোত্তম সিদ্ধান্ত গতিশীল প্রোগ্রামিং যাদৃচ্ছিক নিয়ন্ত্রণ