Stability (learning theory)
স্থিতিশীলতা, যা অ্যালগরিদমিক স্থায়িত্ব নামেও পরিচিত, গণনামূলক শিক্ষণ তত্ত্বের একটি ধারণা যে কীভাবে একটি মেশিন লার্নিং অ্যালগরিদম আউটপুট তার ইনপুটগুলিতে ছোট ছোট বিশৃঙ্খলার সাথে পরিবর্তিত হয়। একটি স্থিতিশীল লার্নিং অ্যালগরিদম এমন একটি পদ্ধতি যার জন্য প্রশিক্ষণের তথ্য সামান্য পরিবর্তন করা হলে ভবিষ্যদ্বাণী খুব বেশি পরিবর্তিত হয় না। উদাহরণস্বরূপ, একটি মেশিন লার্নিং অ্যালগরিদম বিবেচনা করুন যা একটি প্রশিক্ষণ সেট হিসাবে হাতে লেখা অক্ষরের 1000 টি উদাহরণ এবং তাদের লেবেল ("এ" থেকে "জেড") ব্যবহার করে বর্ণমালার হাতে লেখা অক্ষরগুলি সনাক্ত করার জন্য প্রশিক্ষিত করা হচ্ছে। এই প্রশিক্ষণ সেটটি সংশোধন করার একটি উপায় হল একটি উদাহরণ বাদ দেওয়া, যাতে হাতে লেখা চিঠি এবং তাদের লেবেলের শুধুমাত্র 999টি উদাহরণ পাওয়া যায়। একটি স্থিতিশীল লার্নিং অ্যালগরিদম 1000-উপাদান এবং 999-উপাদান প্রশিক্ষণ সেট উভয়ের সাথে একটি অনুরূপ শ্রেণীবিভাগ তৈরি করবে। ভাষা শেখা থেকে শুরু করে পদার্থবিজ্ঞান ও প্রকৌশলের বিপরীত সমস্যা পর্যন্ত বিভিন্ন ধরনের শেখার সমস্যার জন্য স্থিতিশীলতা অধ্যয়ন করা যেতে পারে, কারণ এটি শেখা তথ্যের প্রকারের পরিবর্তে শেখার প্রক্রিয়ার একটি বৈশিষ্ট্য। স্থিতিশীলতার অধ্যয়ন 2000-এর দশকে গণনামূলক শিক্ষণ তত্ত্বে গুরুত্ব অর্জন করে যখন এটি সাধারণীকরণের সাথে একটি সংযোগ রয়েছে বলে দেখানো হয়। এটি দেখানো হয়েছিল যে শেখার অ্যালগরিদমগুলির বড় শ্রেণীর জন্য, বিশেষত অভিজ্ঞতাগত ঝুঁকি হ্রাস অ্যালগরিদমগুলির জন্য, নির্দিষ্ট ধরনের স্থিতিশীলতা ভাল সাধারণীকরণ নিশ্চিত করে। ইতিহাস একটি মেশিন লার্নিং সিস্টেম ডিজাইনের একটি কেন্দ্রীয় লক্ষ্য হল নিশ্চিত করা যে লার্নিং অ্যালগরিদম একটি সীমাবদ্ধ সংখ্যার উপর প্রশিক্ষিত হওয়ার পরে নতুন উদাহরণগুলিতে সাধারণীকরণ করবে বা সঠিকভাবে সম্পাদন করবে। 1990-এর দশকে, তত্ত্বাবধানে শেখার অ্যালগরিদমগুলির জন্য সাধারণীকরণের সীমা অর্জনের ক্ষেত্রে মাইলফলক পৌঁছেছিল। ঐতিহাসিকভাবে সাধারণীকরণ প্রমাণ করার জন্য যে কৌশলটি ব্যবহার করা হয়েছিল তা ছিল একটি অ্যালগরিদমকে সামঞ্জস্যপূর্ণ দেখানোর জন্য, তাদের উপায়ে অভিজ্ঞতাগত পরিমাণের অভিন্ন অভিসরণ বৈশিষ্ট্য ব্যবহার করে। এই কৌশলটি অভিজ্ঞতাগত ঝুঁকি হ্রাসকরণ (ই. আর. এম) অ্যালগরিদমের বড় শ্রেণীর জন্য সাধারণীকরণের সীমা পেতে ব্যবহৃত হয়েছিল। একটি ই. আর. এম অ্যালগরিদম এমন একটি সমাধান যা একটি হাইপোথিসিস স্পেস থেকে এমনভাবে একটি সমাধান নির্বাচন করে যাতে একটি প্রশিক্ষণ সেটের অভিজ্ঞতাগত ত্রুটি হ্রাস করা যায়। ভ্লাদিমির ভাপনিক একটি ইআরএম বাইনারি শ্রেণিবিন্যাস অ্যালগরিদমের জন্য একটি সাধারণ ফলাফল প্রমাণ করেছেন যে, যে কোনও লক্ষ্য ফাংশন এবং ইনপুট বিতরণের জন্য, ভিসি-মাত্রা এবং প্রশিক্ষণের উদাহরণ সহ যে কোনও অনুমানের স্থান, অ্যালগরিদম সামঞ্জস্যপূর্ণ এবং একটি প্রশিক্ষণ ত্রুটি তৈরি করবে যা প্রকৃত ত্রুটি থেকে সর্বাধিক (প্লাস লগারিদমিক ফ্যাক্টর)। ফলাফলটি পরে ফাংশন ক্লাসগুলির সাথে প্রায়-ইআরএম অ্যালগরিদমগুলিতে প্রসারিত করা হয়েছিল যার অনন্য মিনিমাইজার নেই। ভাপনিকের কাজ, যা ভিসি তত্ত্ব হিসাবে পরিচিত হয়ে ওঠে, একটি লার্নিং অ্যালগরিদমের সাধারণীকরণ এবং শেখা ফাংশনের হাইপোথিসিস স্পেসের বৈশিষ্ট্যগুলির মধ্যে একটি সম্পর্ক স্থাপন করে। যাইহোক, এই ফলাফলগুলি সীমাহীন ভিসি-মাত্রার হাইপোথিসিস স্পেস সহ অ্যালগরিদমগুলিতে প্রয়োগ করা যায়নি। অন্যভাবে বললে, এই ফলাফলগুলি প্রয়োগ করা যায়নি যখন শেখা তথ্যগুলির জটিলতা ছিল যা পরিমাপ করা খুব বড় ছিল। কিছু সহজ মেশিন লার্নিং অ্যালগরিদম-উদাহরণস্বরূপ, রিগ্রেশনের জন্য-সীমাহীন ভিসি-মাত্রা সহ হাইপোথিসিস স্পেস রয়েছে। আরেকটি উদাহরণ হল ভাষা শেখার অ্যালগরিদম যা নির্বিচারে দৈর্ঘ্যের বাক্য তৈরি করতে পারে। স্থিতিশীলতা বিশ্লেষণ 2000-এর দশকে গণনামূলক শিক্ষণ তত্ত্বের জন্য তৈরি করা হয়েছিল এবং এটি সাধারণীকরণের সীমা অর্জনের জন্য একটি বিকল্প পদ্ধতি। একটি অ্যালগরিদমের স্থায়িত্ব হাইপোথিসিস স্পেসের সরাসরি বৈশিষ্ট্যের পরিবর্তে শেখার প্রক্রিয়ার একটি বৈশিষ্ট্য, এবং এটি এমন অ্যালগরিদমগুলিতে মূল্যায়ন করা যেতে পারে যার হাইপোথিসিস স্পেস রয়েছে সীমাহীন বা অনির্ধারিত ভিসি-মাত্রা সহ যেমন নিকটতম প্রতিবেশী। একটি স্থিতিশীল লার্নিং অ্যালগরিদম এমন একটি যার জন্য প্রশিক্ষণ সেটটি সামান্য পরিবর্তন করা হলে শেখা ফাংশনটি খুব বেশি পরিবর্তন হয় না, উদাহরণস্বরূপ একটি উদাহরণ রেখে। লস ফাংশনের ক্ষেত্রে লার্নিং অ্যালগরিদমের স্থিতিশীলতা মূল্যায়নের জন্য ক্রস ভ্যালিডেশন লিভ ওয়ান আউট (সি. ভি. লু) অ্যালগরিদম-এ লিভ ওয়ান আউট এরর-এর একটি পরিমাপ ব্যবহার করা হয়। যেমন, স্থায়িত্ব বিশ্লেষণ হল মেশিন লার্নিং-এ সংবেদনশীলতা বিশ্লেষণের প্রয়োগ। ধ্রুপদী ফলাফলের সারসংক্ষেপ 1900-এর দশকের গোড়ার দিকে-শিক্ষণ তত্ত্বের স্থিতিশীলতা শিক্ষার মানচিত্রের ধারাবাহিকতার পরিপ্রেক্ষিতে সর্বপ্রথম বর্ণনা করা হয়েছিল, যা আন্দ্রে নিকোলায়েভিচ তিখোনভের কাছে পাওয়া যায়। 1979-ডেভরয় এবং ওয়াগনার পর্যবেক্ষণ করেছেন যে একটি অ্যালগরিদমের লিভ-ওয়ান-আউট আচরণ নমুনার ছোট পরিবর্তনের প্রতি সংবেদনশীলতার সাথে সম্পর্কিত। 1999-কেয়ার্নস এবং রন সীমাবদ্ধ ভিসি-মাত্রা এবং স্থিতিশীলতার মধ্যে একটি সংযোগ আবিষ্কার করেন। 2002-একটি যুগান্তকারী গবেষণাপত্রে, বুস্কেট এবং এলিসিফ একটি লার্নিং অ্যালগরিদমের অভিন্ন অনুমান স্থায়িত্বের ধারণাটি প্রস্তাব করেছিলেন এবং দেখিয়েছিলেন যে এটি কম সাধারণীকরণ ত্রুটি বোঝায়। ইউনিফর্ম হাইপোথিসিস স্থায়িত্ব, তবে, একটি শক্তিশালী অবস্থা যা শুধুমাত্র দুটি ফাংশনের হাইপোথিসিস স্পেস সহ ইআরএম অ্যালগরিদম সহ বড় শ্রেণীর অ্যালগরিদমের ক্ষেত্রে প্রযোজ্য নয়। 2002-কুটিন এবং নিয়োগি বেশ কয়েকটি দুর্বল ধরনের স্থিতিশীলতার জন্য সাধারণীকরণের সীমা প্রদান করে বুস্কেট এবং এলিসিফের ফলাফলকে প্রসারিত করেছিলেন, যাকে তারা প্রায় সর্বত্র স্থিতিশীলতা বলে অভিহিত করেছিলেন। উপরন্তু, তারা সম্ভবত প্রায় সঠিক (পিএসি) সেটিংসে ইআরএম অ্যালগরিদমগুলিতে স্থিতিশীলতা এবং ধারাবাহিকতার মধ্যে সম্পর্ক প্রতিষ্ঠার জন্য একটি প্রাথমিক পদক্ষেপ নিয়েছিল। 2004-পোগিও এট আল। স্থিতিশীলতা এবং ই. আর. এম সামঞ্জস্যের মধ্যে একটি সাধারণ সম্পর্ক প্রমাণিত হয়েছে। তারা লিভ-ওয়ান-আউট-স্ট্যাবিলিটির একটি পরিসংখ্যানগত রূপের প্রস্তাব দেয় যাকে তারা সিভিইইইলু স্থিতিশীলতা বলে, এবং দেখায় যে এটি ক) সীমাবদ্ধ ক্ষতির শ্রেণীগুলিতে সাধারণীকরণের জন্য যথেষ্ট, এবং খ) বর্গ ক্ষতি, পরম মান এবং বাইনারি শ্রেণিবিন্যাস ক্ষতির মতো নির্দিষ্ট ক্ষতির ফাংশনের জন্য ইআরএম অ্যালগরিদমের ধারাবাহিকতার (এবং এইভাবে সাধারণীকরণ) জন্য প্রয়োজনীয় এবং যথেষ্ট। 2010-শেলভ শোয়ার্টজ এবং অন্যান্য। হাইপোথিসিস স্পেস এবং লস ক্লাসের মধ্যে জটিল সম্পর্কের কারণে ভাপনিকের মূল ফলাফলগুলির সাথে সমস্যা লক্ষ্য করা গেছে। তারা স্থিতিশীলতার ধারণাগুলি নিয়ে আলোচনা করে যা বিভিন্ন ক্ষতির শ্রেণী এবং বিভিন্ন ধরনের শিক্ষা, তত্ত্বাবধান এবং তত্ত্বাবধানহীন ধারণ করে। 2016-মরিৎজ হার্ড এট আল। অনুমানের উপর নির্দিষ্ট অনুমান এবং প্রতিটি দৃষ্টান্ত মডেলটি আপডেট করার জন্য কতবার ব্যবহার করা হয় তার ভিত্তিতে গ্রেডিয়েন্ট ডিসেন্টের স্থিতিশীলতা প্রমাণিত হয়। প্রাথমিক সংজ্ঞা আমরা শেখার অ্যালগরিদম প্রশিক্ষণ সেট সম্পর্কিত বেশ কয়েকটি পদ সংজ্ঞায়িত করি, যাতে আমরা একাধিক উপায়ে স্থিতিশীলতা সংজ্ঞায়িত করতে পারি এবং ক্ষেত্র থেকে উপপাদ্য উপস্থাপন করতে পারি। একটি মেশিন লার্নিং অ্যালগরিদম, যা লার্নিং ম্যাপ নামেও পরিচিত, একটি প্রশিক্ষণ ডেটা সেটকে ম্যাপ করে, যা লেবেলযুক্ত উদাহরণগুলির একটি সেট, প্রশিক্ষণের উদাহরণগুলির একই জায়গায় থেকে, কোথায় এবং কোথায় রয়েছে এমন একটি ফাংশনে। ফাংশনগুলি ফাংশনের একটি হাইপোথিসিস স্পেস থেকে নির্বাচিত হয় যাকে বলা হয়। যে প্রশিক্ষণ সেট থেকে একটি অ্যালগরিদম শেখে তাকে সংজ্ঞায়িত করা হয় এবং এটি অঙ্কিত অর্থাৎ আকারের হয়। একটি অজানা বন্টন থেকে ডি। সুতরাং, শেখার মানচিত্রটিকে একটি ম্যাপিং হিসাবে সংজ্ঞায়িত করা হয়, একটি প্রশিক্ষণ সেটকে একটি ফাংশনে ম্যাপিং করা হয়। এখানে, আমরা শুধুমাত্র নির্ধারক অ্যালগরিদম বিবেচনা করি যেখানে এর সাপেক্ষে প্রতিসম, অর্থাৎ। এটি প্রশিক্ষণ সেটের উপাদানগুলির ক্রমের উপর নির্ভর করে না। উপরন্তু, আমরা ধরে নিই যে সমস্ত ফাংশন পরিমাপযোগ্য এবং সমস্ত সেট গণনাযোগ্য। একটি উদাহরণের সাপেক্ষে একটি অনুমানের ক্ষতি তখন হিসাবে সংজ্ঞায়িত করা হয়। এর পরীক্ষামূলক ত্রুটি হল। এর আসল ত্রুটিটি দেওয়া হয়েছে একটি প্রশিক্ষণ সেট এস আকারের এম দেওয়া, আমরা সমস্ত আই = 1., এম, পরিবর্তিত প্রশিক্ষণ সেটগুলি নিম্নরূপ তৈরি করবঃ আই-থ উপাদানটি সরিয়ে দিয়ে স্থিতিশীলতার সংজ্ঞা আই-থ উপাদানটি প্রতিস্থাপন করে একটি অ্যালগরিদমের ক্ষতি ফাংশন ভি সম্পর্কিত অনুমান স্থায়িত্ব β রয়েছে যদি নিম্নলিখিত ধারণ করেঃ পয়েন্ট-ভিত্তিক অনুমান স্থিতিশীলতা একটি অ্যালগরিদমের ক্ষতি ফাংশন ভি সম্পর্কিত পয়েন্ট-ভিত্তিক অনুমান স্থায়িত্ব β থাকে যদি নিম্নলিখিত ধারণ করেঃ ত্রুটি স্থিতিশীলতা একটি অ্যালগরিদমের ক্ষতি ফাংশন ভি সম্পর্কিত ত্রুটি স্থায়িত্ব β থাকে যদি নিম্নলিখিত ধারণ করেঃ অভিন্ন স্থায়িত্ব একটি অ্যালগরিদমের ক্ষতি ফাংশন ভি সম্পর্কিত অভিন্ন স্থায়িত্ব β থাকে যদি নিম্নলিখিত ধারণ করেঃ একটি সম্ভাব্যতা লিভ-ওয়ান-আউট ক্রস-ভ্যালিডেশন (সি. ভি. লু) স্থিতিশীলতা একটি অ্যালগরিদমের ক্ষতি ফাংশন ভি-এর ক্ষেত্রে সি. ভি. লু স্থিতিশীলতা β থাকে যদি নিম্নলিখিতটি থাকেঃ (সি. ভি. লু) স্থিতিশীলতার সংজ্ঞাটি পূর্বে দেখা পয়েন্টওয়াইজ-হাইপোথিসিস স্থায়িত্বের সমতুল্য। এক্সপেক্টেড-লিভ-ওয়ান-আউট এরর () স্ট্যাবিলিটি একটি অ্যালগরিদমের স্থায়িত্ব থাকে যদি প্রতিটি এন-এর জন্য একটি এবং এমন একটি থাকে যেঃ, ক্লাসিক উপপাদ্যের জন্য শূন্যের সাথে এবং শূন্যের দিকে যাওয়া (02): সীমাবদ্ধ ক্ষতির সাথে প্রতিসম শিক্ষণ অ্যালগরিদমের জন্য, যদি অ্যালগরিদমটির উপরের সম্ভাব্য সংজ্ঞার সাথে অভিন্ন স্থিতিশীলতা থাকে, তবে অ্যালগরিদমটি সাধারণীকরণ করে। অভিন্ন স্থিতিশীলতা একটি শক্তিশালী অবস্থা যা সমস্ত অ্যালগরিদম দ্বারা পূরণ করা হয় না তবে আশ্চর্যজনকভাবে, নিয়মিতকরণ অ্যালগরিদমের বড় এবং গুরুত্বপূর্ণ শ্রেণী দ্বারা পূরণ করা হয়। সাধারণকরণের সীমাটি নিবন্ধে দেওয়া হয়েছে। মুখার্জি ও অন্যান্যদের কাছ থেকে। (06): সীমাবদ্ধ ক্ষতি সহ প্রতিসম শিক্ষণ অ্যালগরিদমের জন্য, যদি অ্যালগরিদমটিতে লিভ-ওয়ান-আউট ক্রস-ভ্যালিডেশন (সি. ভি. লু) স্ট্যাবিলিটি এবং এক্সপেক্টেড-লিভ-ওয়ান-আউট এরর () স্ট্যাবিলিটি উভয়ই থাকে যা উপরে সংজ্ঞায়িত করা হয়েছে, তবে অ্যালগরিদমটি সাধারণীকরণ করে। সাধারণীকরণের জন্য কোনও শর্তই যথেষ্ট নয়। যাইহোক, উভয়ই একসঙ্গে সাধারণীকরণ নিশ্চিত করে (যদিও বিপরীতটি সত্য নয়)। ই. আর. এম অ্যালগরিদমগুলির জন্য বিশেষভাবে (বর্গক্ষেত্রের ক্ষতির জন্য বলুন), লিভ-ওয়ান-আউট ক্রস-ভ্যালিডেশন (সি. ভি. লু) স্থিতিশীলতা ধারাবাহিকতা এবং সাধারণীকরণের জন্য প্রয়োজনীয় এবং যথেষ্ট উভয়ই। এটি শেখার তত্ত্বের ভিত্তির জন্য একটি গুরুত্বপূর্ণ ফলাফল, কারণ এটি দেখায় যে একটি অ্যালগরিদমের দুটি পূর্বে সম্পর্কহীন বৈশিষ্ট্য, স্থিতিশীলতা এবং ধারাবাহিকতা, ইআরএম (এবং নির্দিষ্ট ক্ষতি ফাংশন)-এর সমতুল্য। সাধারণকরণের সীমাটি নিবন্ধে দেওয়া হয়েছে। অ্যালগরিদমগুলি যা স্থিতিশীল এটি অ্যালগরিদমগুলির একটি তালিকা যা স্থিতিশীল হিসাবে দেখানো হয়েছে এবং নিবন্ধ যেখানে সম্পর্কিত সাধারণীকরণের সীমা সরবরাহ করা হয়েছে। একটি {0-1} লস ফাংশন সহ লিনিয়ার রিগ্রেশন কে-এনএন শ্রেণীবিভাগ। একটি আবদ্ধ কার্নেল সহ ভেক্টর মেশিন (এসভিএম) শ্রেণিবিন্যাসকে সমর্থন করুন এবং যেখানে রেগুলারাইজার একটি প্রজনন কার্নেল হিলবার্ট স্পেসে একটি আদর্শ। একটি বড় নিয়মিতকরণ ধ্রুবক ভাল স্থিতিশীলতার দিকে পরিচালিত করে। সফ্ট মার্জিন এসভিএম শ্রেণীবিভাগ। নিয়মিত ন্যূনতম বর্গ রিগ্রেশন। শ্রেণীবিভাগের জন্য ন্যূনতম আপেক্ষিক এনট্রপি অ্যালগরিদম। ব্যাগিং রেগুলারাইজারের একটি সংস্করণ যার সাথে রিগ্রেসারের সংখ্যা বৃদ্ধি পাচ্ছে। মাল্টি-ক্লাস এসভিএম শ্রেণীবিভাগ। টিখোনভ নিয়মিতকরণের সাথে সমস্ত শেখার অ্যালগরিদম অভিন্ন স্থিতিশীলতার মানদণ্ডকে সন্তুষ্ট করে এবং এইভাবে, সাধারণীকরণযোগ্য। আরও পড়ুন S.Kutin এবং P.Niyogi.Almost-everywhere অ্যালগরিদমিক স্থায়িত্ব এবং সাধারণীকরণ ত্রুটি। প্রোক-এ। ইউ. এ. আই 18,2002-এর এস রাখলিন, এস মুখার্জি এবং টি পোগিও। স্থিতিশীলতা শেখার তত্ত্বের ফলস্বরূপ। বিশ্লেষণ ও প্রয়োগ, 3 (4): 397-419,2005 ভি. এন. ভাপনিক। পরিসংখ্যানগত শিক্ষণ তত্ত্বের প্রকৃতি। স্প্রিঙ্গার, 1995 ভাপনিক, ভি., পরিসংখ্যানগত শিক্ষা তত্ত্ব। উইলি, নিউ ইয়র্ক, 1998 পোগিও, টি., রিফকিন, আর., মুখার্জি, এস. এবং নিয়োগী, পি., "লার্নিং থিওরিঃ জেনারেল কন্ডিশনস ফর প্রেডিক্টিভিটি", প্রকৃতি, খণ্ড। 428, 419-422,2004 আন্দ্রে এলিসিফ, থিওডোরোস ইভজেনিউ, ম্যাসিমিলিয়ানো পন্টিল, স্ট্যাবিলিটি অফ র্যান্ডমাইজড লার্নিং অ্যালগরিদমস, জার্নাল অফ মেশিন লার্নিং রিসার্চ 6,55-79,2010 এলিসিফ, এ. পন্টিল, এম., লিভ-ওয়ান-আউট এরর অ্যান্ড স্ট্যাবিলিটি অফ লার্নিং অ্যালগরিদমস উইথ অ্যাপ্লিকেশনস, ন্যাটো সায়েন্স সিরিজ সাব সিরিজ III কম্পিউটার অ্যান্ড সিস্টেমস সায়েন্স, 2003, ভিওএল 190, পেজ 111-130 শলেভ শোয়ার্জ, এস., শামির, ও., শ্রেব্রো, এন., শ্রীধরন, কে।