Least-squares support vector machine
পরিসংখ্যান এবং পরিসংখ্যানগত মডেলিংয়ের জন্য ন্যূনতম-বর্গ সমর্থন-ভেক্টর মেশিন (এলএস-এসভিএম) হল সমর্থন-ভেক্টর মেশিনের (এসভিএম) ন্যূনতম-বর্গ সংস্করণ, যা সম্পর্কিত তত্ত্বাবধানকৃত শিক্ষণ পদ্ধতির একটি সেট যা ডেটা বিশ্লেষণ করে এবং নিদর্শনগুলি সনাক্ত করে এবং যা শ্রেণীবিভাগ এবং রিগ্রেশন বিশ্লেষণের জন্য ব্যবহৃত হয়। এই সংস্করণে ধ্রুপদী এসভিএম-এর জন্য উত্তল চতুর্ভুজ প্রোগ্রামিং (কিউপি) সমস্যার পরিবর্তে রৈখিক সমীকরণের একটি সেট সমাধান করে সমাধান খুঁজে পাওয়া যায়। জোহান সুইকেনস এবং জুওস ভাণ্ডেওয়ালে ন্যূনতম বর্গক্ষেত্রের এসভিএম শ্রেণিবিন্যাসের প্রস্তাব দিয়েছিলেন। এলএস-এসভিএম হল কার্নেল-ভিত্তিক শিক্ষণ পদ্ধতির একটি শ্রেণী। সাপোর্ট-ভেক্টর মেশিন থেকে ন্যূনতম-বর্গ সাপোর্ট-ভেক্টর মেশিন ইনপুট ডেটা এবং সংশ্লিষ্ট বাইনারি ক্লাস লেবেল সহ একটি প্রশিক্ষণ সেট দেওয়া হলে, এসভিএম শ্রেণীবিভাগ, ভাপনিকের মূল সূত্র অনুসারে, নিম্নলিখিত শর্তগুলি সন্তুষ্ট করেঃ যা মূল স্থান থেকে উচ্চ-বা অসীম-মাত্রিক স্থান পর্যন্ত অরৈখিক মানচিত্রের সমতুল্য। এই ধরনের পৃথককারী হাইপারপ্লেনের অস্তিত্ব না থাকলে, আমরা তথাকথিত স্ল্যাক ভেরিয়েবলগুলি প্রবর্তন করি যাতে কাঠামোগত ঝুঁকি হ্রাস নীতি অনুসারে, নিম্নলিখিত ন্যূনতম সমস্যা দ্বারা ঝুঁকি সীমা হ্রাস করা হয়ঃ এই সমস্যাটি সমাধান করার জন্য, আমরা ল্যাগ্রাঞ্জিয়ান ফাংশনটি তৈরি করতে পারিঃ যেখানে ল্যাগ্রাঞ্জিয়ান গুণকগুলি রয়েছে। সর্বোত্তম বিন্দুটি হবে ল্যাগ্রাঞ্জিয়ান ফাংশনের স্যাডল পয়েন্টে, এবং তারপর আমরা পাই উপযুক্ত উদ্দেশ্য এবং সীমাবদ্ধতা থেকে গঠিত ল্যাগ্রাঞ্জিয়ান ভাষায় এর অভিব্যক্তি দ্বারা প্রতিস্থাপিত করে, আমরা নিম্নলিখিত দ্বিঘাত প্রোগ্রামিং সমস্যাটি পাবঃ যেখানে একে কার্নেল ফাংশন বলা হয়। ()-এর সীমাবদ্ধতা সাপেক্ষে এই কিউপি সমস্যা সমাধান করে, আমরা উচ্চ-মাত্রিক স্থানে হাইপারপ্লেন এবং তাই মূল স্থানে শ্রেণীবিভাগ পাব। ন্যূনতম-বর্গ এস. ভি. এম গঠন এস. ভি. এম শ্রেণীবিভাগের ন্যূনতম-বর্গ সংস্করণটি ন্যূনতম সমস্যাটিকে সমতা সীমাবদ্ধতার সাপেক্ষে সংস্কার করে প্রাপ্ত করা হয় উপরের ন্যূনতম-বর্গ এস. ভি. এম (এল. এস-এস. ভি. এম) শ্রেণীবিভাগ গঠনটি বাইনারি লক্ষ্যগুলির সাথে একটি রিগ্রেশন ব্যাখ্যার সাথে সুস্পষ্টভাবে মিলে যায়। ব্যবহার করে, আমাদের নোটিশ রয়েছে, যে এই ত্রুটিটি ন্যূনতম-বর্গ ডেটা ফিটিংয়ের জন্যও বোধগম্য হবে, যাতে রিগ্রেশন ক্ষেত্রে একই শেষ ফলাফল ধরে রাখা যায়। সুতরাং এলএস-এসভিএম শ্রেণিবিন্যাস সূত্রটি সহ এবং উভয়ের সমতুল্য এবং নিয়মিতকরণের পরিমাণ বনাম সমষ্টি বর্গ ত্রুটি সুর করার জন্য হাইপারপ্যারামিটার হিসাবে বিবেচনা করা উচিত। সমাধানটি শুধুমাত্র অনুপাতের উপর নির্ভর করে, তাই মূল সূত্রটি শুধুমাত্র টিউনিং প্যারামিটার হিসাবে ব্যবহার করে। আমরা এলএস-এসভিএম-কে একটি বায়েসিয়ান ব্যাখ্যা প্রদান করার জন্য এবং পরামিতি হিসাবে উভয়ই ব্যবহার করি। আমরা ল্যাগ্রাঞ্জিয়ান ফাংশন তৈরি করার পরে এলএস-এসভিএম রিগ্রেসরের সমাধান পাওয়া যাবেঃ ল্যাগ্রাঞ্জ মাল্টিপ্লায়ারগুলি কোথায়। অনুকূলতার শর্তগুলি হল নির্মূল করা এবং একটি দ্বিঘাত প্রোগ্রামিং সমস্যার পরিবর্তে একটি রৈখিক ব্যবস্থা তৈরি করবেঃ সহ, এবং। এখানে, একটি পরিচয় ম্যাট্রিক্স, এবং দ্বারা সংজ্ঞায়িত কার্নেল ম্যাট্রিক্স। কার্নেল ফাংশন K কার্নেল ফাংশনের জন্য সাধারণত নিম্নলিখিত বিকল্পগুলি থাকেঃ লিনিয়ার কার্নেলঃ ডিগ্রির পলিনোমিয়াল কার্নেলঃ রেডিয়াল বেসিস ফাংশন আরবিএফ কার্নেলঃ এমএলপি কার্নেলঃ কোথায়,, এবং ধ্রুবক। লক্ষ্য করুন যে মার্সার শর্তটি বহুপদী এবং আরবিএফ ক্ষেত্রে সমস্ত এবং মানগুলির জন্য প্রযোজ্য, তবে এমএলপি ক্ষেত্রে সমস্ত সম্ভাব্য পছন্দগুলির জন্য নয়। স্কেল প্যারামিটারগুলি, এবং পলিনোমিয়াল, আরবিএফ এবং এমএলপি কার্নেল ফাংশনে ইনপুটগুলির স্কেলিং নির্ধারণ করে। এই স্কেলিং পরিসংখ্যানে কার্নেলের ব্যান্ডউইথের সাথে সম্পর্কিত, যেখানে এটি দেখানো হয় যে ব্যান্ডউইথ একটি কার্নেল পদ্ধতির সাধারণীকরণ আচরণের একটি গুরুত্বপূর্ণ পরামিতি। এলএস-এসভিএম-এর জন্য বায়েসিয়ান ব্যাখ্যা এসভিএম-এর একটি বায়েসিয়ান ব্যাখ্যা স্মোলা এট আল দ্বারা প্রস্তাবিত হয়েছে। তারা দেখিয়েছেন যে এসভিএম-এ বিভিন্ন কার্নেলের ব্যবহারকে কার্যকরী স্থানে বিভিন্ন পূর্ববর্তী সম্ভাব্যতা বিতরণকে সংজ্ঞায়িত করা হিসাবে বিবেচনা করা যেতে পারে। এখানে একটি ধ্রুবক রয়েছে এবং এটি নির্বাচিত কার্নেলের সাথে সামঞ্জস্যপূর্ণ নিয়মিতকরণ অপারেটর। ম্যাককে একটি সাধারণ বায়েসিয়ান প্রমাণ কাঠামো তৈরি করেছিলেন এবং ম্যাককে এটিকে রিগ্রেশন, ফরওয়ার্ড নিউরাল নেটওয়ার্ক এবং শ্রেণিবিন্যাস নেটওয়ার্কের সমস্যায় ব্যবহার করেছেন। প্রদত্ত ডেটা সেট, প্যারামিটার ভেক্টর সহ একটি মডেল এবং একটি তথাকথিত হাইপারপ্যারামিটার বা নিয়মিতকরণ প্যারামিটার, বায়েসিয়ান অনুমানটি 3 স্তরের অনুমানের সাথে নির্মিত হয়ঃ স্তর 1-এ, প্রদত্ত মানের জন্য, প্রথম স্তরের অনুমান বায়েসিয়ান নিয়ম দ্বারা পোস্টেরিয়ার ডিস্ট্রিবিউশনকে প্রভাবিত করে। কোওক এসভিএম গঠন এবং মডেল নির্বাচনের ব্যাখ্যা করতে বায়েসিয়ান প্রমাণ কাঠামো ব্যবহার করেছিলেন। এবং তিনি ভেক্টর রিগ্রেশনকে সমর্থন করার জন্য বায়েসিয়ান প্রমাণ কাঠামোও প্রয়োগ করেছিলেন। এখন, ডেটা পয়েন্ট এবং হাইপারপ্যারামিটার এবং মডেলের দেওয়া, মডেল প্যারামিটারগুলি এবং পোস্টেরিয়রকে সর্বাধিক করে অনুমান করা হয়। বায়েসের নিয়ম প্রয়োগ করে, আমরা পাই যেখানে একটি স্বাভাবিককারী ধ্রুবক যেমন সমস্ত সম্ভাবনার উপর অবিচ্ছেদ্য এবং 1 এর সমান। আমরা ধরে নিই এবং হাইপারপ্যারামিটার থেকে স্বাধীন, এবং শর্তাধীন স্বাধীন, অর্থাৎ, আমরা ধরে নিই কখন, এর বন্টন আনুমানিক একটি অভিন্ন বন্টন হবে। উপরন্তু, আমরা ধরে নিই এবং গাউসিয়ান বন্টন, তাই আমরা এর একটি অগ্রাধিকার বন্টন পাই এবং এর সাথে এখানে বৈশিষ্ট্য স্থানের মাত্রা, এর মাত্রার সমান। এর সম্ভাবনা শুধুমাত্র এবং এর উপর নির্ভর করে বলে ধরে নেওয়া হয়। আমরা ধরে নিই যে ডেটা পয়েন্টগুলি স্বাধীনভাবে অভিন্নভাবে বিতরণ করা হয় (অর্থাৎ। ), যাতেঃ সর্বনিম্ন বর্গ ব্যয় ফাংশন প্রাপ্ত করার জন্য, এটি ধরে নেওয়া হয় যে একটি ডেটা পয়েন্টের সম্ভাবনা আনুপাতিকঃ ত্রুটির জন্য একটি গাউসিয়ান বিতরণকে এইভাবে নেওয়া হয়ঃ এটি ধরে নেওয়া হয় যে এবং এমনভাবে নির্ধারিত হয় যে শ্রেণীটি কেন্দ্র করে এবং যথাক্রমে লক্ষ্য-1 এবং + 1-এ ম্যাপ করা হয়। শ্রেণী উপাদানগুলির অনুমানগুলি একটি বহুমাত্রিক গাউসিয়ান বন্টন অনুসরণ করে, যার বৈচিত্র্য রয়েছে। পূর্ববর্তী অভিব্যক্তিগুলির সংমিশ্রণে এবং সমস্ত ধ্রুবককে অবহেলা করে, বায়েসের নিয়মটি সর্বাধিক পশ্চাৎ ঘনত্বের অনুমান হয়ে ওঠে এবং তারপরে (26) এর ঋণাত্মক লগারিদমকে ন্যূনতম করে প্রাপ্ত হয়, তাই আমরা পৌঁছাই (10)। তথ্যসূত্র গ্রন্থপঞ্জি জে। এ. কে. সুইকেনস, টি. ভ্যান গেস্টেল, জে। ডি ব্রাবান্টার, বি। ডি মুর, জে. ভাণ্ডেওয়ালে, লিস্ট স্কোয়ার সাপোর্ট ভেক্টর মেশিন, ওয়ার্ল্ড সায়েন্টিফিক পাব। কো., সিঙ্গাপুর, 2002। সুইকেনস জে. এ। কে., ভাণ্ডেওয়ালে জে., লিস্ট স্কোয়ার সাপোর্ট ভেক্টর মেশিন ক্লাসিফায়ার, নিউরাল প্রসেসিং লেটার্স, ভলিউম। 9, না। 3, জুন। 1999, পৃ. 293-300। ভ্লাদিমির ভাপনিক। পরিসংখ্যানগত শিক্ষণ তত্ত্বের প্রকৃতি। স্প্রিঙ্গার-ভার্লাগ, 1995। ম্যাককে, ডি. জে. সি., সম্ভাব্য নেটওয়ার্ক এবং প্রশংসনীয় ভবিষ্যদ্বাণী-তত্ত্বাবধানকৃত স্নায়বিক নেটওয়ার্কগুলির জন্য ব্যবহারিক বায়েসিয়ান পদ্ধতির একটি পর্যালোচনা। নেটওয়ার্কঃ নিউরাল সিস্টেমে গণনা, খণ্ড। 6, 1995, পৃ. 469-505। বাহ্যিক লিঙ্ক www.esat.kuleuven.be/sista/lssvmlab "ন্যূনতম বর্গ ভেক্টর মেশিন ল্যাব (এলএস-এসভিএমল্যাব) টুলবক্সে বেশ কয়েকটি এলএস-এসভিএম অ্যালগরিদমের জন্য ম্যাটল্যাব/সি বাস্তবায়ন রয়েছে।" www.kernel-machines.org "সাপোর্ট ভেক্টর মেশিন এবং কার্নেল ভিত্তিক পদ্ধতি (স্মোলা এবং শোলকফ)"। www.gaussianprocess.org "গাউসিয়ান প্রক্রিয়াঃ রিগ্রেশন এবং শ্রেণিবিন্যাসের জন্য ফাংশনের উপর গাউসিয়ান প্রক্রিয়া অগ্রাধিকার ব্যবহার করে ডেটা মডেলিং (ম্যাককে, উইলিয়ামস)"। www.support-vector.net "সাপোর্ট ভেক্টর মেশিন এবং কার্নেল ভিত্তিক পদ্ধতি (ক্রিস্টিয়ানিনি)"। dlib: বড় আকারের ডেটাসেটের জন্য একটি ন্যূনতম-বর্গ এসভিএম বাস্তবায়ন রয়েছে। সাপোর্ট ভেক্টর মেশিন শ্রেণীবিভাগ অ্যালগরিদম পরিসংখ্যানগত শ্রেণীবিভাগ সর্বনিম্ন বর্গক্ষেত্র