Least-squares support vector machine
புள்ளிவிவரங்கள் மற்றும் புள்ளிவிவர மாதிரியில் குறைந்த-சதுர ஆதரவு-வெக்டர் இயந்திரங்கள் (எல்எஸ்-எஸ். வி. எம்), ஆதரவு-வெக்டர் இயந்திரங்களின் (எஸ். வி. எம்) குறைந்த-சதுர பதிப்புகள் ஆகும், அவை தரவை பகுப்பாய்வு செய்யும் மற்றும் வடிவங்களை அங்கீகரிக்கும் தொடர்புடைய மேற்பார்வையிடப்பட்ட கற்றல் முறைகளின் தொகுப்பாகும், மேலும் அவை வகைப்பாடு மற்றும் பின்னடைவு பகுப்பாய்விற்கு பயன்படுத்தப்படுகின்றன. கிளாசிக்கல் எஸ். வி. எம். களுக்கான குவிந்த இருபடி நிரலாக்க (கியூ. பி) சிக்கலுக்கு பதிலாக நேரியல் சமன்பாடுகளின் தொகுப்பைத் தீர்ப்பதன் மூலம் இந்த பதிப்பில் ஒருவர் தீர்வைக் காண்கிறார். குறைந்த சதுர SVM வகைப்பான்கள் ஜோஹன் சுய்கென்ஸ் மற்றும் ஜூஸ் வாண்டேவால்லே ஆகியோரால் முன்மொழியப்பட்டன. எல்எஸ்-எஸ். வி. எம் என்பது கர்னல் அடிப்படையிலான கற்றல் முறைகளின் ஒரு வகுப்பாகும். ஆதரவு-வெக்டர் இயந்திரம் முதல் குறைந்தபட்ச-சதுர ஆதரவு-வெக்டர் இயந்திரம் வரை உள்ளீட்டு தரவு மற்றும் அதனுடன் தொடர்புடைய பைனரி வகுப்பு லேபிள்களுடன் ஒரு பயிற்சி தொகுப்பைக் கொடுத்தால், எஸ். வி. எம் வகைப்பாட்டாளர், வாப்னிக்கின் அசல் சூத்திரத்தின்படி, பின்வரும் நிபந்தனைகளை பூர்த்தி செய்கிறதுஃ இது அசல் இடத்திலிருந்து உயர் அல்லது எல்லையற்ற பரிமாண இடத்திற்கு நேரியல் அல்லாத வரைபடம் எங்கே என்பதற்கு சமம். பிரிக்க முடியாத தரவு அத்தகைய பிரிக்கும் ஹைப்பர்பிளேன் இல்லையென்றால், ஸ்லாக் மாறிகள் என்று அழைக்கப்படுவதை நாங்கள் அறிமுகப்படுத்துகிறோம், அதாவது கட்டமைப்பு இடர் குறைப்பு கொள்கையின்படி, ஆபத்து வரம்பு பின்வரும் குறைப்பு சிக்கலால் குறைக்கப்படுகிறதுஃ இந்த சிக்கலைத் தீர்க்க, நாம் லக்ராஞ்சியன் செயல்பாட்டை உருவாக்க முடியும்ஃ லக்ராஞ்சியன் பெருக்கிகள் எங்கே. உகந்த புள்ளி லக்ராஞ்சியன் செயல்பாட்டின் சேணம் புள்ளியில் இருக்கும், பின்னர் நாம் பெறுவது பொருத்தமான நோக்கம் மற்றும் கட்டுப்பாடுகளிலிருந்து உருவாக்கப்பட்ட லக்ராஞ்சியனில் அதன் வெளிப்பாட்டின் மூலம் மாற்றுவதன் மூலம், பின்வரும் இருபடி நிரலாக்க சிக்கலைப் பெறுவோம்ஃ இது கர்னல் செயல்பாடு என்று அழைக்கப்படுகிறது. () இல் உள்ள கட்டுப்பாடுகளுக்கு உட்பட்டு இந்த கியூ. பி. சிக்கலைத் தீர்க்கும்போது, உயர் பரிமாண இடத்தில் ஹைப்பர்பிளேனையும், எனவே அசல் இடத்தில் வகைப்படுத்தியையும் பெறுவோம். குறைந்த-சதுர SVM உருவாக்கம் SVM வகைப்பாட்டின் குறைந்த-சதுர பதிப்பு சமத்துவக் கட்டுப்பாடுகளுக்கு உட்பட்டு குறைந்தபட்ச சிக்கலை மறுசீரமைப்பதன் மூலம் பெறப்படுகிறது மேலே உள்ள குறைந்த-சதுர SVM (LS-SVM) வகைப்பாட்டு உருவாக்கம் பைனரி இலக்குகளுடன் ஒரு பின்னடைவு விளக்கத்துடன் மறைமுகமாக ஒத்திருக்கிறது. பயன்படுத்துவதன் மூலம், இந்த பிழை குறைந்த-சதுர தரவு பொருத்துதலுக்கும் அர்த்தமுள்ளதாக இருக்கும், இதனால் அதே இறுதி முடிவுகள் பின்னடைவு வழக்கில் இருக்கும். எனவே எல்எஸ்-எஸ். வி. எம் வகைப்பாட்டு சூத்திரம் மற்றும் இரண்டிற்கும் சமமானது, மேலும் ஒழுங்குபடுத்தலின் அளவை மற்றும் கூட்டுத்தொகை ஸ்கொயர் பிழையை சரிசெய்ய ஹைப்பர் அளவுருக்களாக கருதப்பட வேண்டும். தீர்வு விகிதத்தை மட்டுமே சார்ந்துள்ளது, எனவே அசல் உருவாக்கம் ட்யூனிங் அளவுருவாக மட்டுமே பயன்படுத்தப்படுகிறது. எல்எஸ்-எஸ். வி. எம். க்கு பேய்சியன் விளக்கத்தை வழங்குவதற்காக நாம் இரண்டையும் அளவுருக்களாகவும் பயன்படுத்துகிறோம். LS-SVM ரெக்ரெசரின் தீர்வு நாம் லக்ராஞ்சியன் செயல்பாட்டை உருவாக்கிய பிறகு பெறப்படும்ஃ லக்ராஞ்ச் பெருக்கிகள் எங்கே. உகந்த தன்மைக்கான நிபந்தனைகள் நீக்குதல் மற்றும் ஒரு இருபடி நிரலாக்க சிக்கலுக்கு பதிலாக ஒரு நேரியல் அமைப்பை வழங்கும்ஃ உடன், மற்றும். இங்கே, ஒரு அடையாள அணி, மற்றும் கர்னல் அணி வரையறுக்கப்படுகிறது. கர்னல் செயல்பாடு K கர்னல் செயல்பாடு K க்கு பொதுவாக பின்வரும் தேர்வுகள் உள்ளனஃ லீனியர் கர்னல்ஃ டிகிரியின் பல்லுறுப்புக்கோவை கர்னல்ஃ ரேடியல் அடிப்படை செயல்பாடு ஆர். பி. எஃப் கர்னல்ஃ எம். எல். பி கர்னல்ஃ எங்கே,, மற்றும் மாறிலிகள். மெர்சர் நிபந்தனை பல்லுறுப்புக்கோவை மற்றும் ஆர். பி. எஃப் வழக்கில் உள்ள அனைத்து மற்றும் மதிப்புகளுக்கும் பொருந்தும் என்பதைக் கவனியுங்கள், ஆனால் எம். எல். பி வழக்கில் சாத்தியமான அனைத்து தேர்வுகளுக்கும் அல்ல. அளவுகோல் அளவுருக்கள், மற்றும் பல்லுறுப்புக்கோவை, ஆர். பி. எஃப் மற்றும் எம். எல். பி கர்னல் செயல்பாட்டில் உள்ளீடுகளின் அளவீட்டை தீர்மானிக்கின்றன. இந்த அளவீடு புள்ளிவிவரங்களில் கர்னலின் அலைவரிசையுடன் தொடர்புடையது, அங்கு ஒரு கர்னல் முறையின் பொதுமைப்படுத்தல் நடத்தையின் முக்கிய அளவுரு அலைவரிசை என்று காட்டப்படுகிறது. LS-SVM க்கான பேய்சியன் விளக்கம் SVM இன் பேய்சியன் விளக்கத்தை ஸ்மோலா மற்றும் பலர் முன்மொழிந்துள்ளனர். SVM இல் வெவ்வேறு கர்னல்களைப் பயன்படுத்துவது செயல்பாட்டு இடத்தில் வெவ்வேறு முன் நிகழ்தகவு விநியோகங்களை வரையறுப்பதாகக் கருதப்படலாம் என்பதை அவர்கள் காட்டினர். இங்கே ஒரு மாறிலி மற்றும் தேர்ந்தெடுக்கப்பட்ட கர்னலுடன் தொடர்புடைய ஒழுங்குமுறைப்படுத்தல் ஆபரேட்டர். ஒரு பொதுவான பேய்சியன் சான்றுகள் கட்டமைப்பை மக்கே உருவாக்கினார், மேலும் மக்கே அதை பின்னடைவு, முன்னோக்கி நரம்பியல் நெட்வொர்க் மற்றும் வகைப்பாடு நெட்வொர்க் ஆகியவற்றின் சிக்கலுக்கு பயன்படுத்தியுள்ளார். வழங்கப்பட்ட தரவு தொகுப்பு, அளவுரு திசையன் கொண்ட ஒரு மாதிரி மற்றும் ஹைப்பர் அளவுரு அல்லது ஒழுங்குமுறைப்படுத்தல் அளவுரு என்று அழைக்கப்படும், பேய்சியன் அனுமானம் 3 நிலை அனுமானங்களுடன் கட்டமைக்கப்பட்டுள்ளதுஃ நிலை 1 இல், கொடுக்கப்பட்ட மதிப்புக்கு, முதல் நிலை அனுமானம் பேய்சியன் விதியின் பின்புற விநியோகத்தை மதிப்பிடுகிறது. எஸ். வி. எம் மற்றும் மாதிரி தேர்வின் சூத்திரத்தை விளக்குவதற்கு க்வோக் பேய்சியன் சான்றுகள் கட்டமைப்பைப் பயன்படுத்தினார். மேலும் அவர் திசையன் பின்னடைவை ஆதரிக்க பேய்சியன் சான்றுகள் கட்டமைப்பைப் பயன்படுத்தினார். இப்போது, தரவு புள்ளிகள் மற்றும் ஹைப்பர் அளவுருக்கள் மற்றும் மாதிரியின் கொடுக்கப்பட்டால், மாதிரி அளவுருக்கள் மற்றும் பின்புறத்தை அதிகரிப்பதன் மூலம் மதிப்பிடப்படுகின்றன. பேயஸ் விதியைப் பயன்படுத்துவதன் மூலம், சாத்தியமான அனைத்திற்கும் மேலாக ஒருங்கிணைந்த மற்றும் 1 க்கு சமமான ஒரு இயல்பாக்கும் மாறிலி எங்கே என்பதைப் பெறுகிறோம். நாம் கருதுகிறோம் மற்றும் ஹைப்பர் அளவுருவிலிருந்து சுயாதீனமாக இருக்கிறோம், மேலும் நிபந்தனை சுயாதீனமாக இருக்கிறோம், அதாவது, எப்போது, விநியோகம் ஒரு சீரான விநியோகத்தை தோராயமாக மதிப்பிடும் என்று கருதுகிறோம். மேலும், நாம் காஸியன் டிஸ்ட்ரிபியூஷன் என்று கருதுகிறோம், எனவே முன்னுரிமை விநியோகத்தைப் பெறுகிறோம் மற்றும் இங்கே இருப்பது அம்ச இடத்தின் பரிமாணம், அதன் பரிமாணத்தைப் போன்றது. நிகழ்தகவு மற்றும் மீது மட்டுமே சார்ந்துள்ளது என்று கருதப்படுகிறது. தரவு புள்ளிகள் சுயாதீனமாக ஒரே மாதிரியாக விநியோகிக்கப்படுகின்றன என்று நாங்கள் கருதுகிறோம் (அதாவது. ), எனவேஃ குறைந்த சதுர செலவு செயல்பாட்டைப் பெறுவதற்காக, ஒரு தரவு புள்ளியின் நிகழ்தகவு விகிதாசாரமாக இருக்கும் என்று கருதப்படுகிறதுஃ பிழைகளுக்கு ஒரு காஸியன் விநியோகம் பின்வருமாறு எடுக்கப்படுகிறதுஃ வகுப்பு மையங்கள் மற்றும் முறையே இலக்கு-1 மற்றும் + 1 இல் வரைபடமாக்கப்பட்டிருக்கும் வகையில் தீர்மானிக்கப்படுகின்றன என்று கருதப்படுகிறது. வர்க்க உறுப்புகளின் கணிப்புகள் ஒரு பன்முக காஸியன் விநியோகத்தைப் பின்பற்றுகின்றன, அவை மாறுபாட்டைக் கொண்டுள்ளன. முந்தைய வெளிப்பாடுகளை இணைத்து, அனைத்து மாறிலிகளையும் புறக்கணித்து, பேயஸின் விதி அதிகபட்ச பின்புற அடர்த்தி மதிப்பீடுகளாக மாறுகிறது, பின்னர் (26) இன் எதிர்மறை மடக்கைக் குறைப்பதன் மூலம் பெறப்படுகிறது, எனவே நாம் (10) ஐ அடைகிறோம். குறிப்புகள் நூலியல் ஜே. ஏ. கே. சுய்கென்ஸ், டி. வான் கெஸ்டெல், ஜே. டி பிராபாண்டர், பி. டி மூர், ஜே. வந்தவல்லே, லீஸ்ட் ஸ்கொயர்ஸ் சப்போர்ட் வெக்டர் மெஷின்ஸ், வேர்ல்ட் சயின்டிபிக் பப். கோ., சிங்கப்பூர், 2002. சுய்கென்ஸ் ஜே. ஏ. கே., வந்தேவல்லே ஜே., குறைந்த சதுரங்கள் திசையன் இயந்திர வகைப்படுத்திகளை ஆதரிக்கின்றன, நரம்பியல் செயலாக்க கடிதங்கள், தொகுதி. 9, இல்லை. 3, ஜூன். 1999, pp. 293-300. விளாடிமிர் வாப்னிக். புள்ளியியல் கற்றல் கோட்பாட்டின் தன்மை. ஸ்ப்ரிங்கர்-வெர்லாக், 1995. மக்கே, டி. ஜே. சி., சாத்தியமான நெட்வொர்க்குகள் மற்றும் நம்பத்தகுந்த கணிப்புகள்-மேற்பார்வையிடப்பட்ட நரம்பியல் நெட்வொர்க்குகளுக்கான நடைமுறை பேய்சியன் முறைகளின் மதிப்பாய்வு. வலையமைப்புஃ நரம்பியல் அமைப்புகளில் கணக்கீடு, தொகுதி. 6, 1995, பக்கங்கள். 469-505. வெளிப்புற இணைப்புகள் www.esat.kuleuven.be/sista/lssvmlab "குறைந்த சதுரங்கள் திசையன் இயந்திர ஆய்வகத்தை ஆதரிக்கின்றன (LS-SVMlab) கருவிப்பெட்டியில் பல LS-SVM வழிமுறைகளுக்கான Matlab/C செயல்படுத்தல்கள் உள்ளன". www.kernel-machines.org "ஆதரவு திசையன் இயந்திரங்கள் மற்றும் கர்னல் அடிப்படையிலான முறைகள் (ஸ்மோலா & ஷோல்கோப்)". www.gaussianprocess.org "காஸியன் செயல்முறைகள்ஃ பின்னடைவு மற்றும் வகைப்பாட்டிற்கான செயல்பாடுகளை விட காஸியன் செயல்முறை முன்னுரிமைகளைப் பயன்படுத்தி தரவு மாடலிங் (மக்கே, வில்லியம்ஸ்)". www.support-vector.net "ஆதரவு திசையன் இயந்திரங்கள் மற்றும் கர்னல் அடிப்படையிலான முறைகள் (கிறிஸ்டியானினி)". டிலிப்ஃ பெரிய அளவிலான தரவுத்தொகுப்புகளுக்கான குறைந்தபட்ச சதுர எஸ். வி. எம் செயல்படுத்தலைக் கொண்டுள்ளது. திசையன் இயந்திரங்கள் வகைப்பாட்டு வழிமுறைகளை ஆதரிக்கவும் புள்ளியியல் வகைப்பாடு குறைந்தபட்ச சதுரங்கள்