Least-squares support vector machine
આંકડાશાસ્ત્ર માટે અને આંકડાકીય મોડેલિંગમાં લીસ્ટ-સ્ક્વેર સપોર્ટ-વેક્ટર મશીનો (LS-SVM), સપોર્ટ-વેક્ટર મશીનો (SVM) ની લીસ્ટ-સ્ક્વેર આવૃત્તિઓ છે, જે સંબંધિત નિરીક્ષણિત શિક્ષણ પદ્ધતિઓનો સમૂહ છે જે ડેટાનું વિશ્લેષણ કરે છે અને પેટર્નને ઓળખે છે, અને જેનો ઉપયોગ વર્ગીકરણ અને રીગ્રેસન વિશ્લેષણ માટે થાય છે. આ સંસ્કરણમાં શાસ્ત્રીય એસ. વી. એમ. માટે બહિર્મુખ ચતુર્ભુજ પ્રોગ્રામિંગ (ક્યુ. પી.) સમસ્યાને બદલે રેખીય સમીકરણોના સમૂહને હલ કરીને ઉકેલ મળે છે. ઓછામાં ઓછા ચોરસવાળા એસ. વી. એમ. વર્ગીકરણની દરખાસ્ત જોહાન સ્યુયકેન્સ અને જોસ વેન્ડેવાલે દ્વારા કરવામાં આવી હતી. એલ. એસ.-એસ. વી. એમ. એ કર્નલ આધારિત શિક્ષણ પદ્ધતિઓનો એક વર્ગ છે. સપોર્ટ-વેક્ટર મશીનથી લઈને ઓછામાં ઓછા-ચોરસ સપોર્ટ-વેક્ટર મશીન સુધી ઇનપુટ ડેટા અને અનુરૂપ દ્વિસંગી વર્ગના લેબલો સાથે તાલીમ સમૂહ આપવામાં આવે તો, એસ. વી. એમ. વર્ગીકરણ, વાપનિકની મૂળ રચના અનુસાર, નીચેની શરતોને સંતોષે છેઃ જે મૂળ જગ્યાથી ઉચ્ચ અથવા અનંત-પરિમાણીય જગ્યા સુધી બિનરેખીય નકશો ક્યાં છે તેની સમકક્ષ છે. જો આવા અલગ હાયપરપ્લેન અસ્તિત્વમાં ન હોય તો, આપણે કહેવાતા સ્લેક વેરિયેબલ્સ રજૂ કરીએ છીએ જેમ કે માળખાકીય જોખમ ઘટાડવાના સિદ્ધાંત અનુસાર, જોખમની મર્યાદાને નીચેની લઘુતમ સમસ્યા દ્વારા ઘટાડવામાં આવે છેઃ આ સમસ્યાને ઉકેલવા માટે, આપણે લગ્રેન્જિયન કાર્યનું નિર્માણ કરી શકીએ છીએઃ જ્યાં લગ્રેન્જિયન ગુણક છે. શ્રેષ્ઠ બિંદુ લેગ્રેન્જિયન ફંક્શનના સેડલ પોઇન્ટમાં હશે, અને પછી આપણે મેળવીએ છીએ યોગ્ય ઉદ્દેશ્ય અને અવરોધોમાંથી રચાયેલી લેગ્રેન્જિયનમાં તેની અભિવ્યક્તિ દ્વારા બદલીને, આપણને નીચેની દ્વિઘાત પ્રોગ્રામિંગ સમસ્યા મળશેઃ જ્યાં તેને કર્નલ ફંક્શન કહેવામાં આવે છે. આ ક્યુ. પી. સમસ્યાને () માં અવરોધોને આધિન ઉકેલવાથી, આપણે ઉચ્ચ-પરિમાણીય જગ્યામાં હાયપરપ્લેન મેળવીશું અને તેથી મૂળ જગ્યામાં વર્ગીકરણ કરી શકીશું. લઘુતમ-ચોરસ એસ. વી. એમ. રચના એસ. વી. એમ. વર્ગીકરણનું લઘુતમ-ચોરસ સંસ્કરણ લઘુતમ સમસ્યાને સમાનતાના અવરોધોને આધીન રાખીને પુનઃરચના કરીને મેળવવામાં આવે છે ઉપરની લઘુતમ-ચોરસ એસ. વી. એમ. (એલ. એસ.-એસ. વી. એમ.) વર્ગીકરણ રચના સ્પષ્ટપણે દ્વિસંગી લક્ષ્યો સાથેના પ્રતિગમન અર્થઘટનને અનુરૂપ છે. ઉપયોગ કરીને, અમારી પાસે નોટિસ છે, કે આ ભૂલ ઓછામાં ઓછા-ચોરસ ડેટા ફિટિંગ માટે પણ અર્થપૂર્ણ બનશે, જેથી સમાન અંતિમ પરિણામો રીગ્રેસન કેસ માટે હોય. તેથી એલ. એસ.-એસ. વી. એમ. વર્ગીકરણ રચના સાથે અને બન્નેની સમકક્ષ છે અને તેને સમ સ્ક્વેર્ડ ભૂલ વિરુદ્ધ નિયમિતકરણની માત્રાને ટ્યુન કરવા માટે હાયપરપેરામેટર્સ તરીકે ગણવા જોઈએ. ઉકેલ માત્ર ગુણોત્તર પર આધાર રાખે છે, તેથી મૂળ રચના માત્ર ટ્યુનિંગ પરિમાણ તરીકે ઉપયોગ કરે છે. અમે એલ. એસ.-એસ. વી. એમ. ને બાયેસિયન અર્થઘટન પ્રદાન કરવા માટે બંને અને પરિમાણો તરીકે ઉપયોગ કરીએ છીએ. LS-SVM રીગ્રેસરનો ઉકેલ આપણે લેગ્રેન્જિયન કાર્યનું નિર્માણ કર્યા પછી મેળવીશુંઃ લેગ્રેન્જ મલ્ટિપ્લાયર ક્યાં છે. શ્રેષ્ઠતા માટેની શરતો નાબૂદી છે અને તે દ્વિઘાત પ્રોગ્રામિંગ સમસ્યાને બદલે રેખીય પ્રણાલી આપશેઃ સાથે, અને. અહીં, એક ઓળખ મેટ્રિક્સ છે, અને કર્નલ મેટ્રિક્સ દ્વારા વ્યાખ્યાયિત થયેલ છે. કર્નલ કાર્ય K કર્નલ કાર્ય K માટે સામાન્ય રીતે નીચેની પસંદગીઓ હોય છેઃ રેખીય કર્નલઃ ડિગ્રીનું બહુપદી કર્નલઃ રેડિયલ બેસિસ ફંક્શન (આર. બી. એફ.) કર્નલઃ એમ. એલ. પી. કર્નલઃ ક્યાં,, અને અચળાંકો છે. નોંધ લો કે મર્સર શરત બહુપદી અને આરબીએફ કેસમાં બધા અને મૂલ્યો માટે છે, પરંતુ એમએલપી કેસમાં અને તમામ સંભવિત પસંદગીઓ માટે નહીં. સ્કેલ પરિમાણો, અને બહુપદી, આરબીએફ અને એમએલપી કર્નલ કાર્યમાં ઇનપુટ્સનું સ્કેલિંગ નક્કી કરે છે. આ સ્કેલિંગ આંકડામાં કર્નલની બેન્ડવિડ્થ સાથે સંબંધિત છે, જ્યાં તે દર્શાવવામાં આવ્યું છે કે બેન્ડવિડ્થ એ કર્નલ પદ્ધતિની સામાન્યીકરણ વર્તણૂકનું એક મહત્વપૂર્ણ પરિમાણ છે. એલ. એસ.-એસ. વી. એમ. માટે બાયેસિયન અર્થઘટન એસ. વી. એમ. નું બાયેસિયન અર્થઘટન સ્મોલા એટ અલ દ્વારા પ્રસ્તાવિત કરવામાં આવ્યું છે. તેઓએ દર્શાવ્યું કે એસ. વી. એમ. માં વિવિધ કર્નલોના ઉપયોગને કાર્યાત્મક જગ્યા પર વિવિધ પૂર્વ સંભાવના વિતરણોને વ્યાખ્યાયિત કરવા તરીકે ગણી શકાય. અહીં એક અચળાંક છે અને તે પસંદ કરેલ કર્નલને અનુરૂપ નિયમિતકરણ ઓપરેટર છે. મેકકે દ્વારા એક સામાન્ય બાયેસિયન પુરાવા માળખું વિકસાવવામાં આવ્યું હતું, અને મેકકેએ તેનો ઉપયોગ રીગ્રેસન, ફોરવર્ડ ન્યુરલ નેટવર્ક અને વર્ગીકરણ નેટવર્કની સમસ્યા માટે કર્યો છે. પૂરી પાડવામાં આવેલ ડેટા સમૂહ, પરિમાણ વેક્ટર સાથેનું એક મોડેલ અને કહેવાતા હાયપરપેરામીટર અથવા નિયમિતકરણ પરિમાણ, બાયેસિયન અનુમાન 3 સ્તરના અનુમાન સાથે બનાવવામાં આવ્યું છેઃ સ્તર 1 માં, આપેલ મૂલ્ય માટે, અનુમાનનું પ્રથમ સ્તર બાયેસિયન નિયમ દ્વારા પશ્ચાદવર્તી વિતરણને નિર્ધારિત કરે છે. ક્વોકે એસ. વી. એમ. ની રચના અને નમૂના પસંદગીનું અર્થઘટન કરવા માટે બાયેસિયન પુરાવા માળખાનો ઉપયોગ કર્યો હતો. અને તેમણે વેક્ટર રીગ્રેસનને ટેકો આપવા માટે બાયેસિયન પુરાવા માળખું પણ લાગુ કર્યું. હવે, ડેટા બિંદુઓ અને હાયપરપેરામીટર્સ અને મોડેલને જોતાં, મોડેલ પરિમાણો અને પશ્ચાદવર્તીને મહત્તમ કરીને અંદાજવામાં આવે છે. બેયસના નિયમને લાગુ કરીને, આપણે મેળવીએ છીએ કે જ્યાં એક સામાન્ય સ્થિરાંક છે જેમ કે તમામ શક્ય પર અભિન્ન અને 1 ની બરાબર છે. આપણે ધારીએ છીએ અને હાયપરપેરામીટરથી સ્વતંત્ર છીએ, અને શરતી સ્વતંત્ર છીએ, એટલે કે, આપણે ધારીએ છીએ કે જ્યારે, તેનું વિતરણ એક સમાન વિતરણનો અંદાજ લાવશે. વધુમાં, આપણે ધારીએ છીએ અને ગૌસીયન વિતરણ છીએ, તેથી આપણે અને સાથે પ્રાથમિકતા વિતરણ મેળવીએ છીએ. ની સંભાવના માત્ર અને પર આધારિત હોવાનું માનવામાં આવે છે. અમે ધારીએ છીએ કે ડેટા પોઇન્ટ સ્વતંત્ર રીતે સમાન રીતે વિતરિત કરવામાં આવે છે (એટલે કે. ), જેથીઃ લઘુત્તમ વર્ગ ખર્ચ કાર્ય મેળવવા માટે, એવું માનવામાં આવે છે કે ડેટા પોઇન્ટની સંભાવના આનુપાતિક છેઃ ભૂલો માટે ગૌસીયન વિતરણ આ રીતે લેવામાં આવે છેઃ એવું માનવામાં આવે છે કે અને તે એવી રીતે નક્કી કરવામાં આવે છે કે વર્ગ કેન્દ્રો અને લક્ષ્ય-1 અને + 1 પર અનુક્રમે મેપ કરવામાં આવે. વર્ગ તત્વોના અંદાજો બહુવિધ ગૌસીયન વિતરણને અનુસરે છે, જેમાં ભિન્નતા હોય છે. અગાઉના સમીકરણોને જોડીને અને તમામ સ્થિરાંકોની અવગણના કરીને, બેયસનો નિયમ મહત્તમ પશ્ચાદવર્તી ઘનતાના અંદાજો બની જાય છે અને પછી (26) ના નકારાત્મક લઘુગણકને ઘટાડીને મેળવવામાં આવે છે, તેથી આપણે (10) પહોંચીએ છીએ. સંદર્ભ ગ્રંથસૂચિ જે. એ. કે. સુયકેન્સ, ટી. વેન ગેસ્ટેલ, જે. ડી બ્રેબૅન્ટર, બી. ડી મૂર, જે. વાંડેવાલે, લીસ્ટ સ્ક્વેર્સ સપોર્ટ વેક્ટર મશીન્સ, વર્લ્ડ સાયન્ટિફિક પબ. કંપની, સિંગાપોર, 2002. સુયકેન્સ જે. એ. કે., વાંડેવાલે જે., લીસ્ટ સ્ક્વેર્સ સપોર્ટ વેક્ટર મશીન ક્લાસિફાયર્સ, ન્યુરલ પ્રોસેસિંગ લેટર્સ, વોલ્યુમ. 9, ના. 3, જૂન. 1999, pp. 293-300. વ્લાદિમીર વાપનિક. આંકડાકીય શિક્ષણ સિદ્ધાંતની પ્રકૃતિ. સ્પ્રિંગર-વેરલેગ, 1995. મેકકે, ડી. જે. સી., સંભવિત નેટવર્ક્સ અને બુદ્ધિગમ્ય આગાહીઓ-સુપરવાઇઝ્ડ ન્યુરલ નેટવર્ક્સ માટે વ્યવહારુ બાયેસિયન પદ્ધતિઓની સમીક્ષા. નેટવર્કઃ ન્યુરલ સિસ્ટમ્સમાં ગણતરી, વોલ્યુમ. 6, 1995, પૃષ્ઠ. 469-505. બાહ્ય કડીઓ www.esat.kuleuven.be/sista/lssvmlab "લીસ્ટ સ્ક્વેર્સ સપોર્ટ વેક્ટર મશીન લેબ (LS-SVMlab) ટૂલબોક્સમાં સંખ્યાબંધ LS-SVM અલ્ગોરિધમ્સ માટે MATLAB/C અમલીકરણ છે". www.kernel-machines.org "સપોર્ટ વેક્ટર મશીનો અને કર્નલ આધારિત પદ્ધતિઓ (સ્મોલા અને સ્કોલકોફ)". www.gaussianprocess.org "ગૌસીયન પ્રક્રિયાઓઃ પ્રતિગમન અને વર્ગીકરણ (મેકકે, વિલિયમ્સ) માટેના કાર્યો પર ગૌસીયન પ્રક્રિયા પ્રાથમિકતાઓનો ઉપયોગ કરીને ડેટા મોડેલિંગ". www.support-vector.net "સપોર્ટ વેક્ટર મશીનો અને કર્નલ આધારિત પદ્ધતિઓ (ક્રિસ્ટિયાનિની)". dlib: મોટા પાયે ડેટાસેટ્સ માટે ઓછામાં ઓછા ચોરસ SVM અમલીકરણ ધરાવે છે. વેક્ટર મશીનોને ટેકો વર્ગીકરણ અલ્ગોરિધમ્સ આંકડાકીય વર્ગીકરણ ઓછામાં ઓછા ચોરસ