Least-squares support vector machine
सांख्यिकी आ सांख्यिकीय प्रतिरूपण लेल न्यूनतम-वर्ग समर्थन-सदिश मशीन (एल. एस.-एस. वी. एम.), समर्थन-सदिश मशीन (एस. वी. एम.) क न्यूनतम-वर्ग संस्करण अछि, जे सम्बन्धित पर्यवेक्षित शिक्षण विधिसभक एकटा समूह अछि जे आंकड़ाक विश्लेषण करैत अछि आ प्रतिरूपकेँ चिन्हैत अछि, आ जकर उपयोग वर्गीकरण आ प्रतिगमन विश्लेषण लेल कयल जाइत अछि। इस संस्करण में शास्त्रीय एस. वी. एम. के लिए उत्तल द्विघात प्रोग्रामिंग (क्यू. पी.) समस्या के बजाय रैखिक समीकरणों के एक समूह को हल करके समाधान पाया जाता है। सबसे कम वर्ग वाले एस. वी. एम. वर्गीकरण का प्रस्ताव जोहान सुयकेन्स और जोस वांडेवाले ने रखा था। एल. एस.-एस. वी. एम. कर्नेल आधारित सीखने की विधियों का एक वर्ग है। इनपुट डेटा और संबंधित द्विआधारी वर्ग लेबल के साथ एक प्रशिक्षण सेट दिए जाने पर, एस. वी. एम. वर्गीकरणकर्ता, वैपनिक के मूल सूत्रीकरण के अनुसार, निम्नलिखित शर्तों को संतुष्ट करता हैः जो मूल स्थान से उच्च या अनंत-आयामी स्थान तक गैर-रैखिक मानचित्र के बराबर है। इस तरह के एक अलग हाइपरप्लेन मौजूद नहीं होने की स्थिति में, हम तथाकथित सुस्त चर पेश करते हैं जैसे कि संरचनात्मक जोखिम न्यूनीकरण सिद्धांत के अनुसार, जोखिम सीमा को निम्नलिखित न्यूनतम समस्या द्वारा कम किया जाता हैः इस समस्या को हल करने के लिए, हम लैग्रैन्जियन फ़ंक्शन का निर्माण कर सकते हैंः लैग्रैन्जियन गुणक कहाँ हैं। इष्टतम बिंदु लैग्रैन्जियन फलन के काठी बिंदु में होगा, और फिर हम प्राप्त करते हैं उचित उद्देश्य और बाधाओं से बने लैग्रैन्जियन में इसकी अभिव्यक्ति को प्रतिस्थापित करके, हम निम्नलिखित द्विघात प्रोग्रामिंग समस्या प्राप्त करेंगेः जहाँ इसे कर्नेल फलन कहा जाता है। () में बाधाओं के अधीन इस क्यू. पी. समस्या को हल करते हुए, हम उच्च-आयामी स्थान में हाइपरप्लेन प्राप्त करेंगे और इसलिए मूल स्थान में वर्गीकरण करेंगे। न्यूनतम-वर्ग एस. वी. एम. सूत्रीकरण एस. वी. एम. वर्गीकरण का न्यूनतम-वर्ग संस्करण न्यूनतम समस्या को समानता की बाधाओं के अधीन सुधारकर प्राप्त किया जाता है ऊपर दिए गए न्यूनतम-वर्ग एस. वी. एम. (एल. एस.-एस. वी. एम.) वर्गीकरण सूत्रीकरण स्पष्ट रूप से द्विआधारी लक्ष्यों के साथ प्रतिगमन व्याख्या से मेल खाते हैं। उपयोग करते हुए, हमारे पास नोटिस के साथ है, कि यह त्रुटि कम से कम वर्ग डेटा फिटिंग के लिए भी समझ में आएगी, ताकि प्रतिगमन मामले के लिए समान अंतिम परिणाम हो। इसलिए एल. एस.-एस. वी. एम. वर्गीकरण सूत्रीकरण के साथ और दोनों के बराबर है और इसे नियमितीकरण की मात्रा बनाम योग वर्ग त्रुटि को ट्यून करने के लिए अतिमानक के रूप में माना जाना चाहिए। समाधान केवल अनुपात पर निर्भर करता है, इसलिए मूल सूत्रीकरण केवल ट्यूनिंग पैरामीटर के रूप में उपयोग करता है। हम एल. एस.-एस. वी. एम. को बायेसियन व्याख्या प्रदान करने के लिए दोनों और मापदंडों के रूप में उपयोग करते हैं। एल. एस.-एस. वी. एम. रिग्रेसर का समाधान लैग्रैन्जियन फलन के निर्माण के बाद प्राप्त किया जाएगाः लैग्रैन्ज गुणक कहाँ हैं। इष्टतमता के लिए शर्तें हैं उन्मूलन और एक द्विघात प्रोग्रामिंग समस्या के बजाय एक रैखिक प्रणाली उत्पन्न करेंगेः के साथ, और। यहाँ, एक पहचान मैट्रिक्स है, और कर्नेल मैट्रिक्स द्वारा परिभाषित किया गया है। कर्नेल फलन के. कर्नेल फलन के लिए आम तौर पर निम्नलिखित विकल्प होते हैंः रैखिक कर्नेलः डिग्री का बहुपद कर्नेलः रेडियल आधार फलन आरबीएफ कर्नेलः एमएलपी कर्नेलः कहाँ,, और स्थिरांक हैं। ध्यान दें कि मर्सर शर्त बहुपद और आरबीएफ मामले में सभी और मूल्यों के लिए है, लेकिन एमएलपी मामले में सभी संभावित विकल्पों के लिए नहीं है। स्केल पैरामीटर, और बहुपद, आरबीएफ और एमएलपी कर्नेल फ़ंक्शन में इनपुट के स्केलिंग को निर्धारित करते हैं। यह स्केलिंग सांख्यिकी में कर्नेल की बैंडविड्थ से संबंधित है, जहां यह दिखाया गया है कि बैंडविड्थ कर्नेल विधि के सामान्यीकरण व्यवहार का एक महत्वपूर्ण पैरामीटर है। एल. एस.-एस. वी. एम. के लिए बायेसियन व्याख्या एस. वी. एम. की एक बायेसियन व्याख्या स्मोला एट अल द्वारा प्रस्तावित की गई है। उन्होंने दिखाया कि एस. वी. एम. में विभिन्न कर्नेल के उपयोग को कार्यात्मक स्थान पर विभिन्न पूर्व संभावना वितरणों को परिभाषित करने के रूप में माना जा सकता है। यहाँ एक स्थिरांक है और चयनित कर्नेल के अनुरूप नियमितकरण प्रचालक है। मैकके द्वारा एक सामान्य बायेसियन साक्ष्य ढांचा विकसित किया गया था, और मैकके ने इसका उपयोग प्रतिगमन, फॉरवर्ड न्यूरल नेटवर्क और वर्गीकरण नेटवर्क की समस्या के लिए किया है। प्रदत्त डेटा सेट, पैरामीटर वेक्टर के साथ एक मॉडल और एक तथाकथित हाइपरपैरामीटर या नियमितकरण पैरामीटर, बायेसियन अनुमान का निर्माण 3 स्तरों के अनुमान के साथ किया जाता हैः स्तर 1 में, दिए गए मूल्य के लिए, अनुमान का पहला स्तर बायेसियन नियम के बाद के वितरण को प्रभावित करता है। क्वोक ने एस. वी. एम. के निर्माण और मॉडल चयन की व्याख्या करने के लिए बायेसियन साक्ष्य ढांचे का उपयोग किया। और उन्होंने वेक्टर प्रतिगमन का समर्थन करने के लिए बायेसियन साक्ष्य ढांचे को भी लागू किया। अब, डेटा बिंदुओं और हाइपरपैरामीटर्स और मॉडल के, मॉडल मापदंडों को देखते हुए और पोस्टीरियर को अधिकतम करके अनुमान लगाया जाता है। बेयस के नियम को लागू करते हुए, हम प्राप्त करते हैं कि एक सामान्यीकरण स्थिरांक कहाँ है जैसे कि सभी संभव पर समाकलन और 1 के बराबर है। हम मानते हैं और हाइपरपैरामीटर से स्वतंत्र हैं, और सशर्त स्वतंत्र हैं, यानी, हम मानते हैं कि कब, का वितरण एक समान वितरण का अनुमान लगाएगा। इसके अलावा, हम मानते हैं और गौसी वितरण हैं, इसलिए हम एक प्राथमिकता वितरण प्राप्त करते हैं और इसके साथ होना यहाँ सुविधा स्थान की आयामीता है, की आयामीता के समान है। की संभावना केवल और पर निर्भर करती है। हम मानते हैं कि डेटा बिंदु स्वतंत्र रूप से समान रूप से वितरित किए जाते हैं (अर्थात। ), ताकिः न्यूनतम वर्ग लागत फलन प्राप्त करने के लिए, यह माना जाता है कि एक डेटा बिंदु की संभावना आनुपातिक हैः त्रुटियों के लिए एक गौसी वितरण इस प्रकार लिया जाता हैः यह माना जाता है कि और इस तरह से निर्धारित किए जाते हैं कि वर्ग केंद्र और लक्ष्य-1 और + 1 पर क्रमशः मैप किए जाते हैं। वर्ग तत्वों के अनुमान एक बहुभिन्नरूपी गौसी वितरण का पालन करते हैं, जिसमें भिन्नता होती है। पूर्ववर्ती अभिव्यक्तियों को मिलाकर, और सभी स्थिरांकों की उपेक्षा करते हुए, बेयस का नियम अधिकतम पश्च घनत्व अनुमान बन जाता है और फिर (26) के ऋणात्मक लघुगणक को न्यूनतम करके प्राप्त किया जाता है, इसलिए हम (10) तक पहुँचते हैं। संदर्भ ग्रंथ सूची जे। ए. के. सुयकेन्स, टी. वान गेस्टेल, जे. डी ब्रेबैंटर, बी। डी मूर, जे. वांडेवाले, लीस्ट स्क्वेयर्स सपोर्ट वेक्टर मशीन्स, वर्ल्ड साइंटिफिक पब। कं., सिंगापुर, 2002। सुयकेन्स जे. ए. के., वांडेवाले जे., लीस्ट स्क्वेयर्स सपोर्ट वेक्टर मशीन क्लासिफायर्स, न्यूरल प्रोसेसिंग लेटर्स, वॉल्यूम। 9, नहीं। 3, जून। 1999, पीपी. 293-300। व्लादिमीर वापनिक। सांख्यिकीय शिक्षण सिद्धांत की प्रकृति। स्प्रिंगर-वेरलैग, 1995। मैकके, डी. जे. सी., संभावित नेटवर्क और प्रशंसनीय भविष्यवाणियाँ-पर्यवेक्षित तंत्रिका नेटवर्क के लिए व्यावहारिक बायेसियन तरीकों की समीक्षा। नेटवर्कः तंत्रिका प्रणालियों में संगणना, वॉल्यूम। 6, 1995, पृ. 469-505। बाहरी लिंक www.esat.kuleuven.be/sista/lssvmlab "लीस्ट स्क्वेयर्स सपोर्ट वेक्टर मशीन लैब (LS-SVMlab) टूलबॉक्स में कई LS-SVM एल्गोरिदम के लिए मैटलैब/सी कार्यान्वयन शामिल हैं।" www.kernel-machines.org "वेक्टर मशीन और कर्नेल आधारित विधियों (स्मोला और स्कॉल्कॉफ) का समर्थन करें।" www.gaussianprocess.org "गौसी प्रक्रियाएँः प्रतिगमन और वर्गीकरण (मैकके, विलियम्स) के लिए कार्यों पर गौसी प्रक्रिया प्राथमिकताओं का उपयोग करके डेटा मॉडलिंग।" www.support-vector.net "वेक्टर मशीन और कर्नेल आधारित विधियों (क्रिस्टियानिनी) का समर्थन करें।" डीएलबीः बड़े पैमाने पर डेटासेट के लिए कम से कम वर्ग एसवीएम कार्यान्वयन शामिल है। समर्थन वेक्टर मशीन वर्गीकरण एल्गोरिदम सांख्यिकीय वर्गीकरण न्यूनतम वर्ग