Innovation Method
सांख्यिकी में, नवाचार विधि स्थिति चर की (संभावित शोर) टिप्पणियों की एक समय श्रृंखला को देखते हुए यादृच्छिक विभेदक समीकरणों के मापदंडों के लिए एक अनुमानक प्रदान करती है। निरंतर-असतत राज्य अंतरिक्ष मॉडल के ढांचे में, मानदंडों के संबंध में संबंधित असतत-समय नवाचार प्रक्रिया की लॉग-आजीविका को अधिकतम करके नवाचार अनुमानक प्राप्त किया जाता है। नवान्वेषण प्राक्कलनकर्ता को एक एम-प्राक्कलनकर्ता, एक अर्ध-अधिकतम संभावना प्राक्कलनकर्ता या एक भविष्यवाणी त्रुटि प्राक्कलनकर्ता के रूप में वर्गीकृत किया जा सकता है जो उन अनुमानित विचारों पर निर्भर करता है जिन पर जोर दिया जाना चाहिए। नवान्वेषण विधि मापा डेटा से गतिशील प्रणालियों के गणितीय मॉडल विकसित करने और प्रयोगों के इष्टतम डिजाइन के लिए एक प्रणाली पहचान तकनीक है। पृष्ठभूमि यादृच्छिक विभेदक समीकरण (एस. डी. ई.) प्राकृतिक, सामाजिक और व्यावहारिक विज्ञानों में कई यादृच्छिक घटनाओं के समय विकास का वर्णन करने के लिए एक महत्वपूर्ण गणितीय उपकरण बन गए हैं। इस प्रकार एस. डी. ई. के लिए सांख्यिकीय अनुमान मॉडल निर्माण, मॉडल चयन, मॉडल पहचान और पूर्वानुमान के लिए अनुप्रयोगों में बहुत महत्वपूर्ण है। एस. डी. ई. के लिए सांख्यिकीय अनुमान लगाने के लिए, इन यादृच्छिक घटनाओं के अवस्था चर का माप अपरिहार्य है। आमतौर पर, व्यवहार में, केवल कुछ अवस्था चर को भौतिक उपकरणों द्वारा मापा जाता है जो यादृच्छिक माप त्रुटियों (अवलोकन संबंधी त्रुटियों) का परिचय देते हैं। अनुमान के लिए गणितीय मॉडल नवाचार अनुमानक। एस. डी. ई. के लिए निरंतर-असतत अवस्था अंतरिक्ष मॉडल के ढांचे में परिभाषित किया गया है। ये मॉडल निरंतर यादृच्छिक घटनाओं के लौकिक विकास और समय क्षणों के क्रम में उनके माप के प्राकृतिक गणितीय प्रतिनिधित्व के रूप में उत्पन्न होते हैं। सबसे सरल सूत्रीकरण में, इन निरंतर-विविक्त मॉडलों को एक एस. डी. ई. के रूप में व्यक्त किया जाता है जो सभी समय के लिए घटना के अवस्था चर के समय विकास का वर्णन करता है, और एक अवलोकन समीकरण जो कम से कम एक के माप की समय श्रृंखला का वर्णन करता है। मॉडल (1)-(2) में, और अवकलनीय कार्य हैं, एक-आयामी मानक वीनर प्रक्रिया है, मापदंडों का एक सदिश है,-आयामी अर्थात डी का एक अनुक्रम है। एक सकारात्मक निश्चित मैट्रिक्स और एक मैट्रिक्स से स्वतंत्र गौसी यादृच्छिक वैक्टर। हल करने के लिए सांख्यिकीय समस्या एक बार जब किसी घटना की गतिकी को एक अवस्था समीकरण द्वारा (1) के रूप में वर्णित किया जाता है और माप के तरीके को एक अवलोकन समीकरण द्वारा निर्दिष्ट अवस्था चर को (2) के रूप में वर्णित किया जाता है, तो हल करने के लिए अनुमान समस्या निम्नलिखित हैः अवलोकन समय पर यादृच्छिक प्रक्रिया की आंशिक और शोर टिप्पणियों को देखते हुए, (1) में अनिर्धारित अवस्था चर और अज्ञात मापदंडों का अनुमान लगाएं जो दिए गए अवलोकनों के लिए बेहतर हैं। विविक्त-समय नवान्वेषण प्रक्रिया आइए (1) की अवस्थाओं के अवलोकन समय का अनुक्रम, और अवलोकन समीकरण (2) द्वारा वर्णित आंशिक और शोर मापों की समय श्रृंखला हों। इसके अलावा, साथ का सशर्त माध्य और विचरण होने दें, जहां यादृच्छिक वैक्टर के अपेक्षित मूल्य को दर्शाता है। के साथ यादृच्छिक अनुक्रम असतत-समय नवाचार प्रक्रिया को परिभाषित करता है, जहां शून्य माध्य और पर्याप्त छोटे के लिए भिन्नता के साथ एक स्वतंत्र सामान्य रूप से वितरित यादृच्छिक वेक्टर साबित होता है। व्यवहार में, असतत-समय नवाचार के लिए यह वितरण तब मान्य होता है, जब दोनों के उपयुक्त चयन के साथ, टिप्पणियों की संख्या और लगातार टिप्पणियों के बीच समय की दूरी, एस. डी. ई. की टिप्पणियों की समय श्रृंखला में निरंतर-समय प्रक्रिया के बारे में मुख्य जानकारी होती है। अर्थात्, जब निरंतर-समय प्रक्रिया के नमूने में कम विकृति (अलियासिंग) होती है और जब एक उपयुक्त संकेत-शोर अनुपात होता है। नवान्वेषण प्राक्कलनकर्ता एस. डी. ई. (1) के मापदंडों के लिए नवान्वेषण प्राक्कलनकर्ता वह है जो मापदंडों के संबंध में असतत-समय नवान्वेषण प्रक्रिया के संभाव्यता कार्य को अधिकतम करता है। अधिक सटीक रूप से, राज्य अंतरिक्ष मॉडल (1)-(2) के मापदंडों के लिए नवाचार अनुमानक के साथ दिए गए माप (1) को इस प्रकार परिभाषित किया जाता है जहां मॉडल का असतत-समय नवाचार (3) और नवाचार विचरण (4) (1)-(2) सभी के लिए, सशर्त माध्य और विचरण के लिए उपरोक्त अभिव्यक्ति की गणना क्षणों के विकास के लिए निरंतर-असतत फ़िल्टरिंग एल्गोरिदम (धारा 6,4 इंच) द्वारा की जाती है, अधिकतम संभावना अनुमानक के साथ सभी अंतरों के लिए मॉडल (1)-(2) में मापदंडों के अधिकतम संभावना अनुमानक में राज्यों और प्रसार प्रक्रिया के बीच-आमतौर पर अज्ञात-संक्रमण घनत्व कार्य का मूल्यांकन शामिल है। इसके बजाय, नवाचार अनुमानक (5) को गौसी और स्वतंत्र यादृच्छिक वैक्टरों को ध्यान में रखते हुए असतत-समय नवाचार प्रक्रिया की संभावना को अधिकतम करके प्राप्त किया जाता है। उल्लेखनीय रूप से, जबकि संक्रमण घनत्व कार्य तब बदलता है जब एस. डी. ई. करता है, नवाचार प्रक्रिया के लिए संक्रमण घनत्व कार्य एस. डी. ई. से स्वतंत्र रूप से गौसीयन रहता है। केवल उस स्थिति में जब प्रसार को योगात्मक शोर के साथ एक रैखिक एस. डी. ई. द्वारा वर्णित किया जाता है, घनत्व कार्य गौसीयन और बराबर होता है और इसलिए अधिकतम संभावना और नवाचार अनुमानक मेल खाते हैं। अन्यथा, नवान्वेषण प्राक्कलनकर्ता अधिकतम संभावना प्राक्कलनकर्ता का एक अनुमान है और इस अर्थ में, नवान्वेषण प्राक्कलनकर्ता एक अर्ध-अधिकतम संभावना प्राक्कलनकर्ता है। इसके अलावा, नवाचार विधि में दी गई परिभाषा के अनुसार भविष्यवाणी त्रुटि विधि का एक विशेष उदाहरण है। इसलिए, अनुमानकर्ताओं के उस सामान्य वर्ग के लिए प्राप्त असिम्प्टोटिक परिणाम नवाचार अनुमानकर्ताओं के लिए मान्य हैं। स्वाभाविक रूप से, विशिष्ट नियंत्रण इंजीनियरिंग दृष्टिकोण का पालन करते हुए, यह उम्मीद की जाती है कि नवाचार प्रक्रिया-जिसे फिट किए गए मॉडल की भविष्यवाणी त्रुटियों के एक उपाय के रूप में देखा जाता है-लगभग एक सफेद शोर प्रक्रिया हो जब मॉडल डेटा में फिट होते हैं, जिसका उपयोग किया जा सकता है मॉडल की डिजाइनिंग और इष्टतम प्रयोगात्मक डिजाइन के लिए एक व्यावहारिक उपकरण के रूप में। गुण नवान्वेषण अनुमानक (5) में कई महत्वपूर्ण विशेषताएँ होती हैंः पारंपरिक नियमितता स्थितियों के तहत, नवान्वेषण अनुमानक (5) सुसंगत और असिंप्टोटिकली सामान्य रूप से वितरित होता है। मॉडल चुनने के लिए, नवाचार अनुमानक (5) की अधिकतम लॉग-लाइक्लीहुड का उपयोग अकाईके या बायेसियन सूचना मानदंड की गणना करने के लिए किया जा सकता है। नवान्वेषण प्राक्कलनकर्ता के लिए विश्वास सीमा का अनुमान महत्व स्तर और स्वतंत्रता की डिग्री के साथ टी-छात्र वितरण के साथ लगाया जाता है। यहाँ, नवाचार अनुमानक के विचरण को दर्शाता है, जहाँ फिशर सूचना मैट्रिक्स नवाचार अनुमानक है और और के साथ मैट्रिक्स की प्रविष्टि है। फिटिंग-नवाचार प्रक्रिया का वितरण डेटा के लिए मॉडल के फिट होने की अच्छाई को मापता है। पर्याप्त सुचारू कार्य के लिए, रूप के अरैखिक अवलोकन समीकरणों को सरल (2) में परिवर्तित किया जा सकता है, और नवाचार अनुमानक (5) को लागू किया जा सकता है। लगभग नवान्वेषण अनुमानक व्यवहारमे, संगणनक लेल आ (5) मे निकट रूप अभिव्यक्ति मात्र किछु मॉडल (1)-(2) लेल उपलब्ध छैक। इसलिए, अनुप्रयोगों में निम्नलिखित के रूप में अनुमानित फ़िल्टरिंग एल्गोरिदम का उपयोग किया जाता है। मापों और प्रारंभिक फ़िल्टर अनुमानों को देखते हुए, मॉडल (1)-(2) के लिए अनुमानित रैखिक न्यूनतम विचरण (एल. एम. वी.) फ़िल्टर को प्रत्येक अवलोकन समय पर भविष्यवाणी अनुमानों और प्रारंभिक स्थितियों और फ़िल्टर अनुमानों और सभी के लिए फ़िल्टर लाभ के साथ बार-बार परिभाषित किया जाता है, जहां अवलोकन समय पर (1) के समाधान का एक अनुमान है। राज्य अंतरिक्ष मॉडल (1)-(2) के साथ माप को देखते हुए, (1) के मापदंडों के लिए अनुमानित नवाचार अनुमानक को फ़िल्टरिंग एल्गोरिथ्म (7)-(8) के परिणामस्वरूप क्रमशः असतत-समय नवाचार (3) और नवाचार भिन्नता (4) के लिए अनुमानित होने और अनुमानों द्वारा परिभाषित किया जाता है। शोर से मुक्त पूर्ण अवलोकन वाले मॉडलों के लिए (यानी, के साथ और (2) में), अनुमानित नवाचार अनुमानक (9) एस. डी. ई. के लिए ज्ञात अर्ध-अधिकतम संभावना अनुमानक तक कम हो जाता है। मुख्य पारंपरिक-प्रकार के अनुमानक पारंपरिक-प्रकार के नवाचार अनुमानक वे (9) हैं जो पारंपरिक-प्रकार निरंतर-असतत या असतत-असतत अनुमानित फ़िल्टरिंग एल्गोरिदम से प्राप्त होते हैं। अनुमानित निरंतर-विविक्त फ़िल्टरों के साथ स्थानीय रैखिककरण (एल. एल.) फ़िल्टरों, विस्तारित कालमन फ़िल्टर और दूसरे क्रम के फ़िल्टरों पर आधारित नवाचार अनुमानक हैं। असतत-असतत फिल्टर पर आधारित अनुमानित नवाचार अनुमानक एक संख्यात्मक योजना के माध्यम से एस. डी. ई. (1) के विवेकीकरण का परिणाम है। आमतौर पर, इन नवाचार अनुमानकों की प्रभावशीलता सीधे शामिल फ़िल्टरिंग एल्गोरिदम की स्थिरता से संबंधित होती है। इन पारंपरिक प्रकार के फिल्टरों की एक साझा कमी यह है कि, एक बार अवलोकन दिए जाने के बाद, अनुमानित और सटीक नवाचार प्रक्रिया के बीच की त्रुटि को ठीक किया जाता है और टिप्पणियों के बीच की समय दूरी से पूरी तरह से तय किया जाता है। यह कुछ अनुप्रयोगों में अनुमानित नवाचार अनुमानकों का एक बड़ा पूर्वाग्रह स्थापित कर सकता है, पूर्वाग्रह जिसे टिप्पणियों की संख्या बढ़ाकर ठीक नहीं किया जा सकता है। हालांकि, पारंपरिक प्रकार के नवाचार अनुमानक कई व्यावहारिक स्थितियों में उपयोगी होते हैं जिनके लिए पैरामीटर अनुमान के लिए केवल मध्यम या कम सटीकता की आवश्यकता होती है। ऑर्डर-बीटा नवाचार अनुमानक आइए हम स्थिति को संतुष्ट करने वाले समय अंतराल के बेहतर समय विवेचना पर विचार करें। इसके अलावा, सभी के लिए समीकरण (1) के विवेकीकरण से प्राप्त का अनुमानित मूल्य, और सभी के लिए एक निरंतर-समय सन्निकटन। एक ऑर्डर-एलएमवी फ़िल्टर। एक अनुमानित एल. एम. वी. फिल्टर है जिसके लिए एक क्रम-संतोषजनक (10) के लिए कमजोर सन्निकटन और सभी और किसी भी समय लगातार अवकलनीय कार्यों के लिए कमजोर अभिसरण स्थिति है जिसके लिए और इसके सभी आंशिक व्युत्पन्नों में क्रम तक बहुपद वृद्धि होती है, जो एक सकारात्मक स्थिरांक है। यह क्रम-एल. एम. वी. फिल्टर दर के साथ सटीक एल. एम. वी. फिल्टर में परिवर्तित हो जाता है जैसा कि शून्य पर जाता है, जहां समय विवेचना का अधिकतम चरण आकार है जिस पर सन्निकटन को परिभाषित किया जाता है। एक क्रम-नवान्वेषण अनुमानक एक अनुमानित नवान्वेषण अनुमानक (9) होता है जिसके लिए एक क्रम-एल. एम. वी. फिल्टर के परिणामस्वरूप क्रमशः असतत-समय नवान्वेषण (3) और नवान्वेषण विचरण (4) का अनुमान लगाया जाता है। कमजोर अर्थों में अभिसरण करने वाले किसी भी प्रकार के सन्निकटन (जैसे, उनमें) का उपयोग एक ऑर्डर-एल. एम. वी. फिल्टर और इसके परिणामस्वरूप, एक ऑर्डर-नवाचार अनुमानक को डिजाइन करने के लिए किया जा सकता है। ये क्रम-नवाचार अनुमानक आवर्ती व्यावहारिक स्थिति के लिए अभिप्रेत हैं जिसमें एक प्रसार प्रक्रिया की पहचान समय में दूर के अवलोकनों की कम संख्या से या जब अनुमानित मापदंडों के लिए उच्च सटीकता की आवश्यकता होती है, से की जानी चाहिए। गुण-एक क्रम-नवान्वेषण प्राक्कलनकर्ता के कई महत्वपूर्ण गुण होते हैंः टिप्पणियों के प्रत्येक दिए गए डेटा के लिए, सटीक नवान्वेषण प्राक्कलनकर्ता में परिवर्तित हो जाता है क्योंकि समय विवेचना का अधिकतम चरण आकार शून्य हो जाता है। प्रेक्षणों के सीमित नमूनों के लिए, प्रेक्षणों का अपेक्षित मूल्य सटीक नवाचार अनुमानक के अपेक्षित मूल्य में परिवर्तित हो जाता है जैसा कि शून्य पर जाता है। अवलोकनों की बढ़ती संख्या के लिए, स्पर्शोन्मुख रूप से सामान्य वितरित है और शून्य पर जाने पर इसका पूर्वाग्रह कम हो जाता है। इसी तरह सटीक एल. एम. वी. फिल्टर के लिए क्रम-एल. एम. वी. फिल्टर के अभिसरण के लिए, अभिसरण और स्पर्शोन्मुख गुणों के लिए दो लगातार टिप्पणियों के बीच समय की दूरी पर कोई बाधा नहीं है और न ही समय विवेचना पर अकाइक या बायेसियन सूचना मानदंड और विश्वास सीमाओं के लिए सन्निकटन सीधे सटीक अनुमानक को उसके सन्निकटन द्वारा प्रतिस्थापित करके प्राप्त किए जाते हैं। ये सन्निकटन संबंधित सटीक में अभिसरण करते हैं जब समय विवेचना का अधिकतम चरण आकार शून्य हो जाता है। अनुमानित फिटिंग-नवाचार प्रक्रिया का वितरण डेटा के लिए मॉडल के फिट होने की अच्छाई को मापता है, जिसका उपयोग मॉडल के डिजाइन और इष्टतम प्रयोगात्मक डिजाइन के लिए एक व्यावहारिक उपकरण के रूप में भी किया जाता है। पर्याप्त सुचारू कार्य के लिए, रूप (6) के अरैखिक अवलोकन समीकरणों को सरल (2) में परिवर्तित किया जा सकता है, और क्रम-नवाचार अनुमानक को लागू किया जा सकता है। चित्र 1, और के साथ, अवलोकन समय पर शोर टिप्पणियों की 100 समय श्रृंखला से प्राप्त समीकरण के मापदंडों के लिए और मानदंडों के लिए पारंपरिक और क्रम-नवाचार अनुमानक के साथ सटीक नवाचार अनुमानक के बीच अंतर के हिस्टोग्राम प्रस्तुत करता है। शास्त्रीय और क्रम-नवाचार प्राक्कलनकर्ताओं के स्थानीय रैखिककरण फिल्टर और क्रमशः, समान समय विवेचनाओं पर और के साथ परिभाषित किए गए हैं। ऑर्डर-लोकल लीनियराइजेशन फिल्टर के स्टोकेस्टिक सिमुलेशन की संख्या का अनुमान मध्यम सहिष्णुता के साथ एक अनुकूली नमूनाकरण एल्गोरिदम के माध्यम से लगाया जाता है। चित्र 1 कम होते हुए सटीक नवाचार अनुमानकों के लिए क्रम-नवाचार अनुमानक के अभिसरण को दर्शाता है, जो पारंपरिक नवाचार अनुमानक द्वारा प्रदान किए गए अनुमान में काफी सुधार करता है। नियतात्मक अनुमान क्रम-नवान्वेषण प्राक्कलनकर्ता पूर्वाग्रह को कम करने की असंभवता से संबंधित पारंपरिक प्रकार के नवान्वेषण प्राक्कलनकर्ताओं की कमी को दूर करते हैं। हालांकि, एक क्रम-नवाचार अनुमानक व्यवहार्य पूर्वाग्रह में कमी के लिए अंततः यह आवश्यक हो सकता है कि संबंधित क्रम-एलएमवी फिल्टर बड़ी संख्या में यादृच्छिक अनुकरण का प्रदर्शन करे। ऐसी स्थितियों में जहां केवल कम या मध्यम परिशुद्धता अनुमानित अनुमानकों की आवश्यकता होती है, एक वैकल्पिक नियतात्मक फ़िल्टर एल्गोरिथ्म-जिसे नियतात्मक क्रम-एल. एम. वी. फ़िल्टर कहा जाता है-पहले दो सशर्त क्षणों और क्रम-कमजोर सन्निकटन पर नज़र रखते हुए प्राप्त किया जा सकता है। अर्थात्, भविष्यवाणियों और फ़िल्टरिंग एल्गोरिदम में मूल्य की गणना पुनरावर्ती सूत्रों से और साथ और साथ की जाती है। इन नियतात्मक क्रम-एल. एम. वी. फिल्टरों के साथ परिभाषित अनुमानित नवाचार अनुमानक अब सटीक नवाचार अनुमानक के लिए अभिसरण नहीं करते हैं, लेकिन कम कम्प्यूटेशनल लागत के साथ दिए गए सीमित नमूने के लिए अनुमानित मापदंडों में महत्वपूर्ण पूर्वाग्रह कमी की अनुमति देते हैं। चित्र 2 हिस्टोग्राम और अनुमानित नवाचार अनुमानकों और मापदंडों के लिए और अवलोकन समय पर आंशिक और शोर टिप्पणियों की 100 समय श्रृंखला से प्राप्त यादृच्छिक आवृत्ति के साथ वैन डेर पोल ऑसिलेटर की आत्मविश्वास सीमाओं को प्रस्तुत करता है, और के साथ। नियतात्मक क्रम-नवाचार प्राक्कलनकर्ताओं का स्थानीय रैखिककरण फिल्टर और प्रत्येक प्राक्कलनकर्ता के लिए, समान समय विवेचनाओं पर, क्रमशः मध्यम सापेक्ष और पूर्ण सहिष्णुता के साथ एक अनुकूली समय-चरणीय विवेचना के साथ और परिभाषित किया जाता है। अनुमानित पैरामीटर की पूर्वाग्रह कमी को घटते हुए देखें। सॉफ्टवेयर विभिन्न अनुमानित नवाचार प्राक्कलनकर्ताओं का एक मैटलैब कार्यान्वयन एस. डी. ई. एस्टीमेशन टूलबॉक्स द्वारा प्रदान किया जाता है। इस टूलबॉक्स में स्थानीय रैखिक फिल्टर हैं, जिसमें निश्चित चरण आकार और नमूना संख्या के साथ नियतात्मक और यादृच्छिक विकल्प शामिल हैं। यह नवाचार आकलन के लिए स्थानीय और वैश्विक अनुकूलन एल्गोरिदम के साथ-साथ अनुकूली समय चरण और नमूना एल्गोरिदम भी प्रदान करता है। शोर से मुक्त पूर्ण अवलोकन वाले मॉडलों के लिए, अर्ध-अधिकतम संभावना अनुमानक के विभिन्न अनुमानों को आर. संदर्भ अनुमान विधियों में लागू किया जाता है।