Unbiased estimation of standard deviation
सांख्यिकी और विशेष रूप से सांख्यिकीय सिद्धांत में, एक मानक विचलन का निष्पक्ष अनुमान मूल्यों की आबादी के मानक विचलन (सांख्यिकीय फैलाव का एक उपाय) के अनुमानित मूल्य के सांख्यिकीय नमूने से इस तरह से गणना की जाती है कि गणना का अपेक्षित मूल्य सही मूल्य के बराबर हो। बाद में उल्लिखित कुछ महत्वपूर्ण स्थितियों को छोड़कर, सांख्यिकी के अनुप्रयोगों के लिए कार्य की बहुत कम प्रासंगिकता है क्योंकि इसकी आवश्यकता को मानक प्रक्रियाओं, जैसे कि महत्व परीक्षणों और विश्वास अंतरालों का उपयोग, या बायेसियन विश्लेषण का उपयोग करके टाला जाता है। हालांकि, सांख्यिकीय सिद्धांत के लिए, यह आकलन सिद्धांत के संदर्भ में एक उदाहरण समस्या प्रदान करता है जो बताने में सरल है और जिसके लिए परिणाम बंद रूप में प्राप्त नहीं किए जा सकते हैं। यह एक उदाहरण भी प्रदान करता है जहां निष्पक्ष आकलन की आवश्यकता को लागू करने को केवल असुविधा जोड़ने के रूप में देखा जा सकता है, जिसमें कोई वास्तविक लाभ नहीं है। सांख्यिकी में, संख्याओं की जनसंख्या के मानक विचलन का अनुमान अक्सर जनसंख्या से लिए गए यादृच्छिक नमूने से लगाया जाता है। यह नमूना मानक विचलन है, जिसे इस बात से परिभाषित किया जाता है कि नमूना कहाँ है (औपचारिक रूप से, एक यादृच्छिक चर X से प्राप्ति) और नमूना माध्य है। यह देखने का एक तरीका है कि यह जनसंख्या के मानक विचलन का एक पक्षपाती अनुमानक है, इस परिणाम से शुरू करना है कि s2 अंतर्निहित जनसंख्या के विचलन σ2 के लिए एक निष्पक्ष अनुमानक है यदि वह विचलन मौजूद है और नमूना मूल्य स्वतंत्र रूप से प्रतिस्थापित किए जाते हैं। वर्गमूल एक अरैखिक फलन है, और केवल रैखिक फलन अपेक्षा लेने के साथ संचारित होते हैं। चूँकि वर्गमूल एक कड़ाई से अवतल फलन है, यह जेन्सेन की असमानता से पता चलता है कि नमूना विचलन का वर्गमूल एक कम आकलन है। नमूना विचलन के लिए सूत्र में n के बजाय n-1 का उपयोग बेसल के सुधार के रूप में जाना जाता है, जो जनसंख्या विचलन के अनुमान में पूर्वाग्रह को सही करता है, और कुछ, लेकिन जनसंख्या मानक विचलन के अनुमान में सभी पूर्वाग्रह को नहीं। मानक विचलन का अनुमान लगाना संभव नहीं है जो सभी जनसंख्या वितरण के लिए निष्पक्ष है, क्योंकि पूर्वाग्रह विशेष वितरण पर निर्भर करता है। निम्नलिखित में से अधिकांश एक सामान्य वितरण मानते हुए अनुमान से संबंधित हैं। सामान्य वितरण के लिए पूर्वाग्रह सुधार परिणाम जब यादृच्छिक चर सामान्य रूप से वितरित किया जाता है, तो पूर्वाग्रह को खत्म करने के लिए एक मामूली सुधार मौजूद होता है। सुधार प्राप्त करने के लिए, ध्यान दें कि सामान्य रूप से वितरित एक्स के लिए, कोचरान के प्रमेय का तात्पर्य है कि स्वतंत्रता की डिग्री के साथ एक ची वर्ग वितरण है और इस प्रकार इसके वर्गमूल में स्वतंत्रता की डिग्री के साथ एक ची वितरण है। नतीजतन, इस अंतिम अभिव्यक्ति की अपेक्षा की गणना करना और स्थिरांक को पुनर्व्यवस्थित करना, जहां सुधार कारक स्वतंत्रता की डिग्री के साथ ची वितरण का पैमाना माध्य है। यह नमूना आकार n पर निर्भर करता है, और निम्नानुसार दिया गया हैः जहाँ κ (·) गामा फलन है। द्वारा विभाजित करके σ का एक निष्पक्ष अनुमानक प्राप्त किया जा सकता है। जैसे-जैसे यह बड़ा होता जाता है यह 1 के करीब पहुंचता है, और छोटे मूल्यों के लिए भी सुधार मामूली होता है। चित्र बनाम नमूना आकार का एक भूखंड दिखाता है। नीचे दी गई तालिका कुछ मूल्यों के लिए संख्यात्मक मान और बीजगणितीय अभिव्यक्तियाँ देती है; सांख्यिकीय गुणवत्ता नियंत्रण पर अधिकांश पाठ्यपुस्तकों में अधिक पूर्ण तालिकाएँ पाई जा सकती हैं। यह ध्यान रखना महत्वपूर्ण है कि यह सुधार केवल सामान्य और स्वतंत्र रूप से वितरित एक्स के लिए एक निष्पक्ष अनुमानक उत्पन्न करता है। जब इस शर्त को पूरा किया जाता है, तो s को शामिल करने के बारे में एक और परिणाम यह है कि s की मानक त्रुटि है, जबकि निष्पक्ष अनुमानक की मानक त्रुटि सामान्य वितरण के लिए अंगूठे का नियम है यदि फलन c4 (n) की गणना बहुत कठिन प्रतीत होती है, तो अनुमानक को लेने के लिए अंगूठे का एक सरल नियम है। यह अभिव्यक्ति केवल अनुमानित है; वास्तव में, पूर्वाग्रह अपेक्षाकृत छोटा हैः मान लीजिए, क्योंकि यह 2.3% के बराबर है, और पूर्वाग्रह के लिए पहले से ही 0.1% है। अन्य वितरण ऐसे मामलों में जहां सांख्यिकीय रूप से स्वतंत्र डेटा को सामान्य वितरण के अलावा वितरण के एक पैरामीट्रिक परिवार द्वारा मॉडल किया जाता है, जनसंख्या मानक विचलन, यदि मौजूद है, तो मॉडल के मापदंडों का एक कार्य होगा। आकलन के लिए एक सामान्य दृष्टिकोण अधिकतम संभावना होगी। वैकल्पिक रूप से, मानक विचलन का एक अच्छा अनुमान खोजने के लिए एक मार्ग के रूप में राव-ब्लैकवेल प्रमेय का उपयोग करना संभव हो सकता है। किसी भी मामले में प्राप्त अनुमान आमतौर पर निष्पक्ष नहीं होते। धारणा के अनुसार, सैद्धांतिक समायोजन निष्पक्ष अनुमानों की ओर ले जाने के लिए उपलब्ध हो सकते हैं, लेकिन सामान्य वितरण के विपरीत, ये आमतौर पर अनुमानित मापदंडों पर निर्भर करते हैं। यदि आवश्यकता केवल एक अनुमानित मानक विचलन के पूर्वाग्रह को कम करने के लिए है, न कि इसे पूरी तरह से समाप्त करने के लिए, तो दो व्यावहारिक दृष्टिकोण उपलब्ध हैं, दोनों पुनः नमूने के संदर्भ में। ये जैकनाइफिंग और बूटस्ट्रैपिंग हैं। दोनों को या तो मानक विचलन के पैरामीट्रिक रूप से आधारित अनुमानों या नमूना मानक विचलन पर लागू किया जा सकता है। गैर-सामान्य वितरणों के लिए मानक विचलन के निष्पक्ष अनुमानक के लिए एक अनुमानित (ओ (एन-1) शब्दों तक) सूत्र है जहां γ2 जनसंख्या अतिरिक्त कुर्टोसिस को दर्शाता है। अतिरिक्त कुर्टोसिस या तो कुछ वितरणों के लिए पहले से ज्ञात हो सकता है, या डेटा से अनुमान लगाया जा सकता है। ऑटोकोरिलेशन का प्रभाव (क्रमिक सहसंबंध) उपरोक्त सामग्री, बिंदु पर फिर से जोर देने के लिए, केवल स्वतंत्र डेटा पर लागू होती है। हालाँकि, वास्तविक दुनिया का डेटा अक्सर इस आवश्यकता को पूरा नहीं करता है; यह स्वतः सहसंबद्ध है (जिसे क्रमिक सहसंबंध के रूप में भी जाना जाता है)। एक उदाहरण के रूप में, एक माप उपकरण की क्रमिक रीडिंग जो "स्मूथिंग" (अधिक सही ढंग से, लो-पास फ़िल्टरिंग) प्रक्रिया के कुछ रूप को शामिल करती है, ऑटोकोरिलेटेड होगी, क्योंकि किसी भी विशेष मूल्य की गणना पहले और बाद के रीडिंग के कुछ संयोजन से की जाती है। ऑटोकोरिलेटेड डेटा के विचलन और मानक विचलन के अनुमान पक्षपाती होंगे। नमूना विचरण का अपेक्षित मूल्य वह है जहाँ n नमूना आकार (मापों की संख्या) है और डेटा का ऑटोकोरिलेशन फंक्शन (ACF) है। (ध्यान दें कि कोष्ठकों में अभिव्यक्ति केवल रीडिंग के लिए औसत अपेक्षित ऑटोकोरिलेशन से एक घटा है।) यदि एसीएफ में सकारात्मक मान होते हैं तो विचलन का अनुमान (और इसका वर्गमूल, मानक विचलन) कम पक्षपाती होगा। अर्थात्, आंकड़ों की वास्तविक परिवर्तनशीलता एक असंशोधित विचलन या मानक विचलन गणना द्वारा इंगित की गई परिवर्तनशीलता से अधिक होगी। यह पहचानना आवश्यक है कि, यदि इस अभिव्यक्ति का उपयोग पूर्वाग्रह को सही करने के लिए किया जाना है, तो उपरोक्त कोष्ठक में मात्रा से अनुमान को विभाजित करके, एसीएफ को विश्लेषणात्मक रूप से जाना जाना चाहिए, न कि डेटा से अनुमान के माध्यम से। ऐसा इसलिए है क्योंकि अनुमानित एसीएफ स्वयं पक्षपाती होगा। मानक विचलन में पूर्वाग्रह का उदाहरण मानक विचलन में पूर्वाग्रह के परिमाण को स्पष्ट करने के लिए, एक डेटासेट पर विचार करें जिसमें एक उपकरण से अनुक्रमिक रीडिंग होती है जो एक विशिष्ट डिजिटल फ़िल्टर का उपयोग करता है जिसका ACF ज्ञात है कि जहाँ α फ़िल्टर का पैरामीटर है, और यह शून्य से एकता तक मान लेता है। इस प्रकार ए. सी. एफ. धनात्मक है और ज्यामितीय रूप से घट रहा है। यह आंकड़ा अनुमानित मानक विचलन और इसके ज्ञात मूल्य के अनुपात को दर्शाता है (जिसे इस डिजिटल फ़िल्टर के लिए विश्लेषणात्मक रूप से गणना की जा सकती है), α की कई सेटिंग्स के लिए नमूना आकार n के एक कार्य के रूप में। α को बदलने से फ़िल्टर के विचरण में कमी के अनुपात में बदलाव आता है, जिसे ऐसा माना जाता है ताकि α के छोटे मूल्यों के परिणामस्वरूप अधिक विचरण में कमी हो, या "स्मूथिंग" हो। पूर्वाग्रह को एकता से अलग ऊर्ध्वाधर अक्ष पर मूल्यों द्वारा इंगित किया जाता है; यानी, यदि कोई पूर्वाग्रह नहीं था, तो अनुमानित मानक विचलन का अनुपात एकता होगा। स्पष्ट रूप से, मामूली नमूना आकारों के लिए महत्वपूर्ण पूर्वाग्रह (दो या अधिक का एक कारक) हो सकता है। माध्य का विचलन जनसंख्या के विचलन के बजाय एक अनुमानित माध्य के विचलन या मानक विचलन का अनुमान लगाना अक्सर दिलचस्प होता है। जब डेटा ऑटोकोरिलेटेड होते हैं, तो इसका नमूना माध्य के सैद्धांतिक विचरण पर सीधा प्रभाव पड़ता है, जो कि σ2 के अनुमान को प्रतिस्थापित करके नमूना माध्य के विचरण का अनुमान लगाया जा सकता है। ऐसा एक अनुमान ऊपर दिए गए E [s2] के समीकरण से प्राप्त किया जा सकता है। पहले निम्नलिखित स्थिरांकों को परिभाषित करें, फिर से, एक ज्ञात ए. सी. एफ. मानते हुएः ताकि यह कहा जा सके कि अवलोकन किए गए नमूना विचलन को सुधार कारक से विभाजित करके प्राप्त मात्रा का अपेक्षित मूल्य विचलन का एक निष्पक्ष अनुमान देता है। इसी तरह, माध्य के विचरण के लिए उपरोक्त अभिव्यक्ति को फिर से लिखना, और दिए गए अनुमान को प्रतिस्थापित करना जो अवलोकन किए गए नमूना विचरण और ज्ञात मात्राओं के संदर्भ में माध्य के विचरण का एक निष्पक्ष अनुमानक है। यदि स्व-सहसंबंध समान रूप से शून्य हैं, तो यह अभिव्यक्ति स्वतंत्र डेटा के लिए माध्य के विचरण के लिए प्रसिद्ध परिणाम तक कम हो जाती है। इन अभिव्यक्तियों में अपेक्षा प्रचालक का प्रभाव यह है कि समानता माध्य (यानी, औसत) में होती है। जनसंख्या के मानक विचलन का अनुमान लगाना जनसंख्या के विचलन को शामिल करते हुए उपरोक्त अभिव्यक्तियों और उस जनसंख्या के माध्य के अनुमान के होने पर, संबंधित मानक विचलन के निष्पक्ष अनुमान प्राप्त करने के लिए इन अभिव्यक्तियों के वर्गमूल को लेना तर्कसंगत लगेगा। हालाँकि यह मामला है कि, चूंकि अपेक्षाएँ समाकलन हैं, इसके बजाय, मान लें कि एक फलन θ मौजूद है जैसे कि मानक विचलन का एक निष्पक्ष अनुमानक लिखा जा सकता है और θ नमूना आकार n और ACF पर निर्भर करता है। एन. आई. डी. (सामान्य रूप से और स्वतंत्र रूप से वितरित) डेटा के मामले में, रेडिकैंड एकता है और θ केवल उपरोक्त पहले खंड में दिया गया सी4 फलन है। c4 की तरह, जैसे-जैसे नमूना का आकार बढ़ता है, θ एकता की ओर बढ़ता है (जैसा कि γ1 करता है)। सिमुलेशन मॉडलिंग के माध्यम से यह प्रदर्शित किया जा सकता है कि θ को नजरअंदाज करना (यानी, इसे एकता के रूप में लेना) और उपयोग करना स्व-संबंध के कारण होने वाले पूर्वाग्रह के कुछ प्रतिशत को छोड़कर सभी को हटा देता है, जिससे यह एक निष्पक्ष अनुमानक के बजाय एक कम-आधार अनुमानक बन जाता है। व्यावहारिक मापन स्थितियों में, पूर्वाग्रह में यह कमी महत्वपूर्ण और उपयोगी हो सकती है, भले ही कुछ अपेक्षाकृत छोटा पूर्वाग्रह बना रहे। उपरोक्त आंकड़ा, मानक विचलन बनाम नमूना आकार में पूर्वाग्रह का एक उदाहरण दिखाता है, इस अनुमान पर आधारित है; वास्तविक पूर्वाग्रह उन ग्राफों में इंगित की तुलना में कुछ बड़ा होगा क्योंकि परिवर्तन पूर्वाग्रह θ वहाँ शामिल नहीं है। प्रतिदर्श के मानक विचलन का अनुमान लगाने का अर्थ है जनसंख्या विचरण और एसीएफ के संदर्भ में माध्य का निष्पक्ष विचरण दिया जाता है और चूंकि यहां कोई अपेक्षित मूल्य नहीं हैं, इस मामले में वर्गमूल लिया जा सकता है, ताकि σ के लिए ऊपर निष्पक्ष अनुमान अभिव्यक्ति का उपयोग करते हुए, माध्य के मानक विचलन का अनुमान तब होगा। बेसेल का सुधार अनुमान सहप्रसरण मैट्रिक्स का नमूना माध्य और नमूना सहप्रसरण संदर्भ डगलस सी. मोंटगोमेरी और जॉर्ज सी. रुंगर, एप्लाइड स्टैटिस्टिक्स एंड प्रोबेबिलिटी फॉर इंजीनियर्स, तीसरा संस्करण, विली एंड संस, 2003 भी देखें। (खंड 7-2.2 और 16-5 देखें) बाहरी लिंक एक जावा इंटरैक्टिव ग्राफिक है जो हेल्मर्ट पीडीएफ को दिखाता है जिससे पूर्वाग्रह सुधार कारक प्राप्त होते हैं। मानक विचलन के निष्पक्ष अनुमान के लिए मोंटे-कार्लो अनुकरण डेमो। http://www.itl.nist.gov/div898/handbook/pmc/section3/pmc32.htm चर नियंत्रण चार्ट क्या हैं? अनुमान विधियाँ सारांश सांख्यिकी सहप्रसरण और सहसंबंध