Stein's method
स्टेइन की विधि संभावना सिद्धांत में एक सामान्य विधि है जो संभावना मीट्रिक के संबंध में दो संभावना वितरणों के बीच की दूरी पर सीमा प्राप्त करने के लिए है। यह चार्ल्स स्टीन द्वारा पेश किया गया था, जिन्होंने पहली बार 1972 में इसे प्रकाशित किया था, ताकि यादृच्छिक चरों के निर्भर अनुक्रम के योग के वितरण और कोल्मोगोरोव (समान) मीट्रिक में एक मानक सामान्य वितरण के बीच एक सीमा प्राप्त की जा सके और इसलिए न केवल एक केंद्रीय सीमा प्रमेय साबित किया जा सके, बल्कि दिए गए मीट्रिक के लिए अभिसरण की दरों पर भी सीमा निर्धारित की जा सके। 1960 के दशक के अंत में, एक विशिष्ट केंद्रीय सीमा प्रमेय के तत्कालीन ज्ञात प्रमाणों से असंतुष्ट, चार्ल्स स्टीन ने अपने सांख्यिकी व्याख्यान के लिए प्रमेय को साबित करने का एक नया तरीका विकसित किया। उनका मौलिक शोध-पत्र 1970 में छठे बर्कले संगोष्ठी में प्रस्तुत किया गया था और संबंधित कार्यवाही में प्रकाशित किया गया था। बाद में, उनके पीएचडी छात्र लुई चेन सियाओ यून ने विधि को संशोधित किया ताकि पॉइसन वितरण के लिए सन्निकटन परिणाम प्राप्त किए जा सकें; इसलिए पॉइसन सन्निकटन की समस्या पर लागू स्टीन विधि को अक्सर स्टीन-चेन विधि के रूप में संदर्भित किया जाता है। संभवतः सबसे महत्वपूर्ण योगदान स्टीन (1986) का मोनोग्राफ है, जिसमें उन्होंने विशेष रूप से विनिमय योग्य जोड़े का उपयोग करते हुए सहायक यादृच्छिककरण की विधि और अवधारणा के बारे में अपने विचार प्रस्तुत किए हैं, और बार्बर (1988) और गोट्ज़ (1991) के लेख, जिन्होंने तथाकथित जनरेटर व्याख्या की शुरुआत की, जिसने आसानी से कई अन्य संभावना वितरणों के लिए विधि को अनुकूलित करना संभव बना दिया। तथाकथित संयोजी केंद्रीय सीमा प्रमेय पर बोल्थौसेन (1984) का एक लेख भी एक महत्वपूर्ण योगदान था। 1990 के दशक में विधि को विभिन्न प्रकार के वितरणों के लिए अनुकूलित किया गया था, जैसे कि बार्बर (1990) द्वारा गॉसियन प्रक्रियाएं, एहम (1991) द्वारा द्विपद वितरण, बार्बर और ब्राउन (1992) द्वारा पॉइसन प्रक्रियाएं, लुक (1994) द्वारा गामा वितरण, और कई अन्य। कम्प्यूटेबल स्टीन विसंगतियों और उन पर आधारित विविध अनुप्रयोगों और एल्गोरिदम के विकास के बाद, 2010 के दशक के मध्य में मशीन लर्निंग समुदाय में इस विधि ने और लोकप्रियता हासिल की। मूल दृष्टिकोण प्रायिकता मेट्रिक्स स्टीन की विधि एक विशिष्ट प्रायिकता मीट्रिक का उपयोग करके दो प्रायिकता वितरणों के बीच की दूरी को बांधने का एक तरीका है। मान लीजिए कि मीट्रिक को यहाँ के रूप में दिया गया है, और एक मापने योग्य स्थान पर प्रायिकता उपाय हैं, और वितरण के साथ यादृच्छिक चर हैं और क्रमशः, सामान्य अपेक्षा प्रचालक है और वास्तविक संख्याओं के समूह से कार्यों का एक समूह है। सेट काफी बड़ा होना चाहिए, ताकि उपरोक्त परिभाषा वास्तव में एक मीट्रिक प्राप्त करे। महत्वपूर्ण उदाहरण हैं कुल भिन्नता मीट्रिक, जहां हम मापने योग्य सेटों के सभी संकेतक कार्यों को शामिल करते हैं, वास्तविक संख्याओं पर संभावना उपायों के लिए कोल्मोगोरोव (समान) मीट्रिक, जहां हम सभी अर्ध-रेखा संकेतक कार्यों पर विचार करते हैं, और लिप्सिट्ज़ (प्रथम क्रम वासरस्टीन; कांटोरोविच) मीट्रिक, जहां अंतर्निहित स्थान स्वयं एक मीट्रिक स्थान है और हम सेट को लिप्सिट्ज़-स्थिरांक 1 के साथ सभी लिप्सिट्ज़-निरंतर कार्यों के रूप में लेते हैं। हालाँकि, ध्यान दें कि प्रत्येक मीट्रिक को (1.1) के रूप में नहीं दर्शाया जा सकता है। निम्नलिखित में एक जटिल वितरण है (उदाहरण के लिए, आश्रित यादृच्छिक चर के योग का वितरण), जिसे हम बहुत सरल और ट्रैक्टेबल वितरण (उदाहरण के लिए, मानक सामान्य वितरण) द्वारा अनुमानित करना चाहते हैं। स्टीन प्रचालक हम अब मानते हैं कि वितरण एक निश्चित वितरण है; निम्नलिखित में हम विशेष रूप से उस मामले पर विचार करेंगे जहां मानक सामान्य वितरण है, जो एक शास्त्रीय उदाहरण के रूप में कार्य करता है। सबसे पहले, हमें एक प्रचालक की आवश्यकता होती है, जो वास्तविक संख्याओं के समूह से कार्यों पर कार्य करता है और वितरण को इस अर्थ में 'चिह्नित' करता है कि निम्नलिखित समतुल्यता हैः हम ऐसे प्रचालक को स्टीन प्रचालक कहते हैं। मानक सामान्य वितरण के लिए, स्टीन का लेम्मा इस तरह के एक प्रचालक का उत्पादन करता हैः इस प्रकार, हम ले सकते हैं सामान्य रूप से अनंत रूप से ऐसे कई प्रचालक हैं और यह अभी भी एक खुला प्रश्न बना हुआ है, जिसे चुनना है। हालांकि, ऐसा लगता है कि कई वितरणों के लिए एक विशेष अच्छा है, जैसे (2.3) सामान्य वितरण के लिए। स्टीन ऑपरेटरों को खोजने के अलग-अलग तरीके हैं। यदि (1.1) में अपेक्षाओं का अंतर 0 के करीब है तो स्टीन समीकरण के करीब है। हम अब आशा करते हैं कि प्रचालक एक ही व्यवहार प्रदर्शित करता हैः यदि तब, और उम्मीद है कि यदि हमारे पास है। आमतौर पर किसी फलन को इस तरह परिभाषित करना संभव है कि हम (3.1) को स्टीन समीकरण कहते हैं। अब सभी प्रयास तभी सार्थक होते हैं जब दाएँ हाथ की तुलना में (3.2) के बाएँ हाथ की ओर बांधना आसान हो। आश्चर्य की बात है कि अक्सर ऐसा होता है। यदि मानक सामान्य वितरण है और हम (2.3) का उपयोग करते हैं, तो संबंधित स्टीन समीकरण है यदि संभाव्यता वितरण क्यू में बिल्कुल निरंतर (लेबस्ग्यू माप के संबंध में) घनत्व क्यू है, तो स्टीन समीकरण विश्लेषणात्मक तरीकों को हल करना। समीकरण (3.3) को आसानी से स्पष्ट रूप से हल किया जा सकता हैः जनरेटर विधि। यदि एक मार्कोव प्रक्रिया का जनरेटर है (बार्बर (1988), गोट्ज़ (1991) देखें), तो (3.2) का समाधान वह है जहां प्रक्रिया शुरू होने के संबंध में अपेक्षा को दर्शाता है। हालाँकि, किसी को अभी भी यह साबित करना होगा कि समाधान (4.2) सभी वांछित कार्यों के लिए मौजूद है। स्टीन समीकरण के समाधान के गुण आमतौर पर, कोई सीमा देने की कोशिश करता है और इसके व्युत्पन्न (या अंतर) और इसके व्युत्पन्न (या अंतर) के संदर्भ में, यानी कुछ विशिष्ट (आमतौर पर या, क्रमशः, स्टीन ऑपरेटर के रूप के आधार पर) के लिए रूप की असमानताएं, जहां अक्सर सर्वोच्च मानक होता है। यहाँ, डिफरेंशियल ऑपरेटर को दर्शाता है, लेकिन असतत सेटिंग्स में यह आमतौर पर एक डिफरेंस ऑपरेटर को संदर्भित करता है। स्थिरांक में वितरण के मापदंड हो सकते हैं। यदि कोई हैं, तो उन्हें अक्सर स्टीन कारक के रूप में संदर्भित किया जाता है। (4) के मामले में कोई भी सर्वोच्च मानक के लिए साबित कर सकता है कि जहां अंतिम सीमा निश्चित रूप से केवल तभी लागू होती है जब अवकलनीय हो (या कम से कम लिप्सिट्ज़-निरंतर, जो, उदाहरण के लिए, यदि हम कुल भिन्नता मीट्रिक या कोल्मोगोरोव मीट्रिक को देखते हैं तो मामला नहीं है!)। चूंकि मानक सामान्य वितरण में कोई अतिरिक्त मापदंड नहीं होते हैं, इस विशिष्ट मामले में स्थिरांक अतिरिक्त मापदंडों से मुक्त होते हैं। यदि हमारे पास सामान्य रूप (5.1) में सीमाएँ हैं, तो हम आमतौर पर कई संभाव्यता मेट्रिक्स का एक साथ इलाज करने में सक्षम होते हैं। यदि प्रपत्र की सीमा (5.1) पहले से ही उपलब्ध है (जो कई वितरणों के मामले में है) तो अक्सर नीचे दिए गए अगले चरण से शुरू किया जा सकता है। एक अमूर्त सन्निकटन प्रमेय अब हम (3.1) के बाईं ओर को बांधने की स्थिति में हैं। चूँकि यह कदम स्टीन प्रचालक के रूप पर बहुत अधिक निर्भर करता है, हम सीधे मानक सामान्य वितरण के मामले को देखते हैं। इस बिंदु पर हम सीधे यादृच्छिक चर को जोड़ सकते हैं, जिसे हम अनुमानित करना चाहते हैं, और ऊपरी सीमा खोजने का प्रयास करते हैं। हालाँकि, एक अधिक सामान्य प्रमेय तैयार करना अक्सर फलदायी होता है। यहाँ स्थानीय निर्भरता के मामले पर विचार करें। मान लीजिए कि यह यादृच्छिक चरों का योग है जैसे कि और विचरण। मान लीजिए कि, प्रत्येक के लिए, एक समूह है, जो सभी यादृच्छिक चरों से स्वतंत्र है। हम इस समूह को 'पड़ोस' कहते हैं। इसी तरह एक समूह ऐसा होना चाहिए कि सभी के साथ सभी स्वतंत्र हों। हम दूसरे क्रम के पड़ोस के पड़ोसियों के रूप में सोच सकते हैं, इसलिए बोलने के लिए। एक समुच्चय के लिए अब योग को परिभाषित करें। टेलर विस्तार का उपयोग करते हुए, यह साबित करना संभव है कि ध्यान दें कि, यदि हम तर्क की इस रेखा का पालन करते हैं, तो हम केवल उन कार्यों के लिए बाध्य (1.1) कर सकते हैं जो (5.2) की तीसरी असमानता के कारण सीमित हैं (और वास्तव में, यदि विसंगतियां हैं, तो करेंगे)। (6.1) के समान एक सीमा प्राप्त करने के लिए जिसमें केवल अभिव्यक्तियाँ शामिल हैं और, तर्क बहुत अधिक शामिल है और परिणाम (6.1) जितना सरल नहीं है; हालाँकि, यह किया जा सकता है। प्रमेय ए। यदि जैसा कि ऊपर वर्णित है, तो हमारे पास लिपशिट्ज़ मीट्रिक के लिए वह प्रमाण है। याद रखें कि लिप्सिट्ज़ मीट्रिक (1.1) के रूप में होता है जहाँ कार्य लिप्सिट्ज़-निरंतर 1 के साथ निरंतर होते हैं। इसे (6.1) और (5.2) में अंतिम सीमा के साथ जोड़ना प्रमेय को साबित करता है। इस प्रकार, मोटे तौर पर बोलते हुए, हमने साबित किया है कि, स्थानीय निर्भरता संरचना और एक मानक सामान्य वितरण के साथ लिपशिट्ज़-दूरी की गणना करने के लिए, हमें केवल तीसरे क्षण और पड़ोस के आकार को जानने की आवश्यकता है। प्रमेय का अनुप्रयोग हम प्रमेय ए के साथ स्वतंत्र और समान रूप से वितरित यादृच्छिक चर के योग के मामले का इलाज कर सकते हैं। मान लीजिए कि, और। हम ले सकते हैं। प्रमेय ए से हम प्राप्त करते हैं कि यादृच्छिक चर के योग के लिए स्टीन विधि से संबंधित एक अन्य दृष्टिकोण को शून्य पूर्वाग्रह परिवर्तन के रूप में जाना जाता है। अन्य विधियों से जुड़ाव लिंडेबर्ग का उपकरण। लिंडेबर्ग (1922) ने एक उपकरण पेश किया, जिसमें अंतर को चरण-दर-चरण अंतरों के योग के रूप में दर्शाया जाता है। तिखोमिरोव की विधि। स्पष्ट रूप से (1.1) और (3.1) के माध्यम से दृष्टिकोण में विशिष्ट कार्य शामिल नहीं हैं। हालांकि, तिखोमिरोव (1980) ने विशेषता कार्यों और (2.3) के समान एक अंतर प्रचालक के आधार पर एक केंद्रीय सीमा प्रमेय का प्रमाण प्रस्तुत किया। मूल अवलोकन यह है कि मानक सामान्य वितरण का विशिष्ट कार्य सभी के लिए विभेदक समीकरण को संतुष्ट करता है। इस प्रकार, यदि का विशिष्ट कार्य ऐसा है कि हम इसकी उम्मीद करते हैं और इसलिए यह सामान्य वितरण के करीब है। तिखोमिरोव ने अपने पेपर में कहा है कि वह स्टीन के मौलिक पेपर से प्रेरित थे। निम्नलिखित पाठ उन्नत है, और सामान्य मामले का एक व्यापक अवलोकन देता है एक और उन्नत पुस्तक, लेकिन कुछ परिचयात्मक चरित्र वाली, एक मानक संदर्भ स्टीन की पुस्तक है, जिसमें बहुत सारी दिलचस्प सामग्री है, लेकिन पहले पढ़ने पर इसे समझना थोड़ा कठिन हो सकता है। इसकी उम्र के बावजूद, स्टीन की विधि के बारे में कुछ मानक परिचयात्मक पुस्तकें उपलब्ध हैं। निम्नलिखित हाल की पाठ्यपुस्तक में एक अध्याय (अध्याय 2) है जो स्टीन की विधि को पेश करने के लिए समर्पित हैः हालाँकि पुस्तक बड़े हिस्से में पॉइसन सन्निकटन के बारे में है, फिर भी इसमें जनरेटर दृष्टिकोण के बारे में बहुत सारी जानकारी है, विशेष रूप से पॉइसन प्रक्रिया सन्निकटन के संदर्भ में। निम्नलिखित पाठ्यपुस्तक में एक अध्याय (अध्याय 10) है जो स्टीन की पॉइसन सन्निकटन की विधिः संभाव्यता वितरण का सांख्यिकीय दूरी सिद्धांत को पेश करने के लिए समर्पित है।