Probabilistic numerics
संभाव्य सांख्यिकी कम्प्यूटेशन में अनिश्चितता की अवधारणा पर केंद्रित व्यावहारिक गणित, सांख्यिकी और मशीन लर्निंग के प्रतिच्छेदन पर अध्ययन का एक सक्रिय क्षेत्र है। संभाव्य सांख्यिकी में, संख्यात्मक विश्लेषण में कार्यों जैसे एकीकरण के लिए संख्यात्मक समाधान खोजना, रैखिक बीजगणित, अनुकूलन और अनुकरण और विभेदक समीकरणों को सांख्यिकीय, संभावित या बायेसियन अनुमान की समस्याओं के रूप में देखा जाता है। एक संख्यात्मक विधि एक एल्गोरिथ्म है जो एक गणितीय समस्या के समाधान का अनुमान लगाता है (नीचे दिए गए उदाहरणों में समीकरणों की एक रैखिक प्रणाली का समाधान, एक समाकलन का मूल्य, एक विभेदक समीकरण का समाधान, एक बहुभिन्न फलन का न्यूनतम)। एक संभावित संख्यात्मक एल्गोरिथ्म में, सन्निकटन की इस प्रक्रिया को अनुमान, अनुमान या सीखने की समस्या के रूप में सोचा जाता है और संभावित अनुमान के ढांचे में महसूस किया जाता है (अक्सर, लेकिन हमेशा नहीं, बायेसियन अनुमान)। औपचारिक रूप से, इसका अर्थ है एक पूर्व वितरण के संदर्भ में कम्प्यूटेशनल समस्या के सेटअप को कास्ट करना, कंप्यूटर द्वारा गणना की गई संख्याओं के बीच संबंध तैयार करना (जैसे। रैखिक बीजगणित में मैट्रिक्स-वेक्टर गुणन, अनुकूलन में प्रवणता, समाकलन के मान या एक विभेदक समीकरण को परिभाषित करने वाले वेक्टर क्षेत्र) और एक संभावना फलन में प्रश्न में मात्रा (रैखिक समस्या का समाधान, न्यूनतम, समाकलन, समाधान वक्र), और आउटपुट के रूप में एक पश्च वितरण लौटाना। ज्यादातर मामलों में, संख्यात्मक एल्गोरिदम आंतरिक अनुकूली निर्णय भी लेते हैं कि किन संख्याओं की गणना करनी है, जो एक सक्रिय सीखने की समस्या बनाते हैं। सबसे लोकप्रिय क्लासिक संख्यात्मक एल्गोरिदम में से कई को संभावित ढांचे में फिर से व्याख्या की जा सकती है। इसमें संयुग्म प्रवणता, नॉर्डिएक विधियाँ, गॉसियन चतुर्भुज नियम और अर्ध-न्यूटन विधियाँ शामिल हैं। इन सभी मामलों में, क्लासिक विधि एक नियमित न्यूनतम-वर्ग अनुमान पर आधारित है जो एक गौसी पूर्व और संभावना से उत्पन्न होने वाले पश्च माध्य से जुड़ा हो सकता है। ऐसे मामलों में, गॉसियन पोस्टीरियर का विचलन तब वर्ग त्रुटि के लिए सबसे खराब स्थिति अनुमान से जुड़ा होता है। संभावित संख्यात्मक विधियाँ क्लासिक, बिंदु-अनुमान आधारित सन्निकटन तकनीकों की तुलना में कई वैचारिक लाभों का वादा करती हैंः वे संरचित त्रुटि अनुमानों को वापस करती हैं (विशेष रूप से, संयुक्त पश्च नमूने वापस करने की क्षमता, यानी। समस्या के सही अज्ञात समाधान के लिए कई यथार्थवादी परिकल्पनाएँ) पदानुक्रमित बायेसियन अनुमान का उपयोग प्रत्येक पैरामीटर के लिए नए तरीकों का फिर से आविष्कार करने के बजाय सामान्य तरीके से इस तरह के तरीकों में आंतरिक हाइपरपैरामीटर्स को सेट और नियंत्रित करने के लिए किया जा सकता है क्योंकि वे गणना की गई संख्याओं और लक्ष्य मात्रा के बीच संबंध का वर्णन करने वाली एक स्पष्ट संभावना का उपयोग करते हैं और अनुमति देते हैं, संभावित संख्यात्मक तरीके अत्यधिक अशुद्ध, पक्षपाती और यादृच्छिक गणनाओं के परिणामों का भी उपयोग कर सकते हैं। इसके विपरीत, संभावित संख्यात्मक तरीके भी गणनाओं में एक संभावना प्रदान कर सकते हैं जिन्हें अक्सर कहीं और "संभावना-मुक्त" माना जाता है क्योंकि सभी संभावित संख्यात्मक तरीके अनिवार्य रूप से एक ही डेटा प्रकार-संभावना उपायों का उपयोग करते हैं-दोनों इनपुट और आउटपुट पर अनिश्चितता की मात्रा निर्धारित करने के लिए उन्हें बड़े पैमाने पर, समग्र गणनाओं में अनिश्चितता का प्रचार करने के लिए एक साथ जंजीर से जोड़ा जा सकता है। बीजगणितीय, एक विभेदक समीकरण के रूप के बारे में यंत्रवादी ज्ञान, और भौतिक दुनिया में एकत्र की गई प्रणाली के प्रक्षेपवक्र की टिप्पणियों) को स्वाभाविक रूप से और एल्गोरिथ्म के आंतरिक लूप के अंदर जोड़ा जा सकता है, अन्यथा गणना में आवश्यक नेस्टेड लूप को हटा दिया जा सकता है, जैसे। विपरीत समस्याओं में। ये लाभ अनिवार्य रूप से समान कार्यात्मक लाभों के बराबर हैं जो मशीन लर्निंग, लागू या कम्प्यूटेशनल डोमेन में स्थानांतरित किए गए बिंदु-अनुमानों पर बायेसियन विधियों का आनंद लेते हैं। संख्यात्मक कार्यों के एकीकरण संख्यात्मक एकीकरण की समस्या के लिए संभावित संख्यात्मक विधियों को विकसित किया गया है, जिसमें सबसे लोकप्रिय विधि जिसे बायेसियन क्वाड्रेचर कहा जाता है। संख्यात्मक समाकलन में, कई बिंदुओं पर फलन मूल्यांकन का उपयोग किसी माप के विरुद्ध फलन के समाकलन का अनुमान लगाने के लिए किया जाता है। बायेसियन चतुर्भुज में एक पूर्व वितरण को निर्दिष्ट करना और एक पश्च वितरण प्राप्त करने के लिए इसे पहले कंडीशनिंग करना, फिर निहित पश्च वितरण की गणना करना शामिल है। पूर्व का सबसे आम विकल्प एक गौसी प्रक्रिया है क्योंकि यह हमें समाकलन पर एक बंद-रूप पश्च वितरण प्राप्त करने की अनुमति देता है जो एक अविभाज्य गौसी वितरण है। बायेसियन चतुर्भुज विशेष रूप से तब उपयोगी होता है जब फलन का मूल्यांकन करना महंगा होता है और डेटा का आयाम छोटा से मध्यम होता है। गणितीय अनुकूलन के लिए अनुकूलन संभाव्यता संख्यात्मक का भी अध्ययन किया गया है, जिसमें बिंदुओं के एक समूह पर उस कार्य के मूल्यांकन (संभवतः शोर या अप्रत्यक्ष) दिए गए कुछ वस्तुनिष्ठ कार्य के न्यूनतम या अधिकतम का पता लगाना शामिल है। शायद इस दिशा में सबसे उल्लेखनीय प्रयास बायेसियन अनुकूलन है, जो बायेसियन अनुमान में आधारित अनुकूलन के लिए एक सामान्य दृष्टिकोण है। बायेसियन ऑप्टिमाइजेशन एल्गोरिदम पूरे ऑप्टिमाइजेशन प्रक्रिया के बारे में एक संभावित विश्वास बनाए रखते हुए काम करते हैं; यह अक्सर अवलोकनों पर पूर्व शर्त वाली गौसियन प्रक्रिया का रूप लेता है। यह विश्वास तब अवलोकन प्राप्त करने में एल्गोरिथ्म का मार्गदर्शन करता है जो अनुकूलन प्रक्रिया को आगे बढ़ाने की संभावना रखते हैं। बायेसियन अनुकूलन नीतियों को आमतौर पर वस्तुनिष्ठ कार्य पश्चवर्ती को एक सस्ते, विभेदक अधिग्रहण कार्य में बदलकर महसूस किया जाता है जिसे प्रत्येक क्रमिक अवलोकन स्थान का चयन करने के लिए अधिकतम किया जाता है। एक प्रमुख दृष्टिकोण बायेसियन अनुक्रमिक प्रयोगात्मक डिजाइन के माध्यम से मॉडल अनुकूलन है, जो एक उपयुक्त उपयोगिता कार्य द्वारा मूल्यांकन के अनुसार सबसे अधिक अनुकूलन प्रगति प्राप्त करने वाले अवलोकनों का एक क्रम प्राप्त करने की कोशिश करता है। इस दृष्टिकोण से एक स्वागत योग्य दुष्प्रभाव यह है कि वस्तुनिष्ठ कार्य में अनिश्चितता, जैसा कि अंतर्निहित संभावित विश्वास द्वारा मापा जाता है, क्लासिक अन्वेषण बनाम शोषण व्यापार को संबोधित करने में एक अनुकूलन नीति का मार्गदर्शन कर सकता है। स्थानीय अनुकूलन गहन शिक्षण के लिए यादृच्छिक अनुकूलन के संदर्भ में संभावित संख्यात्मक विधियों को विकसित किया गया है, विशेष रूप से सीखने की दर ट्यूनिंग और लाइन खोज, बैच-आकार चयन, जल्दी रुकना, छंटाई और पहले और दूसरे क्रम की खोज दिशाओं जैसे मुख्य मुद्दों को संबोधित करने के लिए। इस सेटिंग में, अनुकूलन उद्देश्य अक्सर एक डेटासेट द्वारा परिभाषित रूप का एक अनुभवजन्य जोखिम होता है, और एक नुकसान जो यह निर्धारित करता है कि एक प्रेडिक्टिव मॉडल अपने संबंधित इनपुट से लक्ष्य की भविष्यवाणी करने पर कितना अच्छा प्रदर्शन करता है। महामारी की अनिश्चितता तब उत्पन्न होती है जब डेटासेट का आकार बड़ा होता है और इसे एक बार में संसाधित नहीं किया जा सकता है जिसका अर्थ है कि स्थानीय मात्राएँ (कुछ दी गई हैं) जैसे कि नुकसान कार्य या इसके प्रवणता की गणना उचित समय में नहीं की जा सकती है। इसलिए, आम तौर पर मिनी-बैचिंग का उपयोग डेटा के यादृच्छिक उपसमुच्चय पर इन मात्राओं के अनुमानक निर्माण के लिए किया जाता है। संभावित संख्यात्मक विधियाँ इस अनिश्चितता को स्पष्ट रूप से मॉडल करती हैं और स्वचालित निर्णयों और पैरामीटर ट्यूनिंग की अनुमति देती हैं। रैखिक बीजगणित के लिए संभावित संख्यात्मक विधियों ने मुख्य रूप से रूप के रैखिक समीकरणों की प्रणालियों को हल करने और निर्धारकों की गणना पर ध्यान केंद्रित किया है। विधियों का एक बड़ा वर्ग प्रकृति में पुनरावृत्तिशील होता है और विभिन्न वैक्टरों के साथ सिस्टम मैट्रिक्स के साथ दोहराए गए मैट्रिक्स-वेक्टर गुणन के माध्यम से हल की जाने वाली रैखिक प्रणाली के बारे में जानकारी एकत्र करता है। इस तरह की विधियों को मोटे तौर पर एक समाधान-और एक मैट्रिक्स-आधारित परिप्रेक्ष्य में विभाजित किया जा सकता है, जो इस बात पर निर्भर करता है कि क्या विश्वास रैखिक प्रणाली के समाधान पर व्यक्त किया जाता है या मैट्रिक्स के (छद्म-) व्युत्क्रम पर। विश्वास अद्यतन का उपयोग करता है कि अनुमानित वस्तु मैट्रिक्स गुणन या और के माध्यम से जुड़ी हुई है। विधियाँ आम तौर पर समस्या के रैखिक अवलोकनों के तहत इसकी निकटता के कारण एक गौसी वितरण मानती हैं। जबकि वैचारिक रूप से अलग हैं, ये दोनों विचार कम्प्यूटेशनल रूप से समतुल्य हैं और स्वाभाविक रूप से दाहिने हाथ के माध्यम से जुड़े हुए हैं। गॉसियन प्रक्रियाओं को बड़े डेटासेट में मापने के लिए संभावित संख्यात्मक रैखिक बीजगणित दिनचर्या को सफलतापूर्वक लागू किया गया है। विशेष रूप से, वे एक संयुक्त गॉसियन प्रक्रिया पोस्टीरियर में सन्निकटन त्रुटि के सटीक प्रसार को सक्षम करते हैं, जो देखे गए डेटा की सीमित संख्या और गणना की सीमित मात्रा दोनों से उत्पन्न अनिश्चितता की मात्रा निर्धारित करता है। प्रारंभिक और सीमा मूल्य समस्याओं के लिए सामान्य विभेदक समीकरणों के लिए सामान्य विभेदक समीकरणों की संभावित संख्यात्मक विधियों का विकास किया गया है। साधारण अवकल समीकरणों के लिए डिज़ाइन की गई कई अलग-अलग संभावित संख्यात्मक विधियों को प्रस्तावित किया गया है, और इन्हें मोटे तौर पर निम्नलिखित दो श्रेणियों में वर्गीकृत किया जा सकता हैः यादृच्छिक-आधारित विधियों को सामान्य अवकल समीकरणों के लिए मानक निर्धारक संख्यात्मक विधियों के यादृच्छिक गड़बड़ी के माध्यम से परिभाषित किया जाता है। उदाहरण के लिए, यह एक-चरणीय समाकलक के समाधान पर गॉसियन गड़बड़ी को जोड़कर या यादृच्छिक रूप से उनके समय-चरण को बाधित करके प्राप्त किया गया है। यह विभेदक समीकरण के समाधान पर एक संभाव्यता माप को परिभाषित करता है जिसका नमूना लिया जा सकता है। गॉसियन प्रक्रिया प्रतिगमन विधियाँ एक गॉसियन प्रक्रिया प्रतिगमन समस्या के रूप में अंतर समीकरण को हल करने की समस्या को प्रस्तुत करने पर आधारित हैं, व्युत्पन्न पर डेटा के रूप में दाहिने हाथ की ओर के मूल्यांकन की व्याख्या करते हैं। ये तकनीकें बायेसियन क्यूबेचर से मिलती-जुलती हैं, लेकिन अलग-अलग और अक्सर गैर-रैखिक अवलोकन मॉडल का उपयोग करती हैं। अपनी प्रारंभिक अवस्था में, विधियों का यह वर्ग निष्कपट गॉसियन प्रक्रिया प्रतिगमन पर आधारित था। इसे बाद में (कुशल गणना के संदर्भ में) स्टोकेस्टिक विभेदक समीकरण द्वारा मॉडल किए गए गॉस मार्कोव प्रायर्स के पक्ष में सुधार किया गया था, जहां एक-आयामी वेक्टर मॉडलिंग है जो पहले व्युत्पन्न है, और जहां एक-आयामी ब्राउनियन गति है। इस प्रकार अनुमान को कालमन फ़िल्टरिंग आधारित विधियों के साथ कुशलता से लागू किया जा सकता है। इन दोनों श्रेणियों के बीच की सीमा तेज नहीं है, वास्तव में यादृच्छिक डेटा के आधार पर एक गौसी प्रक्रिया प्रतिगमन दृष्टिकोण भी विकसित किया गया था। इन विधियों को कम्प्यूटेशनल रीमानियन ज्यामिति, व्युत्क्रम समस्याओं, अव्यक्त बल मॉडल और ज्यामितीय संरचना जैसे विभेदक समीकरणों में समस्याओं पर लागू किया गया है। आंशिक विभेदक समीकरण आंशिक विभेदक समीकरणों के लिए कई संभावित संख्यात्मक विधियों का भी प्रस्ताव किया गया है। सामान्य विभेदक समीकरणों के साथ, दृष्टिकोण को मोटे तौर पर यादृच्छिककरण के आधार पर विभाजित किया जा सकता है, आम तौर पर कुछ अंतर्निहित परिमित-तत्व जाल और गौसी प्रक्रिया प्रतिगमन पर आधारित। गौसी प्रक्रिया प्रतिगमन पर आधारित संभावित संख्यात्मक पी. डी. ई. समाधानकर्ता कुछ प्राथमिकताओं के लिए रैखिक पी. डी. ई. पर शास्त्रीय विधियों को पुनर्प्राप्त करते हैं, विशेष रूप से औसत भारित अवशिष्ट विधियों में, जिसमें गैलरकिन विधियाँ, परिमित तत्व विधियाँ, साथ ही वर्णक्रमीय विधियाँ शामिल हैं। इतिहास और संबंधित क्षेत्र संख्यात्मक विश्लेषण और संभाव्यता के बीच परस्पर क्रिया को गणित के कई अन्य क्षेत्रों द्वारा छुआ जाता है, जिसमें संख्यात्मक विधियों का औसत-मामला विश्लेषण, सूचना-आधारित जटिलता, खेल सिद्धांत और सांख्यिकीय निर्णय सिद्धांत शामिल हैं। जिसे अब "संभावित संख्यात्मक" कहा जा रहा है, उसके पूर्ववर्ती 19वीं शताब्दी के अंत और 20वीं शताब्दी की शुरुआत में पाए जा सकते हैं। संभाव्य सांख्यिकी की उत्पत्ति का पता हेनरी पोइनकेरे द्वारा अपने कैलकुल डेस प्रोबेबिलाइट्स में बहुपद अंतर्वेशन के लिए संभावित दृष्टिकोण की चर्चा से लगाया जा सकता है। आधुनिक शब्दावली में, पोइनकेरे ने एक फलन पर एक गौसी पूर्व वितरण पर विचार किया, जिसे यादृच्छिक गुणांक के साथ एक औपचारिक शक्ति श्रृंखला के रूप में व्यक्त किया गया, और इसके लिए पूर्व और टिप्पणियों को देखते हुए "संभावित मूल्यों" के लिए कहा। संख्यात्मक विश्लेषण और संभाव्यता की परस्पर क्रिया में बाद में एक मौलिक योगदान अल्बर्ट सुल्डिन द्वारा अविभाज्य चतुर्भुज के संदर्भ में प्रदान किया गया था। सुल्डिन द्वारा विचार की गई सांख्यिकीय समस्या एक फलन के निश्चित समाकलन का अनुमान था, जो पहले एक ब्राउनियन गति के तहत था, जिसे नोड्स के बिंदुवार मूल्यांकन तक पहुंच दी गई थी। सुल्डिन ने दिखाया कि दिए गए चतुर्भुज नोड्स के लिए, न्यूनतम माध्य वर्ग त्रुटि के साथ चतुर्भुज नियम ट्रैपेज़ॉइडल नियम है; इसके अलावा, यह न्यूनतम त्रुटि अंतर-नोड अंतराल के क्यूब्स के योग के समानुपाती है। नतीजतन, कोई भी समान-दूरी वाले नोड्स के साथ ट्रैपेज़ॉइडल नियम को कुछ अर्थों में सांख्यिकीय रूप से इष्टतम के रूप में देख सकता है-एक संख्यात्मक विधि के औसत-मामले के विश्लेषण का एक प्रारंभिक उदाहरण। सुल्डिन के दृष्टिकोण को बाद में माइक लार्किन ने बढ़ाया। ध्यान दें कि समाकलन से पहले सुल्डिन की ब्राउनियन गति एक गौसी माप है और समाकलन और बिंदु वार मूल्यांकन के संचालन दोनों रैखिक मानचित्र हैं। इस प्रकार, निश्चित समाकलन एक वास्तविक मूल्य वाला गौसी यादृच्छिक चर है। विशेष रूप से, के देखे गए बिंदु-वार मूल्यों पर अनुकूलन के बाद, यह एक सामान्य वितरण का अनुसरण करता है जिसका माध्य ट्रेपेज़ॉइडल नियम के बराबर होता है और विचरण के बराबर होता है। यह दृष्टिकोण बायेसियन चतुर्भुज के बहुत करीब है, जो एक चतुर्भुज विधि के उत्पादन को न केवल एक बिंदु अनुमान के रूप में बल्कि अपने आप में एक संभाव्यता वितरण के रूप में देखता है। जैसा कि हौमन ओवादी और सहयोगियों द्वारा उल्लेख किया गया है, संख्यात्मक सन्निकटन और सांख्यिकीय अनुमान के बीच अंतःक्रिया का पता पलस्ती और रेनी, सार्ड, किमेलडोर्फ और वाहबा (बायेसियन अनुमान और स्प्लाइन स्मूथिंग/प्रक्षेप के बीच पत्राचार पर) और लार्किन (गौसी प्रक्रिया प्रतिगमन और संख्यात्मक सन्निकटन के बीच पत्राचार पर) में भी लगाया जा सकता है। हालांकि एक यादृच्छिक प्रक्रिया से एक नमूने के रूप में एक पूरी तरह से ज्ञात कार्य के मॉडलिंग का दृष्टिकोण विरोधाभासी लग सकता है, इसे समझने के लिए एक प्राकृतिक ढांचा सूचना-आधारित जटिलता (आई. बी. सी.) में पाया जा सकता है, कम्प्यूटेशनल जटिलता की शाखा इस अवलोकन पर आधारित है कि संख्यात्मक कार्यान्वयन के लिए आंशिक जानकारी और सीमित संसाधनों के साथ गणना की आवश्यकता होती है। आई. बी. सी. में, अधूरी जानकारी पर काम करने वाले एल्गोरिदम के प्रदर्शन का विश्लेषण लापता जानकारी के संबंध में सबसे खराब स्थिति या औसत स्थिति (यादृच्छिक) सेटिंग में किया जा सकता है। इसके अलावा, जैसा कि पैकल ने देखा, औसत केस सेटिंग की व्याख्या एक प्रतिकूल खेल में एक मिश्रित रणनीति के रूप में की जा सकती है जो एक (सबसे खराब स्थिति) मिनमैक्स समस्या को मिश्रित (यादृच्छिक) रणनीतियों पर मिनमैक्स समस्या के लिए उठाकर प्राप्त की जाती है। यह अवलोकन संख्यात्मक सन्निकटन और वाल्ड के निर्णय सिद्धांत के बीच एक प्राकृतिक संबंध की ओर ले जाता है, जो स्पष्ट रूप से वॉन न्यूमैन के खेल के सिद्धांत से प्रभावित है। इस संबंध का वर्णन करने के लिए मिचेल्ली और रिवलिन की इष्टतम पुनर्प्राप्ति सेटिंग पर विचार करें जिसमें कोई व्यक्ति उस कार्य पर सीमित संख्या में रैखिक मापों से एक अज्ञात कार्य का अनुमान लगाने का प्रयास करता है। इस इष्टतम पुनर्प्राप्ति समस्या को एक शून्य-राशि खेल के रूप में व्याख्या करते हुए जहां खिलाड़ी I अज्ञात कार्य का चयन करता है और खिलाड़ी II इसके सन्निकटन का चयन करता है, और नुकसान को परिभाषित करने के लिए एक द्विघात मानक में सापेक्ष त्रुटियों का उपयोग करते हुए, गॉसियन प्राथमिकताएं ऐसे खेलों के लिए इष्टतम मिश्रित रणनीतियों के रूप में उभरती हैं, और इष्टतम गॉसियन पूर्व के सहप्रसरण संचालक को पुनर्प्राप्ति की सापेक्ष त्रुटि को परिभाषित करने के लिए उपयोग किए जाने वाले द्विघात मानक द्वारा निर्धारित किया जाता है। सॉफ्टवेयर प्रोबनमः पायथन में संभावित संख्यात्मक। ProbNumDiffEq.jl: जूलिया में फ़िल्टरिंग पर आधारित संभावित संख्यात्मक ODE सॉल्वर लागू किए गए। इमुकिटः अनिश्चितता में निर्णय लेने के लिए अनुकूलनीय पायथन टूलबॉक्स। बैकपैकः पायटॉर्च के ऊपर बनाया गया। यह ढाल के अलावा अन्य मात्राओं की कुशलता से गणना करता है। औसत-स्थिति विश्लेषण सूचना-आधारित जटिलता अनिश्चितता परिमाणीकरण संदर्भ अनुप्रयुक्त सांख्यिकी मशीन लर्निंग अनुप्रयुक्त गणित भी देखें।