Laplace's approximation
लाप्लास का सन्निकटन एम. ए. पी. समाधान के बराबर माध्य और देखी गई फिशर जानकारी के बराबर सटीकता के साथ एक गौसी वितरण को फिट करके एक पश्च संभाव्यता वितरण के लिए एक विश्लेषणात्मक अभिव्यक्ति प्रदान करता है। इस सन्निकटन को बर्नस्टीन-वॉन मिसेस प्रमेय द्वारा उचित ठहराया गया है, जिसमें कहा गया है कि नियमित परिस्थितियों में पश्चवर्ती बड़े नमूनों में एक गॉसियन में परिवर्तित हो जाता है। उदाहरण के लिए, इनपुट और आउटपुट वाले डेटा सेट के साथ एक (संभवतः गैर-रैखिक) प्रतिगमन या वर्गीकरण मॉडल में लंबाई का (अज्ञात) पैरामीटर वेक्टर होता है। संभावना को दर्शाया जाता है और पैरामीटर पहले होता है। आउटपुट और मापदंडों का संयुक्त घनत्व अनुमानित इच्छा का उद्देश्य है संयुक्त संभावना और पूर्व के उत्पाद के बराबर है और बेयस के नियम के अनुसार, सीमांत संभावना और पश्च के उत्पाद के बराबर है। जोड़ के एक कार्य के रूप में देखा जाने वाला एक गैर-सामान्यीकृत घनत्व है। लाप्लास के सन्निकटन में हम जोड़ को एक गैर-सामान्यीकृत गौसियन द्वारा अनुमानित करते हैं, जहाँ हम अनुमानित घनत्व को निरूपित करने के लिए उपयोग करते हैं, गैर-सामान्यीकृत घनत्व के लिए और एक स्थिरांक (स्वतंत्र) है। चूँकि सीमांत संभावना पैरामीटर पर निर्भर नहीं करती है और बाद में सामान्य हो जाती है, इसलिए हम उन्हें क्रमशः और हमारे सन्निकटन के साथ तुरंत पहचान सकते हैं। लाप्लास का सन्निकटन वह जगह है जहाँ हमने परिभाषित किया है कि संयुक्त लक्ष्य घनत्व के एक मोड का स्थान कहाँ है, जिसे अधिकतम पोस्टेरिओरी या एमएपी बिंदु के रूप में भी जाना जाता है और यह मोड में नकारात्मक लॉग संयुक्त लक्ष्य घनत्व के दूसरे व्युत्पन्न का सकारात्मक निश्चित मैट्रिक्स है। इस प्रकार, गॉसियन सन्निकटन मोड में गैर-सामान्यीकृत लक्ष्य घनत्व के मूल्य और वक्रता से मेल खाता है। का मान आमतौर पर ढाल आधारित विधि का उपयोग करके पाया जाता है, जैसे। न्यूटन की विधि। संक्षेप में, हमारे पास क्रमशः अनुमानित पोस्टीरियर ओवर और अनुमानित लॉग सीमांत संभावना है। एक गौसी पूर्व के साथ बायेसियन रैखिक प्रतिगमन के विशेष मामले में, सन्निकटन सटीक है। लाप्लास के सन्निकटन की मुख्य कमजोरियाँ यह हैं कि यह मोड के आसपास सममित है और यह बहुत स्थानीय हैः पूरा सन्निकटन लक्ष्य घनत्व के एक बिंदु पर गुणों से प्राप्त होता है। लाप्लास की विधि का व्यापक रूप से उपयोग किया जाता है और डेविड मैकके द्वारा तंत्रिका नेटवर्क के संदर्भ में और विलियम्स और बार्बर द्वारा गॉसियन प्रक्रियाओं के लिए इसका बीड़ा उठाया गया था। संदर्भ सांख्यिकीय सन्निकटन बायेसियन अनुमान