Laplace's approximation
ল্যাপ্লেসের আনুমানিক মান এমএপি সমাধানের সমান গড় এবং পর্যবেক্ষিত ফিশার তথ্যের সমান নির্ভুলতার সাথে একটি গাউসিয়ান বিতরণ ফিট করে একটি পশ্চাৎ সম্ভাব্যতা বিতরণের জন্য একটি বিশ্লেষণাত্মক অভিব্যক্তি প্রদান করে। আনুমানিক অনুমানটি বার্নস্টাইন-ভন মিসেস উপপাদ্য দ্বারা ন্যায়সঙ্গত, যা বলে যে নিয়মিত অবস্থার অধীনে পোস্টেরিয়র বড় নমুনায় একটি গাউসিয়ানের সাথে মিলিত হয়। উদাহরণস্বরূপ, ইনপুট এবং আউটপুট সমন্বিত ডেটা সেট সহ একটি (সম্ভবত অ-রৈখিক) রিগ্রেশন বা শ্রেণিবিন্যাস মডেলের দৈর্ঘ্যের (অজানা) প্যারামিটার ভেক্টর থাকে। সম্ভাবনা নির্দেশ করা হয় এবং প্যারামিটারটি আগে। আউটপুট এবং প্যারামিটারগুলির যৌথ ঘনত্ব হল অনুমানমূলক আকাঙ্ক্ষার বস্তু জয়েন্টটি সম্ভাব্যতা এবং পূর্বের গুণফলের সমান এবং বায়েসের নিয়ম অনুসারে, প্রান্তিক সম্ভাবনা এবং পরবর্তী গুণফলের সমান। জয়েন্টের একটি ফাংশন হিসাবে দেখা যায় একটি অস্বাভাবিক ঘনত্ব। ল্যাপলেসের আনুমানিকতায় আমরা একটি অস্বাভাবিক গাউসিয়ান দ্বারা জয়েন্টটি আনুমানিক করি, যেখানে আমরা আনুমানিক ঘনত্ব বোঝাতে ব্যবহার করি, অস্বাভাবিক ঘনত্বের জন্য এবং এটি একটি ধ্রুবক (স্বাধীন)। যেহেতু প্রান্তিক সম্ভাবনা প্যারামিটারের উপর নির্ভর করে না এবং পোস্টেরিয়র স্বাভাবিক হয়ে যায়, তাই আমরা অবিলম্বে তাদের যথাক্রমে এবং আমাদের আনুমানিকতার সাথে সনাক্ত করতে পারি। ল্যাপ্লাসের আনুমানিক মান হল যেখানে আমরা সংজ্ঞায়িত করেছি যে যৌথ লক্ষ্য ঘনত্বের একটি মোডের অবস্থান কোথায়, যা সর্বাধিক পোস্টেরিওরি বা এমএপি পয়েন্ট নামেও পরিচিত এবং এটি মোডে নেতিবাচক লগ জয়েন্ট লক্ষ্য ঘনত্বের দ্বিতীয় ডেরিভেটিভের ইতিবাচক নির্দিষ্ট ম্যাট্রিক্স। সুতরাং, গাউসিয়ান আনুমানিক মানটি মোডে অস্বাভাবিক লক্ষ্য ঘনত্বের মান এবং বক্রতার সাথে মেলে। এর মান সাধারণত একটি গ্রেডিয়েন্ট ভিত্তিক পদ্ধতি ব্যবহার করে পাওয়া যায়, যেমন। নিউটনের পদ্ধতি। সংক্ষেপে, আমাদের কাছে যথাক্রমে আনুমানিক পোস্টেরিয়র ওভার এবং আনুমানিক লগ মার্জিনাল সম্ভাব্যতা রয়েছে। একটি গাউসিয়ান পূর্ববর্তী সঙ্গে বায়েসিয়ান রৈখিক রিগ্রেশন বিশেষ ক্ষেত্রে, আনুমানিক সঠিক। ল্যাপলেসের আনুমানিকতার প্রধান দুর্বলতা হল এটি মোডের চারপাশে প্রতিসম এবং এটি খুব স্থানীয়ঃ সম্পূর্ণ আনুমানিক লক্ষ্য ঘনত্বের একক বিন্দুতে বৈশিষ্ট্য থেকে উদ্ভূত হয়। ল্যাপলেসের পদ্ধতিটি ব্যাপকভাবে ব্যবহৃত হয় এবং ডেভিড ম্যাককে নিউরাল নেটওয়ার্কের প্রেক্ষাপটে এবং উইলিয়ামস ও নাপিত গাউসিয়ান প্রক্রিয়াগুলির জন্য অগ্রগামী ছিলেন। তথ্যসূত্র পরিসংখ্যানগত আনুমানিক বায়েসিয়ান অনুমান