Density estimation
পরিসংখ্যানে, সম্ভাব্যতা ঘনত্ব অনুমান বা কেবল ঘনত্ব অনুমান হল একটি পর্যবেক্ষণযোগ্য অন্তর্নিহিত সম্ভাব্যতা ঘনত্ব ফাংশনের পর্যবেক্ষণযোগ্য তথ্যের উপর ভিত্তি করে একটি অনুমানের নির্মাণ। অবলোকনযোগ্য ঘনত্ব ফাংশনকে ঘনত্ব হিসাবে বিবেচনা করা হয় যার ভিত্তিতে একটি বড় জনসংখ্যা বিতরণ করা হয়; তথ্যগুলি সাধারণত সেই জনসংখ্যার একটি এলোমেলো নমুনা হিসাবে মনে করা হয়। পারজেন উইন্ডো এবং ভেক্টর কোয়ান্টাইজেশন সহ বিভিন্ন ডেটা ক্লাস্টারিং কৌশল সহ ঘনত্ব অনুমানের বিভিন্ন পদ্ধতি ব্যবহার করা হয়। ঘনত্ব অনুমানের সবচেয়ে মৌলিক রূপ হল একটি পুনরুদ্ধারকৃত হিস্টোগ্রাম। উদাহরণ আমরা ডায়াবেটিসের ঘটনার রেকর্ড বিবেচনা করব। ডেটা সেটের বিবরণ থেকে নিম্নলিখিত শব্দটি উদ্ধৃত করা হয়েছেঃ পিমা ভারতীয় বংশোদ্ভূত এবং ফিনিক্স, অ্যারিজোনার কাছাকাছি বসবাসকারী কমপক্ষে 21 বছর বয়সী মহিলাদের বিশ্ব স্বাস্থ্য সংস্থার মানদণ্ড অনুযায়ী ডায়াবেটিস মেলিটাসের জন্য পরীক্ষা করা হয়েছিল। ইউএস ন্যাশনাল ইনস্টিটিউট অফ ডায়াবেটিস অ্যান্ড ডাইজেস্টিভ অ্যান্ড কিডনি ডিজিজ এই তথ্য সংগ্রহ করেছে। আমরা 532টি সম্পূর্ণ রেকর্ড ব্যবহার করেছি। এই উদাহরণে, আমরা "গ্লু" (প্লাজমা গ্লুকোজ ঘনত্ব)-এর জন্য তিনটি ঘনত্বের অনুমান তৈরি করি, একটি ডায়াবেটিসের উপস্থিতির উপর শর্তাধীন, দ্বিতীয়টি ডায়াবেটিসের অনুপস্থিতির উপর শর্তাধীন এবং তৃতীয়টি ডায়াবেটিসের উপর শর্তাধীন নয়। শর্তাধীন ঘনত্বের অনুমানগুলি তখন "গ্লু"-তে শর্তাধীন ডায়াবেটিসের সম্ভাবনা তৈরি করতে ব্যবহৃত হয়। "গ্লু" তথ্য আর প্রোগ্রামিং ভাষার এমএএসএস প্যাকেজ থেকে প্রাপ্ত হয়েছিল। আর-এর মধ্যে,? Pima.tr এবং? Pima.te তথ্যের একটি পূর্ণ হিসাব দিন। ডায়াবেটিসের ক্ষেত্রে "গ্লু"-এর গড় হল 143.1 এবং আদর্শ বিচ্যুতি হল 31.26। অ-ডায়াবেটিসের ক্ষেত্রে "গ্লু"-এর গড় হল 110.0 এবং আদর্শ বিচ্যুতি হল 24.29। এর থেকে আমরা দেখতে পাই যে, এই ডেটা সেটে, ডায়াবেটিসের ক্ষেত্রে "গ্লু"-র মাত্রা বেশি থাকে। আনুমানিক ঘনত্ব ফাংশনের প্লট দ্বারা এটি আরও স্পষ্ট করা হবে। প্রথম চিত্রটি পি (গ্লু। ডায়াবেটিস = 1), পি (গ্লু। ডায়াবেটিস = 0) এবং পি (গ্লু)-এর ঘনত্বের অনুমান দেখায়। ঘনত্বের অনুমানগুলি হল গাউসিয়ান কার্নেল ব্যবহার করে কার্নেল ঘনত্বের অনুমান। অর্থাৎ, প্রতিটি ডেটা পয়েন্টে একটি গাউসিয়ান ঘনত্ব ফাংশন স্থাপন করা হয় এবং ডেটার পরিসরে ঘনত্ব ফাংশনের যোগফল গণনা করা হয়। ডায়াবেটিসের উপর শর্তযুক্ত "গ্লু"-এর ঘনত্ব থেকে, আমরা বায়েসের নিয়মের মাধ্যমে "গ্লু"-এর উপর শর্তযুক্ত ডায়াবেটিসের সম্ভাবনা পেতে পারি। সংক্ষিপ্ততার জন্য, "ডায়াবেটিস" সংক্ষেপে "ডিবি"। এই ফর্মুলায়। দ্বিতীয় চিত্রটি আনুমানিক পশ্চাৎ সম্ভাবনা পি (ডায়াবেটিস = 1। গ্লু) দেখায়। এই তথ্যগুলি থেকে দেখা যায় যে, "গ্লু"-র একটি বর্ধিত মাত্রা ডায়াবেটিসের সঙ্গে যুক্ত। প্রয়োগ এবং উদ্দেশ্য একটি প্রদত্ত ডেটার সেটের বৈশিষ্ট্যগুলির অনানুষ্ঠানিক তদন্তে ঘনত্ব অনুমানের একটি খুব স্বাভাবিক ব্যবহার। ঘনত্বের অনুমান তথ্যের তির্যকতা এবং বহুমাত্রিকতার মতো বৈশিষ্ট্যগুলির একটি মূল্যবান ইঙ্গিত দিতে পারে। কিছু ক্ষেত্রে তারা এমন সিদ্ধান্তে পৌঁছাবে যা তখন স্ব-স্পষ্টভাবে সত্য হিসাবে বিবেচিত হতে পারে, অন্যগুলিতে তারা যা করবে তা হল আরও বিশ্লেষণ এবং/অথবা তথ্য সংগ্রহের পথ নির্দেশ করা। পরিসংখ্যানের একটি গুরুত্বপূর্ণ দিক হল প্রায়শই ক্লায়েন্টের কাছে তথ্য উপস্থাপন করা যাতে সম্ভবত অন্য উপায়ে প্রাপ্ত সিদ্ধান্তের ব্যাখ্যা এবং চিত্র প্রদান করা যায়। অ-গণিতবিদদের কাছে মোটামুটি সহজেই বোধগম্য হওয়ার সহজ কারণে ঘনত্বের অনুমানগুলি এই উদ্দেশ্যে আদর্শ। বাইভ্যারিয়েট ডেটার গুরুত্বপূর্ণ কেস সহ অনুসন্ধানমূলক এবং উপস্থাপনামূলক উদ্দেশ্যে ঘনত্বের অনুমানের ব্যবহার চিত্রিত করার আরও উদাহরণ। ঘনত্ব অনুমান প্রায়শই অসঙ্গতি সনাক্তকরণ বা নতুনত্ব সনাক্তকরণেও ব্যবহৃত হয়ঃ যদি কোনও পর্যবেক্ষণ খুব কম ঘনত্বের অঞ্চলে থাকে তবে এটি একটি অসঙ্গতি বা নতুনত্ব হতে পারে। হাইড্রোলজিতে হিস্টোগ্রাম এবং বৃষ্টিপাতের আনুমানিক ঘনত্ব ফাংশন এবং নদীর স্রাবের তথ্য, একটি সম্ভাব্যতা বিতরণের সাথে বিশ্লেষণ করা হয়, তাদের আচরণ এবং ঘটনার ফ্রিকোয়েন্সি সম্পর্কে অন্তর্দৃষ্টি অর্জন করতে ব্যবহৃত হয়। একটি উদাহরণ নীল চিত্রে দেখানো হয়েছে। কার্নেল ঘনত্ব অনুমান আরও দেখুন কার্নেল ঘনত্ব অনুমান গড় সমন্বিত বর্গাকার ত্রুটি হিস্টোগ্রাম মাল্টিভ্যারিয়েট কার্নেল ঘনত্ব অনুমান স্পেকট্রাল ঘনত্ব অনুমান কার্নেল এম্বেডিং অফ ডিস্ট্রিবিউশন জেনারেটিভ মডেল অর্ডার স্ট্যাটিস্টিক্সের প্রয়োগঃ নন-প্যারামেট্রিক ঘনত্ব অনুমান সম্ভাব্যতা বিতরণ উপযুক্ত রেফারেন্স সূত্র ট্রেভর হ্যাস্টি, রবার্ট টিবশিরানি এবং জেরোম ফ্রিডম্যান। পরিসংখ্যানগত শিক্ষার উপাদান। নিউ ইয়র্কঃ স্প্রিংগার, 2001। (6ষ্ঠ অধ্যায় দেখুন।) কি লি এবং জেফ্রি এস. রেসিন। ননপ্যারামেট্রিক ইকোনমেট্রিক্সঃ তত্ত্ব এবং অনুশীলন। প্রিন্সটন ইউনিভার্সিটি প্রেস, 2007। (1ম অধ্যায় দেখুন।) ডি. ডব্লিউ স্কট। বহু-বৈচিত্র্য ঘনত্ব অনুমান। তত্ত্ব, অনুশীলন এবং দৃশ্যায়ন। নিউ ইয়র্কঃ উইলি, 1992। বি. ডব্লিউ. সিলভারম্যান। ঘনত্ব অনুমান। লন্ডনঃ চ্যাপম্যান অ্যান্ড হল, 1986। বাইরের লিঙ্ক ক্রিমঃ সেন্টার ফর রিসার্চ ইনটু ইকোলজিক্যাল অ্যান্ড এনভায়রনমেন্টাল মডেলিং বিনামূল্যে ঘনত্ব অনুমান সফ্টওয়্যার প্যাকেজের জন্য ডাউনলোড দূরত্ব 4 (বন্যপ্রাণী জনসংখ্যা মূল্যায়নের গবেষণা ইউনিট "আরইউডব্লিউপিএ" থেকে) এবং ওয়াইএসপি। ইউসিআই মেশিন লার্নিং রিপোজিটরি বিষয়বস্তুর সারসংক্ষেপ (732টি রেকর্ডের মূল ডেটা সেট এবং অতিরিক্ত নোটের জন্য "পিমা ইন্ডিয়ানস ডায়াবেটিস ডেটাবেস" দেখুন।) পরিবর্তনশীল কার্নেল ঘনত্ব অনুমানের জন্য এক মাত্রিক এবং দ্বিমাত্রিক ঘনত্ব অনুমানের জন্য ম্যাটল্যাব কোড libAGF C + + সফ্টওয়্যার। ননপ্যারামেট্রিক পরিসংখ্যান