Unbiased estimation of standard deviation
পরিসংখ্যান এবং বিশেষ পরিসংখ্যান তত্ত্বে, একটি আদর্শ বিচ্যুতির নিরপেক্ষ অনুমান হল মানগুলির জনসংখ্যার আদর্শ বিচ্যুতির (পরিসংখ্যানগত বিচ্ছুরণের একটি পরিমাপ) আনুমানিক মূল্যের পরিসংখ্যানগত নমুনা থেকে এমনভাবে গণনা করা যাতে গণনার প্রত্যাশিত মান প্রকৃত মানের সমান হয়। পরে বর্ণিত কিছু গুরুত্বপূর্ণ পরিস্থিতি ব্যতীত, পরিসংখ্যানের প্রয়োগের ক্ষেত্রে এই কাজের খুব কম প্রাসঙ্গিকতা রয়েছে কারণ এর প্রয়োজনীয়তা আদর্শ পদ্ধতি দ্বারা এড়ানো হয়, যেমন তাৎপর্য পরীক্ষা এবং আত্মবিশ্বাসের ব্যবধানের ব্যবহার বা বায়েসিয়ান বিশ্লেষণ ব্যবহার করে। যাইহোক, পরিসংখ্যানগত তত্ত্বের জন্য, এটি অনুমান তত্ত্বের প্রসঙ্গে একটি উদাহরণমূলক সমস্যা প্রদান করে যা বর্ণনা করা সহজ এবং যার জন্য ফলাফল বন্ধ আকারে পাওয়া যায় না। এটি এমন একটি উদাহরণও প্রদান করে যেখানে নিরপেক্ষ অনুমানের প্রয়োজনীয়তা আরোপ করা কেবল কোনও প্রকৃত সুবিধা ছাড়াই অসুবিধা যোগ করা হিসাবে দেখা যেতে পারে। পরিসংখ্যানে, সংখ্যার জনসংখ্যার আদর্শ বিচ্যুতি প্রায়শই জনসংখ্যা থেকে নেওয়া একটি এলোমেলো নমুনা থেকে অনুমান করা হয়। এটি নমুনা আদর্শ বিচ্যুতি, যা নমুনাটি কোথায় (আনুষ্ঠানিকভাবে, একটি এলোমেলো পরিবর্তনশীল এক্স থেকে উপলব্ধি) দ্বারা সংজ্ঞায়িত করা হয় এবং এটি নমুনা গড়। এটি জনসংখ্যার মানক বিচ্যুতির একটি পক্ষপাতদুষ্ট প্রাক্কলনকারী দেখার একটি উপায় হল এই ফলাফল থেকে শুরু করা যে s2 হল অন্তর্নিহিত জনসংখ্যার σ2 বৈচিত্র্যের জন্য একটি নিরপেক্ষ প্রাক্কলনকারী যদি সেই বৈচিত্র্য বিদ্যমান থাকে এবং প্রতিস্থাপনের মাধ্যমে নমুনা মানগুলি স্বাধীনভাবে আঁকা হয়। বর্গমূল একটি অরৈখিক ফাংশন, এবং শুধুমাত্র রৈখিক ফাংশনগুলি প্রত্যাশা গ্রহণের সাথে যাতায়াত করে। যেহেতু বর্গমূল একটি কঠোরভাবে অবতল ফাংশন, জেনসেনের অসমতা থেকে এটি অনুসরণ করে যে নমুনা বৈচিত্র্যের বর্গমূল একটি অবমূল্যায়ন। নমুনা বিচ্যুতির সূত্রে n-এর পরিবর্তে n-1-এর ব্যবহার বেসেলের সংশোধন হিসাবে পরিচিত, যা জনসংখ্যার বিচ্যুতির অনুমানের পক্ষপাতকে সংশোধন করে এবং কিছু, তবে জনসংখ্যার মানক বিচ্যুতির অনুমানের সমস্ত পক্ষপাতকে নয়। সমস্ত জনসংখ্যা বণ্টনের জন্য নিরপেক্ষ আদর্শ বিচ্যুতির একটি অনুমান খুঁজে পাওয়া সম্ভব নয়, কারণ পক্ষপাত নির্দিষ্ট বণ্টনের উপর নির্ভর করে। নিম্নলিখিতগুলির বেশিরভাগই একটি স্বাভাবিক বন্টন অনুমানের সাথে সম্পর্কিত। পক্ষপাত সংশোধনের ফলাফল স্বাভাবিক বন্টনের জন্য যখন এলোমেলো পরিবর্তনশীল সাধারণত বিতরণ করা হয়, তখন পক্ষপাত দূর করার জন্য একটি ছোটখাটো সংশোধন বিদ্যমান থাকে। সংশোধনটি বের করার জন্য, লক্ষ্য করুন যে সাধারণত বণ্টিত এক্স-এর জন্য, কোচরানের উপপাদ্যটি বোঝায় যে স্বাধীনতার মাত্রার সাথে একটি চি বর্গ বণ্টন রয়েছে এবং এইভাবে এর বর্গমূলের, স্বাধীনতার মাত্রার সাথে একটি চি বণ্টন রয়েছে। ফলস্বরূপ, এই শেষ অভিব্যক্তিটির প্রত্যাশা গণনা করা এবং ধ্রুবকগুলিকে পুনর্বিন্যাস করা, যেখানে সংশোধন ফ্যাক্টরটি স্বাধীনতার মাত্রার সাথে চি বিতরণের স্কেল গড়। এটি নমুনা আকার n-এর উপর নির্ভর করে এবং নিম্নরূপ দেওয়া হয়েছেঃ যেখানে κ (·) হল গামা ফাংশন। দ্বারা ভাগ করে σ এর একটি নিরপেক্ষ প্রাক্কলনকারী পাওয়া যেতে পারে। বড় হওয়ার সাথে সাথে এটি 1-এর কাছাকাছি চলে আসে এবং এমনকি ছোট মানগুলির জন্যও সংশোধনটি ছোট হয়। চিত্রটি বনাম নমুনা আকারের একটি প্লট দেখায়। নীচের সারণিতে কিছু মানের জন্য সংখ্যাসূচক মান এবং বীজগাণিতিক অভিব্যক্তি দেওয়া হয়েছে; পরিসংখ্যানগত মান নিয়ন্ত্রণ সম্পর্কিত বেশিরভাগ পাঠ্যপুস্তকে আরও সম্পূর্ণ সারণি পাওয়া যেতে পারে। এটা মনে রাখা গুরুত্বপূর্ণ যে এই সংশোধন শুধুমাত্র সাধারণভাবে এবং স্বাধীনভাবে বিতরণ করা এক্স-এর জন্য একটি নিরপেক্ষ প্রাক্কলনকারী তৈরি করে। যখন এই শর্তটি পূরণ হয়, তখন s-এর সাথে জড়িত আরেকটি ফলাফল হল যে s-এর মানক ত্রুটি হল, অন্যদিকে নিরপেক্ষ প্রাক্কলনকারীর মানক ত্রুটি হল স্বাভাবিক বণ্টনের জন্য থাম্বের নিয়ম যদি c4 (n) ফাংশনের গণনা খুব কঠিন বলে মনে হয়, তবে প্রাক্কলনকারীকে নেওয়ার জন্য থাম্বের একটি সহজ নিয়ম থাকে। এই অভিব্যক্তিটি শুধুমাত্র আনুমানিক; প্রকৃতপক্ষে, পক্ষপাত তুলনামূলকভাবে ছোটঃ ধরুন, এটি 2.3 শতাংশের সমান, এবং পক্ষপাতের জন্য ইতিমধ্যে 0.1 শতাংশ। অন্যান্য বন্টন যেখানে পরিসংখ্যানগতভাবে স্বাধীন তথ্য স্বাভাবিক বন্টন ব্যতীত বিতরণের একটি প্যারামেট্রিক পরিবার দ্বারা মডেল করা হয়, সেখানে জনসংখ্যার মানক বিচ্যুতি, যদি বিদ্যমান থাকে, মডেলের পরামিতিগুলির একটি ফাংশন হবে। অনুমানের একটি সাধারণ পদ্ধতি হবে সর্বাধিক সম্ভাবনা। বিকল্পভাবে, আদর্শ বিচ্যুতির একটি ভাল অনুমান খুঁজে বের করার পথ হিসাবে রাও-ব্ল্যাকওয়েল উপপাদ্যটি ব্যবহার করা সম্ভব হতে পারে। উভয় ক্ষেত্রেই প্রাপ্ত অনুমানগুলি সাধারণত নিরপেক্ষ হবে না। ধারণাগতভাবে, নিরপেক্ষ অনুমানের দিকে পরিচালিত করার জন্য তাত্ত্বিক সমন্বয়গুলি অর্জনযোগ্য হতে পারে তবে, স্বাভাবিক বণ্টনের মতো নয়, এগুলি সাধারণত আনুমানিক পরামিতিগুলির উপর নির্ভর করে। যদি প্রয়োজনটি কেবল একটি আনুমানিক মানক বিচ্যুতির পক্ষপাত হ্রাস করার জন্য হয়, এটি সম্পূর্ণরূপে নির্মূল করার পরিবর্তে, তবে দুটি ব্যবহারিক পদ্ধতি উপলব্ধ রয়েছে, উভয়ই পুনঃসাম্পলিংয়ের প্রেক্ষাপটে। এগুলি হল জ্যাকনিফিং এবং বুটস্ট্র্যাপিং। উভয়ই স্ট্যান্ডার্ড বিচ্যুতি বা নমুনা স্ট্যান্ডার্ড বিচ্যুতির প্যারামেট্রিকভাবে ভিত্তিক অনুমানের ক্ষেত্রে প্রয়োগ করা যেতে পারে। অ-স্বাভাবিক বন্টনের জন্য আদর্শ বিচ্যুতির নিরপেক্ষ অনুমানকারীর জন্য একটি আনুমানিক (ও (এন-1) পদ পর্যন্ত) সূত্র হল যেখানে γ2 জনসংখ্যার অতিরিক্ত কুর্টোসিসকে বোঝায়। অতিরিক্ত কুর্টোসিস হয় নির্দিষ্ট বিতরণের জন্য আগে থেকে জানা যেতে পারে, অথবা তথ্য থেকে অনুমান করা যেতে পারে। স্ব-সম্পর্কের প্রভাব (ক্রমিক সম্পর্ক) উপরের উপাদানটি, আবার বিষয়টির উপর জোর দেওয়ার জন্য, শুধুমাত্র স্বাধীন তথ্যের ক্ষেত্রে প্রযোজ্য। যাইহোক, বাস্তব-বিশ্বের তথ্য প্রায়শই এই প্রয়োজনীয়তা পূরণ করে না; এটি স্বয়ংক্রিয় সম্পর্কযুক্ত (ক্রমিক সম্পর্ক হিসাবেও পরিচিত)। একটি উদাহরণ হিসাবে, একটি পরিমাপ যন্ত্রের ধারাবাহিক রিডিং যা কোনও ধরনের "মসৃণকরণ" (আরও সঠিকভাবে, লো-পাস ফিল্টারিং) প্রক্রিয়া অন্তর্ভুক্ত করে তা স্বয়ংক্রিয়ভাবে সম্পর্কিত হবে, কারণ যে কোনও নির্দিষ্ট মান পূর্ববর্তী এবং পরবর্তী রিডিংয়ের কিছু সংমিশ্রণ থেকে গণনা করা হয়। স্ব-সম্পর্কিত তথ্যের বৈচিত্র্য এবং মানক বিচ্যুতির অনুমান পক্ষপাতদুষ্ট হবে। নমুনা বৈচিত্র্যের প্রত্যাশিত মান হল যেখানে n হল নমুনার আকার (পরিমাপের সংখ্যা) এবং তথ্যের স্ব-সম্পর্ক ফাংশন (এসিএফ)। (লক্ষ্য করুন যে বন্ধনীতে অভিব্যক্তিটি কেবল পাঠের জন্য গড় প্রত্যাশিত স্ব-সম্পর্ককে বাদ দিয়ে এক।) যদি এসিএফ ধনাত্মক মান নিয়ে গঠিত হয় তবে বৈকল্পিকের অনুমান (এবং এর বর্গমূল, মানক বিচ্যুতি) পক্ষপাতদুষ্ট কম হবে। অর্থাৎ, তথ্যের প্রকৃত পরিবর্তনশীলতা একটি অসম্পূর্ণ বিচ্যুতি বা আদর্শ বিচ্যুতি গণনা দ্বারা নির্দেশিত পরিমাণের চেয়ে বেশি হবে। এটি স্বীকার করা অপরিহার্য যে, যদি এই অভিব্যক্তিটি পক্ষপাতের জন্য সংশোধন করতে হয়, উপরের বন্ধনীতে পরিমাণ দ্বারা অনুমানকে ভাগ করে, তবে এসিএফ অবশ্যই বিশ্লেষণাত্মকভাবে জানতে হবে, তথ্য থেকে অনুমানের মাধ্যমে নয়। এর কারণ হল আনুমানিক এসিএফ নিজেই পক্ষপাতদুষ্ট হবে। স্ট্যান্ডার্ড বিচ্যুতিতে পক্ষপাতের উদাহরণ স্ট্যান্ডার্ড বিচ্যুতিতে পক্ষপাতের মাত্রা ব্যাখ্যা করার জন্য, একটি ডেটাসেট বিবেচনা করুন যা একটি নির্দিষ্ট ডিজিটাল ফিল্টার ব্যবহার করে এমন একটি যন্ত্র থেকে ক্রমিক রিডিং নিয়ে গঠিত যার এসিএফ দ্বারা দেওয়া হয় যেখানে α ফিল্টারের পরামিতি, এবং এটি শূন্য থেকে একতায় মান নেয়। এইভাবে এসিএফ ধনাত্মক এবং জ্যামিতিকভাবে হ্রাস পাচ্ছে। চিত্রটি নমুনা আকারের একটি ফাংশন হিসাবে α-এর বিভিন্ন সেটিংসের জন্য তার পরিচিত মানের সাথে আনুমানিক মানক বিচ্যুতির অনুপাত দেখায় (যা এই ডিজিটাল ফিল্টারের জন্য বিশ্লেষণাত্মকভাবে গণনা করা যেতে পারে)। α পরিবর্তন ফিল্টারের বৈচিত্র্য হ্রাস অনুপাতকে পরিবর্তন করে, যা α-এর ছোট মানগুলির ফলে আরও বৈচিত্র্য হ্রাস বা "মসৃণতা" হিসাবে পরিচিত। পক্ষপাতটি একক থেকে ভিন্ন উল্লম্ব অক্ষের মান দ্বারা নির্দেশিত হয়; অর্থাৎ, যদি কোনও পক্ষপাত না থাকে তবে আনুমানিক এবং পরিচিত মানক বিচ্যুতির অনুপাত হবে একতা। স্পষ্টতই, পরিমিত নমুনা আকারের জন্য উল্লেখযোগ্য পক্ষপাত (দুই বা ততোধিকের একটি ফ্যাক্টর) থাকতে পারে। গড়ের বৈচিত্র্য জনসংখ্যার বৈচিত্র্যের পরিবর্তে একটি আনুমানিক গড়ের বৈচিত্র্য বা মানক বিচ্যুতি অনুমান করা প্রায়শই আগ্রহের বিষয়। যখন তথ্যগুলি স্বয়ংক্রিয়ভাবে সম্পর্কিত হয়, তখন এটি নমুনা গড়ের তাত্ত্বিক বৈচিত্র্যের উপর সরাসরি প্রভাব ফেলে, যা হল σ2 এর একটি অনুমান প্রতিস্থাপন করে নমুনা গড়ের বৈচিত্র্য অনুমান করা যেতে পারে। এই ধরনের একটি অনুমান উপরে প্রদত্ত E [s2]-এর সমীকরণ থেকে পাওয়া যেতে পারে। প্রথমে নিম্নলিখিত ধ্রুবকগুলি সংজ্ঞায়িত করুন, ধরে নিন, আবার, একটি পরিচিত এসিএফঃ যাতে এটি বলে যে পর্যবেক্ষণ করা নমুনা বৈকল্পিককে সংশোধন ফ্যাক্টর দ্বারা ভাগ করে প্রাপ্ত পরিমাণের প্রত্যাশিত মান বৈকল্পিকের একটি নিরপেক্ষ অনুমান দেয়। একইভাবে, গড়ের বৈচিত্র্যের জন্য উপরের অভিব্যক্তিটি পুনরায় লিখুন এবং প্রদত্তের জন্য অনুমান প্রতিস্থাপন করুন যা পর্যবেক্ষিত নমুনা বৈচিত্র্য এবং জ্ঞাত পরিমাণের পরিপ্রেক্ষিতে গড়ের বৈচিত্র্যের একটি নিরপেক্ষ প্রাক্কলনকারী। যদি স্ব-সম্পর্কগুলি অভিন্নভাবে শূন্য হয়, তবে এই অভিব্যক্তিটি স্বাধীন তথ্যের জন্য গড়ের বৈচিত্র্যের জন্য সুপরিচিত ফলাফলে হ্রাস পায়। এই অভিব্যক্তিগুলিতে প্রত্যাশা অপারেটরের প্রভাব হল যে সমতা গড় (অর্থাৎ, গড়ে) ধারণ করে। জনসংখ্যার আদর্শ বিচ্যুতি অনুমান করা উপরের অভিব্যক্তিগুলি জনসংখ্যার বৈচিত্র্য এবং সেই জনসংখ্যার গড়ের অনুমানের সাথে জড়িত থাকলে, সংশ্লিষ্ট মানক বিচ্যুতিগুলির নিরপেক্ষ অনুমান পেতে কেবল এই অভিব্যক্তিগুলির বর্গমূল গ্রহণ করা যৌক্তিক বলে মনে হবে। তবে এটি এমন ক্ষেত্রে যে, যেহেতু প্রত্যাশাগুলি ইন্টিগ্রাল, পরিবর্তে, ধরে নিন যে একটি ফাংশন θ বিদ্যমান যাতে স্ট্যান্ডার্ড বিচ্যুতির একটি নিরপেক্ষ প্রাক্কলনকারী লেখা যেতে পারে এবং θ নমুনা আকার n এবং ACF-এর উপর নির্ভর করে। এনআইডি (সাধারণত এবং স্বাধীনভাবে বিতরণ করা) তথ্যের ক্ষেত্রে, রেডিক্যান্ড হল একক এবং θ হল উপরের প্রথম বিভাগে দেওয়া সি4 ফাংশন। সি4-এর মতো, নমুনার আকার বাড়ার সাথে সাথে θ একতার দিকে এগিয়ে যায় (যেমন γ1)। এটি সিমুলেশন মডেলিংয়ের মাধ্যমে প্রদর্শিত হতে পারে যে θ কে উপেক্ষা করা (অর্থাৎ, এটিকে ঐক্য হিসাবে নেওয়া) এবং ব্যবহার করা স্ব-সম্পর্ক দ্বারা সৃষ্ট পক্ষপাতের কয়েক শতাংশ বাদে সমস্তকে সরিয়ে দেয়, এটি একটি নিরপেক্ষ অনুমানকারীর পরিবর্তে একটি হ্রাস-পক্ষপাত প্রাক্কলনকারী করে তোলে। ব্যবহারিক পরিমাপ পরিস্থিতিতে, পক্ষপাতের এই হ্রাস উল্লেখযোগ্য এবং কার্যকর হতে পারে, এমনকি যদি কিছু তুলনামূলকভাবে ছোট পক্ষপাত থাকে। উপরের চিত্রটি, আদর্শ বিচ্যুতি বনাম নমুনা আকারের পক্ষপাতের একটি উদাহরণ দেখায়, এই আনুমানিকতার উপর ভিত্তি করে; প্রকৃত পক্ষপাত সেই গ্রাফগুলিতে নির্দেশিত তুলনায় কিছুটা বড় হবে কারণ রূপান্তর পক্ষপাত θ সেখানে অন্তর্ভুক্ত নয়। জনসংখ্যার বিচ্যুতি এবং এ. সি. এফ-এর পরিপ্রেক্ষিতে গড়ের নিরপেক্ষ বৈচিত্র্য দ্বারা দেওয়া হয় এবং যেহেতু এখানে কোনও প্রত্যাশিত মান নেই, তাই এই ক্ষেত্রে বর্গমূল নেওয়া যেতে পারে, যাতে σ-এর জন্য উপরের নিরপেক্ষ অনুমান অভিব্যক্তিটি ব্যবহার করে, গড়ের মানক বিচ্যুতির একটি অনুমান তখন হবে যদি তথ্যটি এন. আই. ডি হয়, যাতে এ. সি. এফ অদৃশ্য হয়ে যায়, এটি কমে যায়। আরও দেখুন বেসেলের কোভ্যারিয়েন্স ম্যাট্রিক্সের সংশোধন অনুমান নমুনা গড় এবং নমুনা কোভ্যারিয়েন্স রেফারেন্স ডগলাস সি মন্টগোমেরি এবং জর্জ সি রাঙ্গার, ফলিত পরিসংখ্যান এবং ইঞ্জিনিয়ারদের সম্ভাব্যতা, তৃতীয় সংস্করণ, উইলি এবং পুত্র, 2003। (বিভাগগুলি 7-2.2 এবং 16-5 দেখুন) বাহ্যিক লিঙ্কগুলি একটি জাভা ইন্টারেক্টিভ গ্রাফিক যা হেলমার্ট পিডিএফ দেখায় যা থেকে পক্ষপাত সংশোধনের কারণগুলি উদ্ভূত হয়। মান বিচ্যুতির নিরপেক্ষ অনুমানের জন্য মন্টে-কার্লো সিমুলেশন ডেমো। http://www.itl.nist.gov/div898/handbook/pmc/section3/pmc32.htm ভেরিয়েবল কন্ট্রোল চার্ট কী? অনুমান পদ্ধতি সংক্ষিপ্ত পরিসংখ্যান সহাবস্থান এবং পারস্পরিক সম্পর্ক