Imputation (statistics)
اعداد و شمار میں، امپوٹیشن گمشدہ ڈیٹا کو متبادل اقدار سے تبدیل کرنے کا عمل ہے۔ ڈیٹا پوائنٹ کو تبدیل کرتے وقت، اسے "یونٹ امپوٹیشن" کے نام سے جانا جاتا ہے ؛ جب ڈیٹا پوائنٹ کے کسی جزو کو تبدیل کیا جاتا ہے، تو اسے "آئٹم امپوٹیشن" کے نام سے جانا جاتا ہے۔ تین اہم مسائل ہیں جو گمشدہ ڈیٹا کا سبب بنتے ہیں: گمشدہ ڈیٹا کافی حد تک تعصب متعارف کرا سکتا ہے، ڈیٹا کو سنبھالنا اور تجزیہ کرنا زیادہ مشکل بنا سکتا ہے، اور کارکردگی میں کمی پیدا کر سکتا ہے۔ چونکہ گمشدہ ڈیٹا ڈیٹا کے تجزیے کے لیے مسائل پیدا کر سکتا ہے، امپوٹیشن کو ان معاملات کی فہرست کے لحاظ سے حذف کرنے سے متعلق نقصانات سے بچنے کے ایک طریقے کے طور پر دیکھا جاتا ہے جن کی اقدار غائب ہیں۔ یعنی، جب کسی معاملے کے لیے ایک یا زیادہ اقدار غائب ہوتی ہیں، تو زیادہ تر شماریاتی پیکیجز کسی بھی ایسے معاملے کو خارج کرنے کے لیے ڈیفالٹ ہوتے ہیں جس کی گمشدہ قیمت ہو، جو تعصب کو متعارف کر سکتا ہے یا نتائج کی نمائندگی کو متاثر کر سکتا ہے۔ امپوٹیشن گمشدہ ڈیٹا کو دیگر دستیاب معلومات کی بنیاد پر تخمینہ شدہ قیمت کے ساتھ تبدیل کرکے تمام معاملات کو محفوظ رکھتا ہے۔ ایک بار تمام گمشدہ اقدار کا تعین ہو جانے کے بعد، ڈیٹا سیٹ کا تجزیہ مکمل ڈیٹا کے لیے معیاری تکنیکوں کا استعمال کرتے ہوئے کیا جا سکتا ہے۔ سائنس دانوں نے گمشدہ اعداد و شمار کا حساب لگانے کے لیے بہت سے نظریات کو قبول کیا ہے لیکن ان میں سے اکثریت تعصب کو متعارف کراتی ہے۔ گمشدہ ڈیٹا سے نمٹنے کی چند معروف کوششوں میں شامل ہیں: ہاٹ ڈیک اور کولڈ ڈیک امپوٹیشن ؛ فہرست کے لحاظ سے اور جوڑی کے لحاظ سے حذف کرنا ؛ مطلب امپوٹیشن ؛ غیر منفی میٹرکس فیکٹرائزیشن ؛ رجعت امپوٹیشن ؛ آخری مشاہدہ آگے بڑھایا گیا ؛ اسٹاکسٹک امپوٹیشن ؛ اور متعدد امپوٹیشن۔ فہرست کے لحاظ سے (مکمل کیس) حذف کرنا اب تک، گمشدہ ڈیٹا سے نمٹنے کا سب سے عام ذریعہ فہرست کے لحاظ سے حذف کرنا ہے (جسے مکمل کیس بھی کہا جاتا ہے)، جو اس وقت ہوتا ہے جب گمشدہ قیمت والے تمام معاملات کو حذف کر دیا جاتا ہے۔ اگر اعداد و شمار بے ترتیب طور پر مکمل طور پر غائب ہیں، تو فہرست کے لحاظ سے حذف کرنے سے کوئی تعصب شامل نہیں ہوتا ہے، لیکن یہ موثر نمونے کے سائز کو کم کرکے تجزیہ کی طاقت کو کم کرتا ہے۔ مثال کے طور پر، اگر 1000 کیس جمع کیے جاتے ہیں لیکن 80 میں ویلیوز غائب ہیں، تو فہرست کے لحاظ سے حذف کرنے کے بعد مؤثر نمونے کا سائز 920 ہے۔ اگر معاملات تصادفی طور پر مکمل طور پر غائب نہیں ہوتے ہیں، تو فہرست کے لحاظ سے حذف کرنا تعصب کو متعارف کرائے گا کیونکہ گمشدہ اعداد و شمار کی نمائندگی کرنے والے معاملات کا ذیلی نمونہ اصل نمونے کا نمائندہ نہیں ہے (اور اگر اصل نمونہ خود آبادی کا نمائندہ نمونہ تھا، تو مکمل معاملات بھی اس آبادی کے نمائندہ نہیں ہیں)۔ جب گمشدہ ڈیٹا بے ترتیب طور پر مکمل طور پر غائب ہوتا ہے تو فہرست کے لحاظ سے حذف کرنا غیر جانبدار ہوتا ہے، لیکن حقیقت میں ایسا شاذ و نادر ہی ہوتا ہے۔ جوڑی کے لحاظ سے حذف کرنا (یا "دستیاب کیس تجزیہ") میں کسی کیس کو حذف کرنا شامل ہوتا ہے جب اس میں کسی خاص تجزیے کے لیے درکار متغیر غائب ہو، لیکن اس کیس کو تجزیہ میں شامل کرنا جس کے لیے تمام مطلوبہ متغیرات موجود ہوں۔ جب جوڑی کے لحاظ سے حذف کرنے کا استعمال کیا جاتا ہے، تو تجزیہ کے لیے کل N پیرامیٹر کے تخمینوں میں مستقل نہیں ہوگا۔ وقت کے کچھ نکات پر نامکمل N اقدار کی وجہ سے، دوسرے پیرامیٹرز کے لیے مکمل کیس کا موازنہ برقرار رکھتے ہوئے، جوڑی کے لحاظ سے حذف کرنا ناممکن ریاضیاتی حالات متعارف کرا سکتا ہے جیسے کہ ارتباط جو 100% سے زیادہ ہیں۔ دوسرے طریقوں کے مقابلے میں مکمل کیس حذف کرنے کا ایک فائدہ یہ ہے کہ یہ سیدھا اور لاگو کرنے میں آسان ہے۔ یہ ایک بڑی وجہ ہے کہ اس کے بہت سے نقصانات کے باوجود گمشدہ ڈیٹا کو سنبھالنے کا سب سے مقبول طریقہ مکمل کیس ہے۔ سنگل امپوٹیشن ہاٹ ڈیک امپوٹیشن کا ایک بار عام طریقہ ہاٹ ڈیک امپوٹیشن تھا جہاں تصادفی طور پر منتخب کردہ اسی طرح کے ریکارڈ سے ایک گمشدہ قیمت عائد کی گئی تھی۔ "ہاٹ ڈیک" کی اصطلاح پنچڈ کارڈز پر ڈیٹا کے اسٹوریج سے ملتی ہے، اور اس بات کی نشاندہی کرتی ہے کہ معلومات دینے والے اسی ڈیٹا سیٹ سے آتے ہیں جو وصول کنندگان کرتے ہیں۔ کارڈز کا ڈھیر "گرم" تھا کیونکہ اس پر فی الحال کارروائی کی جا رہی تھی۔ ہاٹ ڈیک امپوٹیشن کی ایک شکل کو "آخری مشاہدہ آگے بڑھایا گیا" (یا مختصر طور پر ایل او سی ایف) کہا جاتا ہے، جس میں ڈیٹا سیٹ کو متعدد متغیرات میں سے کسی کے مطابق ترتیب دینا شامل ہوتا ہے، اس طرح ایک ترتیب شدہ ڈیٹا سیٹ تیار ہوتا ہے۔ اس کے بعد تکنیک پہلی گمشدہ قیمت کو تلاش کرتی ہے اور گمشدہ قیمت کو ظاہر کرنے کے لیے گمشدہ ڈیٹا سے فورا پہلے سیل ویلیو کا استعمال کرتی ہے۔ یہ عمل اگلے سیل کے لیے ایک گمشدہ قیمت کے ساتھ اس وقت تک دہرایا جاتا ہے جب تک کہ تمام گمشدہ اقدار کا تعین نہ ہو جائے۔ عام منظر نامے میں جس میں معاملات کسی شخص یا دوسرے وجود کے لیے متغیر کی بار بار پیمائش ہوتے ہیں، یہ اس عقیدے کی نمائندگی کرتا ہے کہ اگر کوئی پیمائش غائب ہے، تو بہترین اندازہ یہ ہے کہ یہ آخری بار پیمائش کی گئی تھی اس سے تبدیل نہیں ہوا ہے۔ یہ طریقہ تعصب میں اضافے اور ممکنہ طور پر غلط نتائج کے خطرے کو بڑھانے کے لیے جانا جاتا ہے۔ اس وجہ سے استعمال کے لیے ایل او سی ایف کی سفارش نہیں کی جاتی ہے۔ کولڈ ڈیک کولڈ ڈیک امپوٹیشن، اس کے برعکس، دوسرے ڈیٹا سیٹ سے عطیہ دہندگان کا انتخاب کرتا ہے۔ کمپیوٹر پاور میں پیشرفت کی وجہ سے، امپوٹیشن کے زیادہ نفیس طریقوں نے عام طور پر اصل بے ترتیب اور ترتیب شدہ ہاٹ ڈیک امپوٹیشن تکنیک کو پیچھے چھوڑ دیا ہے۔ یہ ماضی کے سروے میں اسی طرح کی اشیاء کی رسپانس ویلیوز کے ساتھ تبدیل کرنے کا ایک طریقہ ہے۔ یہ ان سروے میں دستیاب ہے جو وقت کے وقفوں کی پیمائش کرتے ہیں۔ اوسط متبادل ایک اور امپوٹیشن تکنیک میں کسی بھی گمشدہ قدر کو دوسرے تمام معاملات کے لیے اس متغیر کے اوسط سے تبدیل کرنا شامل ہے، جس سے اس متغیر کے لیے نمونے کے اوسط کو تبدیل نہ کرنے کا فائدہ ہوتا ہے۔ تاہم، اوسط امپوٹیشن متغیر (متغیرات) پر مشتمل کسی بھی ارتباط کو کم کرتا ہے۔ اس کی وجہ یہ ہے کہ، امپوٹیشن کے معاملات میں، اس بات کی ضمانت ہے کہ امپوٹیڈ متغیر اور کسی دوسرے ماپا متغیر کے درمیان کوئی تعلق نہیں ہے۔ اس طرح، اوسط امپوٹیشن میں غیر متغیر تجزیہ کے لیے کچھ پرکشش خصوصیات ہیں لیکن کثیر متغیر تجزیہ کے لیے پریشانی کا باعث بن جاتی ہیں۔ اوسط امپوٹیشن کلاسوں کے اندر کیا جا سکتا ہے (یعنی۔ زمرہ جات جیسے جنس)، اور اس کا اظہار اس طرح کیا جا سکتا ہے کہ ریکارڈ کے لیے عائد کردہ قیمت کہاں ہے اور یہ کسی کلاس کے اندر جواب دہندہ کے ڈیٹا کا نمونہ اوسط ہے۔ یہ جنرلائزڈ ریگریشن امپوٹیشن کا ایک خاص معاملہ ہے: یہاں اقدار کا تخمینہ غیر امپوٹڈ ڈیٹا میں ریگریس کرنے سے لگایا جاتا ہے، کلاس کی رکنیت کے لیے ایک ڈمی متغیر ہے، اور ڈیٹا کو ریسپونڈنٹ () اور مسنگ () میں تقسیم کیا جاتا ہے۔ نان نیگیٹیو میٹرکس فیکٹرائزیشن (این ایم ایف) ان گمشدہ ڈیٹا کو صفر کے طور پر استعمال کرنے کے بجائے اس کی لاگت کی تقریب کو کم کرتے ہوئے گمشدہ ڈیٹا کو لے سکتا ہے جو تعصبات متعارف کرا سکتا ہے۔ یہ اسے ڈیٹا امپوٹیشن کے لیے ریاضیاتی طور پر ثابت شدہ طریقہ بناتا ہے۔ این ایم ایف لاگت کی تقریب میں گمشدہ ڈیٹا کو نظر انداز کر سکتا ہے، اور گمشدہ ڈیٹا کا اثر دوسرے آرڈر کے اثر جتنا چھوٹا ہو سکتا ہے۔ ریگریشن ریگریشن امپوٹیشن میں اوسط امپوٹیشن کا الٹا مسئلہ ہے۔ ایک رجعت ماڈل کا تخمینہ دوسرے متغیرات کی بنیاد پر متغیر کی مشاہدہ شدہ اقدار کی پیش گوئی کرنے کے لیے لگایا جاتا ہے، اور اس ماڈل کو پھر ان صورتوں میں اقدار کو مسلط کرنے کے لیے استعمال کیا جاتا ہے جہاں اس متغیر کی قیمت غائب ہے۔ دوسرے لفظوں میں، مکمل اور نامکمل معاملات کے لیے دستیاب معلومات کا استعمال کسی مخصوص متغیر کی قیمت کی پیش گوئی کے لیے کیا جاتا ہے۔ ریگریشن ماڈل سے فٹ شدہ اقدار کو پھر گمشدہ اقدار کو مسلط کرنے کے لیے استعمال کیا جاتا ہے۔ مسئلہ یہ ہے کہ لگائے گئے ڈیٹا میں ان کے تخمینے میں کوئی غلطی کی اصطلاح شامل نہیں ہے، اس طرح تخمینے بغیر کسی بقایا تغیر کے رجعت لائن کے ساتھ بالکل فٹ ہوجاتے ہیں۔ یہ رشتوں کی حد سے زیادہ شناخت کا سبب بنتا ہے اور عائد کردہ اقدار میں اس سے زیادہ درستگی کا مشورہ دیتا ہے جس کی ضرورت ہوتی ہے۔ رجعت ماڈل گمشدہ ڈیٹا کی سب سے زیادہ ممکنہ قیمت کی پیش گوئی کرتا ہے لیکن اس قیمت کے بارے میں غیر یقینی صورتحال فراہم نہیں کرتا ہے۔ اسٹوکاسٹک ریگریشن غلطی کو متعارف کرانے کے لیے ریگریشن امپوٹیشن میں اوسط ریگریشن تغیر کو شامل کرکے ریگریشن امپوٹیشن میں غلطی کی اصطلاح کی کمی کو درست کرنے کی کافی کامیاب کوشش تھی۔ اسٹوکاسٹک ریگریشن مذکورہ بالا تکنیکوں کے مقابلے میں بہت کم تعصب ظاہر کرتا ہے، لیکن اس کے باوجود ایک چیز چھوٹ گئی-اگر ڈیٹا لگایا جاتا ہے تو بدیہی طور پر کوئی یہ سوچے گا کہ مسئلے میں سادہ بقایا تغیر سے زیادہ شور متعارف کرایا جانا چاہیے۔ متعدد امپوٹیشن امپوٹیشن کی وجہ سے بڑھتے ہوئے شور کے مسئلے سے نمٹنے کے لیے، روبن (1987) نے متعدد امپوٹیڈ ڈیٹا سیٹوں میں نتائج کی اوسط کے لیے ایک طریقہ تیار کیا۔ تمام متعدد امپوٹیشن کے طریقے تین مراحل پر عمل کرتے ہیں۔ امپوٹیشن-واحد امپوٹیشن کی طرح، گمشدہ اقدار کو امپوٹ کیا جاتا ہے۔ تاہم، عائد کردہ اقدار کو صرف ایک بار کے بجائے تقسیم سے m بار کھینچا جاتا ہے۔ اس مرحلے کے اختتام پر، m مکمل ڈیٹا سیٹس ہونے چاہئیں۔ تجزیہ-m ڈیٹا سیٹس میں سے ہر ایک کا تجزیہ کیا جاتا ہے۔ اس مرحلے کے اختتام پر m تجزیہ ہونا چاہیے۔ پولنگ-ایم کے نتائج کو تشویش کے متغیر کے اوسط، تغیر، اور اعتماد کے وقفے کا حساب لگا کر یا ہر الگ ماڈل سے تخروپن کو جوڑ کر ایک نتیجہ میں مستحکم کیا جاتا ہے۔ متعدد امپوٹیشن ان صورتوں میں استعمال کیا جا سکتا ہے جہاں ڈیٹا بے ترتیب طور پر مکمل طور پر غائب ہو، بے ترتیب طور پر غائب ہو، اور بے ترتیب طور پر غائب نہ ہو، حالانکہ یہ مؤخر الذکر کے معاملے میں متعصبانہ ہو سکتا ہے۔ ایک نقطہ نظر جکڑے ہوئے مساوات (MICE) کے ذریعہ متعدد امپوٹیشن ہے، جسے "مکمل طور پر مشروط تفصیلات" اور "ترتیب وار رجعت متعدد امپوٹیشن" بھی کہا جاتا ہے۔ MICE بے ترتیب ڈیٹا پر غائب ہونے کے لیے ڈیزائن کیا گیا ہے، حالانکہ اس بات کا اشارہ کرنے کے لیے تخروپن ثبوت موجود ہیں کہ کافی تعداد میں معاون متغیرات کے ساتھ یہ ان ڈیٹا پر بھی کام کر سکتا ہے جو بے ترتیب طور پر غائب نہیں ہیں۔ تاہم، MICE کارکردگی کے مسائل کا شکار ہو سکتا ہے جب مشاہدے کی تعداد زیادہ ہو اور اعداد و شمار میں پیچیدہ خصوصیات ہوں، جیسے کہ غیر لکیری اور اعلی جہتی۔ متعدد امپوٹیشن کے حالیہ نقطہ نظر اس کی کارکردگی کو بہتر بنانے کے لیے مشین لرننگ کی تکنیکوں کا استعمال کرتے ہیں۔ مثال کے طور پر، MIDAS (ملٹیپل امپوٹیشن ود ڈینوائزنگ آٹوئنکوڈرز) مشاہدہ شدہ ڈیٹا کی باریک دانے والی پوشیدہ نمائندگی سیکھنے کے لیے ڈینوائزنگ آٹوئنکوڈرز کا استعمال کرتا ہے، جو کہ ایک قسم کا غیر نگرانی شدہ نیورل نیٹ ورک ہے۔ MIDAS کو روایتی متعدد امپوٹیشن حکمت عملیوں کے مقابلے میں درستگی اور کارکردگی کے فوائد فراہم کرنے کے لیے دکھایا گیا ہے۔ جیسا کہ پچھلے حصے میں اشارہ کیا گیا ہے، واحد امپوٹیشن امپوٹیشن میں غیر یقینی صورتحال کو مدنظر نہیں رکھتا ہے۔ امپوٹیشن کے بعد، اعداد و شمار کے ساتھ ایسا سلوک کیا جاتا ہے جیسے وہ واحد امپوٹیشن میں اصل حقیقی اقدار ہوں۔ الزام میں غیر یقینی کی لاپرواہی کسی بھی نتیجے پر پہنچنے میں حد سے زیادہ درست نتائج اور غلطیوں کا باعث بن سکتی ہے۔ متعدد بار الزام لگانے سے، متعدد الزام ان غیر یقینی صورتحال اور اقدار کی حد کا سبب بنتے ہیں جو حقیقی قدر لے سکتی تھی۔ جیسا کہ توقع کی جاتی ہے، غیر یقینی تخمینہ اور امپوٹیشن کے لیے گہری تعلیم دونوں کا امتزاج بہترین حکمت عملیوں میں سے ایک ہے اور اسے متنوع منشیات کی دریافت کے اعداد و شمار کو ماڈل بنانے کے لیے استعمال کیا گیا ہے۔ مزید برآں، اگرچہ سنگل امپوٹیشن اور مکمل کیس کو نافذ کرنا آسان ہے، لیکن ایک سے زیادہ امپوٹیشن کو نافذ کرنا زیادہ مشکل نہیں ہے۔ مختلف شماریاتی سافٹ ویئر میں شماریاتی پیکجوں کی ایک وسیع رینج ہے جو آسانی سے متعدد امپوٹیشن انجام دیتی ہے۔ مثال کے طور پر، MICE پیکیج R میں صارفین کو MICE طریقہ کار کا استعمال کرتے ہوئے متعدد امپوٹیشن انجام دینے کی اجازت دیتا ہے۔ MIDAS کو R میں rMIDAS پیکیج کے ساتھ اور ازگر میں MIDASpy پیکیج کے ساتھ لاگو کیا جا سکتا ہے۔ بوٹ اسٹریپنگ (اعدادوشمار) سنسرنگ (اعدادوشمار) توقع-زیادہ سے زیادہ الگورتھم جیو امپوٹیشن انٹرپولیشن میٹرکس تکمیل مکمل معلومات زیادہ سے زیادہ امکانات حوالہ جات بیرونی لنکس گمشدہ ڈیٹا: انسٹرومنٹ لیول ہیفلمپس اور آئٹم لیول ووزل Multiple-imputation.com متعدد امپوٹیشن عمومی سوالات، پین اسٹیٹ یو اے شماریات فن لینڈ سے ہاٹ ڈیک امپوٹیشن کی تفصیل بھی دیکھیں۔ کاغذ راؤ-شاؤ کے نقطہ نظر کو بڑھاتا ہے اور متعدد الزامات کے ساتھ مسائل پر تبادلہ خیال کرتا ہے۔ پیپر فجی ان آرڈرڈ رولز انڈکشن الگورتھم حقیقی کارڈیو ویسکولر ڈیٹا پر کے-مین کلسٹرنگ کے لیے مسنگ ویلیو امپوٹیشن طریقوں کے طور پر استعمال ہوتا ہے۔ یوکے آفس آف نیشنل سٹیٹسٹکس مسنگ ڈیٹا کوڈنگ شماریاتی ڈیٹا ٹرانسفارمیشن کے ذریعہ امپوٹیشن کا حقیقی دنیا کا اطلاق