Random forest
بے ترتیب جنگلات یا بے ترتیب فیصلہ جنگلات درجہ بندی، رجعت اور دیگر کاموں کے لیے سیکھنے کا ایک جامع طریقہ ہے جو تربیت کے وقت فیصلہ کن درختوں کی ایک بڑی تعداد بنا کر کام کرتا ہے۔ درجہ بندی کے کاموں کے لیے، بے ترتیب جنگل کی پیداوار وہ کلاس ہے جسے زیادہ تر درختوں نے منتخب کیا ہے۔ رجعت کے کاموں کے لیے، انفرادی درختوں کی اوسط یا اوسط پیشن گوئی واپس کی جاتی ہے۔ بے ترتیب فیصلہ جنگلات فیصلہ کرنے والے درختوں کی ان کے تربیتی سیٹ سے زیادہ فٹ ہونے کی عادت کے لیے درست ہیں۔ بے ترتیب جنگلات عام طور پر فیصلہ کن درختوں سے بہتر کارکردگی کا مظاہرہ کرتے ہیں، لیکن ان کی درستگی میلان والے بڑھے ہوئے درختوں سے کم ہوتی ہے۔ تاہم، ڈیٹا کی خصوصیات ان کی کارکردگی کو متاثر کر سکتی ہیں۔ بے ترتیب فیصلہ جنگلات کے لیے پہلا الگورتھم 1995 میں ٹن کام ہو نے بے ترتیب سب اسپیس طریقہ استعمال کرتے ہوئے بنایا تھا، جو ہو کی تشکیل میں، یوجین کلینبرگ کی تجویز کردہ درجہ بندی کے لیے "اسٹاکسٹک امتیازی سلوک" کے نقطہ نظر کو نافذ کرنے کا ایک طریقہ ہے۔ الگورتھم کی توسیع لیو بریمن اور ایڈیل کٹلر نے تیار کی تھی، جنہوں نے 2006 میں "رینڈم فاریسٹ" کو ٹریڈ مارک کے طور پر رجسٹر کیا تھا (، منی ٹیب، انکارپوریٹڈ کی ملکیت)۔ توسیع بریمن کے "بیگنگ" خیال اور خصوصیات کے بے ترتیب انتخاب کو یکجا کرتی ہے، جسے پہلے ہو نے اور بعد میں آزادانہ طور پر امیت اور جیمن نے متعارف کرایا تاکہ کنٹرول شدہ تغیر کے ساتھ فیصلہ کن درختوں کا مجموعہ بنایا جا سکے۔ تاریخ بے ترتیب فیصلہ جنگلات کا عمومی طریقہ پہلی بار ہو نے 1995 میں تجویز کیا تھا۔ ہو نے قائم کیا کہ عمودی ہائپرپلین کے ساتھ تقسیم ہونے والے درختوں کے جنگلات درستگی حاصل کر سکتے ہیں کیونکہ وہ زیادہ تربیت کے بغیر بڑھتے ہیں، جب تک کہ جنگلات تصادفی طور پر صرف منتخب خصوصیت کے طول و عرض کے لیے حساس ہونے تک محدود ہوں۔ اسی خطوط پر ایک بعد کے کام نے یہ نتیجہ اخذ کیا کہ تقسیم کرنے کے دوسرے طریقے اسی طرح کا برتاؤ کرتے ہیں، جب تک کہ وہ تصادفی طور پر کچھ خصوصیت کے طول و عرض کے لیے بے حس ہونے پر مجبور ہوں۔ نوٹ کریں کہ زیادہ پیچیدہ درجہ بندی کرنے والے (ایک بڑے جنگل) کا یہ مشاہدہ تقریبا یکسانیت کے لحاظ سے زیادہ درست ہونا اس عام عقیدے کے بالکل برعکس ہے کہ درجہ بندی کرنے والے کی پیچیدگی زیادہ فٹ ہونے سے زخمی ہونے سے پہلے صرف ایک خاص سطح کی درستگی تک بڑھ سکتی ہے۔ جنگل کے طریقہ کار کی حد سے زیادہ تربیت کے خلاف مزاحمت کی وضاحت کلینبرگ کے اسٹاکسٹک امتیازی سلوک کے نظریہ میں مل سکتی ہے۔ بے ترتیب جنگلات کے بارے میں بریمن کے تصور کی ابتدائی ترقی امیت اور گیمن کے کام سے متاثر تھی جنہوں نے ایک ہی درخت کو اگانے کے تناظر میں نوڈ کو تقسیم کرتے وقت دستیاب فیصلوں کے بے ترتیب ذیلی سیٹ پر تلاش کرنے کا خیال متعارف کرایا۔ ہو سے بے ترتیب ذیلی جگہ کے انتخاب کا خیال بے ترتیب جنگلات کے ڈیزائن میں بھی بااثر تھا۔ اس طریقہ کار میں درختوں کا جنگل اگایا جاتا ہے، اور ہر درخت یا ہر نوڈ کو فٹ کرنے سے پہلے بے ترتیب طور پر منتخب کردہ ذیلی جگہ میں تربیتی ڈیٹا کو پیش کرکے درختوں کے درمیان تغیر کو متعارف کرایا جاتا ہے۔ آخر میں، بے ترتیب نوڈ اصلاح کا خیال، جہاں ہر نوڈ پر فیصلہ ایک بے ترتیب طریقہ کار کے ذریعے منتخب کیا جاتا ہے، بجائے اس کے کہ ایک تعیناتی اصلاح سب سے پہلے تھامس جی ڈائیٹریچ نے متعارف کرایا تھا۔ بے ترتیب جنگلات کا مناسب تعارف لیو بریمن نے ایک مقالے میں کیا تھا۔ یہ مقالہ بے ترتیب نوڈ آپٹیمائزیشن اور بیگنگ کے ساتھ مل کر کارٹ جیسے طریقہ کار کا استعمال کرتے ہوئے غیر متعلقہ درختوں کے جنگل کی تعمیر کے طریقہ کار کو بیان کرتا ہے۔ اس کے علاوہ، یہ مقالہ کئی اجزاء کو یکجا کرتا ہے، جن میں سے کچھ پہلے سے معلوم اور کچھ ناول ہیں، جو بے ترتیب جنگلات کے جدید عمل کی بنیاد بناتے ہیں، خاص طور پر: عام کرنے کی غلطی کے تخمینے کے طور پر بیگ سے باہر کی غلطی کا استعمال کرنا۔ ترتیب کے ذریعے متغیر اہمیت کی پیمائش کرنا۔ رپورٹ میں بے ترتیب جنگلات کے لیے پہلا نظریاتی نتیجہ بھی پیش کیا گیا ہے جو عمومی غلطی پر باؤنڈ کی شکل میں ہے جو جنگل میں درختوں کی طاقت اور ان کے ارتباط پر منحصر ہے۔ الگورتھم ابتدائی: فیصلہ ٹری سیکھنا فیصلہ ٹری مختلف مشین لرننگ کاموں کے لیے ایک مقبول طریقہ ہے۔ ہسٹی اور دیگر کہتے ہیں کہ ٹری لرننگ "ڈیٹا مائننگ کے لیے آف دی شیلف طریقہ کار کے طور پر کام کرنے کی ضروریات کو پورا کرنے کے قریب آتی ہے"، کیونکہ یہ اسکیلنگ اور فیچر ویلیوز کی مختلف دیگر تبدیلیوں کے تحت غیر متغیر ہے، غیر متعلقہ خصوصیات کو شامل کرنے کے لیے مضبوط ہے، اور معائنہ کے قابل ماڈل تیار کرتا ہے۔ تاہم، وہ شاذ و نادر ہی درست ہوتے ہیں۔ " خاص طور پر، جو درخت بہت گہرائی میں اگائے جاتے ہیں وہ انتہائی بے قاعدہ نمونوں کو سیکھتے ہیں: وہ اپنے تربیتی سیٹوں کو زیادہ فٹ کرتے ہیں، یعنی۔ کم تعصب ہے، لیکن بہت زیادہ تغیر ہے۔ بے ترتیب جنگلات متعدد گہرے فیصلہ کن درختوں کو اوسط کرنے کا ایک طریقہ ہے، جنہیں ایک ہی تربیتی سیٹ کے مختلف حصوں پر تربیت دی جاتی ہے، جس کا مقصد تغیر کو کم کرنا ہے۔ یہ تعصب میں ایک چھوٹے سے اضافے اور تشریح کے کچھ نقصان کی قیمت پر آتا ہے، لیکن عام طور پر حتمی ماڈل میں کارکردگی کو بہت زیادہ فروغ دیتا ہے۔ بیگنگ بے ترتیب جنگلات کے لیے تربیتی الگورتھم ٹری سیکھنے والوں پر بوٹسٹریپ ایگریگیٹنگ، یا بیگنگ کی عمومی تکنیک کا اطلاق کرتا ہے۔ ایک ٹریننگ سیٹ کو دیکھتے ہوئے =،، جوابات کے ساتھ =،..، بار بار بیگ کرنا (بی بار) ٹریننگ سیٹ کے متبادل کے ساتھ ایک بے ترتیب نمونے کا انتخاب کرتا ہے اور ان نمونوں میں درختوں کو فٹ کرتا ہے: کے لیے = 1،.،: نمونہ، متبادل کے ساتھ، ٹریننگ کی مثالوں سے، ؛ انہیں کال کریں،۔ درجہ بندی یا رجعت کے درخت کو اس پر تربیت دیں۔ تربیت کے بعد، غیر مرئی نمونوں کی پیش گوئیاں تمام انفرادی رجعت کے درختوں کی پیش گوئیوں کو اوسط بنا کر یا درجہ بندی کے درختوں کے معاملے میں کثرت کا ووٹ لے کر کی جا سکتی ہیں۔ یہ بوٹ اسٹریپنگ طریقہ کار ماڈل کی بہتر کارکردگی کا باعث بنتا ہے کیونکہ یہ تعصب کو بڑھائے بغیر ماڈل کے تغیر کو کم کرتا ہے۔ اس کا مطلب یہ ہے کہ اگرچہ کسی ایک درخت کی پیش گوئیاں اس کے تربیتی سیٹ میں شور کے لیے انتہائی حساس ہوتی ہیں، لیکن بہت سے درختوں کی اوسط نہیں ہوتی، جب تک کہ درختوں کا باہمی تعلق نہ ہو۔ بس ایک ہی ٹریننگ سیٹ پر بہت سے درختوں کی تربیت دینے سے مضبوط طور پر مربوط درخت ملیں گے (یا یہاں تک کہ ایک ہی درخت کئی بار، اگر ٹریننگ الگورتھم متعین ہے) ؛ بوٹسٹریپ سیمپلنگ درختوں کو مختلف ٹریننگ سیٹ دکھا کر ان سے منقطع کرنے کا ایک طریقہ ہے۔ مزید برآں، پیشن گوئی کی غیر یقینی کا تخمینہ تمام انفرادی رجعت کے درختوں سے پیش گوئیوں کے معیاری انحراف کے طور پر کیا جا سکتا ہے: نمونوں/درختوں کی تعداد، ایک آزاد پیمانہ ہے۔ عام طور پر، ٹریننگ سیٹ کے سائز اور نوعیت کے لحاظ سے چند سو سے کئی ہزار درخت استعمال کیے جاتے ہیں۔ کراس توثیق کا استعمال کرتے ہوئے، یا بیگ سے باہر کی غلطی کا مشاہدہ کرکے درختوں کی زیادہ سے زیادہ تعداد پائی جا سکتی ہے: ہر تربیتی نمونے پر اوسط پیشن گوئی کی غلطی، صرف ان درختوں کا استعمال کرتے ہوئے جو ان کے بوٹسٹریپ نمونے میں نہیں تھے۔ تربیت اور جانچ کی غلطی کچھ درختوں کے فٹ ہونے کے بعد برابر ہو جاتی ہے۔ بیگنگ سے لے کر بے ترتیب جنگلات تک مذکورہ طریقہ کار درختوں کے لیے اصل بیگنگ الگورتھم کی وضاحت کرتا ہے۔ بے ترتیب جنگلات میں ایک اور قسم کی بیگنگ اسکیم بھی شامل ہے: وہ ایک ترمیم شدہ ٹری لرننگ الگورتھم کا استعمال کرتے ہیں جو سیکھنے کے عمل میں ہر امیدوار کے تقسیم ہونے پر، خصوصیات کا ایک بے ترتیب ذیلی مجموعہ منتخب کرتا ہے۔ اس عمل کو بعض اوقات "فیچر بیگنگ" کہا جاتا ہے۔ ایسا کرنے کی وجہ ایک عام بوٹسٹریپ نمونے میں درختوں کا ارتباط ہے: اگر ایک یا چند خصوصیات رسپانس متغیر (ٹارگٹ آؤٹ پٹ) کے لیے بہت مضبوط پیشن گوئی کرنے والی ہیں، تو ان خصوصیات کو بہت سے درختوں میں منتخب کیا جائے گا، جس کی وجہ سے وہ باہمی تعلق رکھتے ہیں۔ اس بات کا تجزیہ ہو کی طرف سے دیا گیا ہے کہ کس طرح بیگنگ اور بے ترتیب سب اسپیس پروجیکشن مختلف حالات میں درستگی کے فوائد میں حصہ ڈالتے ہیں۔ عام طور پر، خصوصیات کے ساتھ درجہ بندی کے مسئلے کے لیے، (گول نیچے) خصوصیات ہر تقسیم میں استعمال کی جاتی ہیں۔ رجعت کے مسائل کے لیے موجد ڈیفالٹ کے طور پر 5 کے کم از کم نوڈ سائز کے ساتھ (گول نیچے) تجویز کرتے ہیں۔ عملی طور پر، ان پیرامیٹرز کے لیے بہترین اقدار کو ہر مسئلے کے لیے کیس ٹو کیس کی بنیاد پر ترتیب دیا جانا چاہیے۔ اضافی درخت بے ترتیب کاری کا ایک اور قدم جوڑنے سے انتہائی بے ترتیب درخت، یا اضافی درخت پیدا ہوتے ہیں۔ اگرچہ عام بے ترتیب جنگلات کی طرح یہ کہ وہ انفرادی درختوں کا ایک مجموعہ ہیں، اس میں دو اہم فرق ہیں: پہلا، ہر درخت کو سیکھنے کے پورے نمونے (بوٹسٹریپ نمونے کے بجائے) کا استعمال کرتے ہوئے تربیت دی جاتی ہے، اور دوسرا، درخت سیکھنے والے میں اوپر سے نیچے کی تقسیم کو بے ترتیب کیا جاتا ہے۔ زیر غور ہر خصوصیت کے لیے مقامی طور پر بہترین کٹ پوائنٹ کا حساب لگانے کے بجائے (مثال کے طور پر، معلومات کے حصول یا گنی کی نجاست پر مبنی)، ایک بے ترتیب کٹ پوائنٹ کا انتخاب کیا جاتا ہے۔ یہ قدر خصوصیت کی تجرباتی حد (درخت کے تربیتی سیٹ میں) کے اندر یکساں تقسیم سے منتخب کی جاتی ہے۔ پھر، بے ترتیب طور پر پیدا ہونے والی تمام تقسیموں میں سے، وہ تقسیم جو سب سے زیادہ اسکور دیتی ہے، نوڈ کو تقسیم کرنے کے لیے منتخب کی جاتی ہے۔ عام بے ترتیب جنگلات کی طرح، ہر نوڈ پر بے ترتیب طور پر منتخب کردہ خصوصیات کی تعداد متعین کی جا سکتی ہے۔ اس پیرامیٹر کے لیے ڈیفالٹ ویلیوز درجہ بندی اور رجعت کے لیے ہیں، ماڈل میں خصوصیات کی تعداد کہاں ہے۔ اعلی جہتی اعداد و شمار کے لیے بے ترتیب جنگلات بنیادی بے ترتیب جنگلات کا طریقہ کار ان حالات میں اچھی طرح سے کام نہیں کر سکتا ہے جہاں خصوصیات کی ایک بڑی تعداد موجود ہے لیکن نمونے کی درجہ بندی کے حوالے سے ان خصوصیات کا صرف ایک چھوٹا تناسب معلوماتی ہے۔ بنیادی طور پر ان خصوصیات اور درختوں پر توجہ مرکوز کرنے کے طریقہ کار کی حوصلہ افزائی کرکے اس سے نمٹا جا سکتا ہے جو معلوماتی ہیں۔ اس کو پورا کرنے کے کچھ طریقے یہ ہیں:-پری فلٹرنگ: ان خصوصیات کو ختم کریں جو زیادہ تر صرف شور ہیں۔ - افزودہ بے ترتیب جنگل (ای آر ایف): ہر درخت کے ہر نوڈ پر سادہ بے ترتیب نمونے لینے کے بجائے وزن والے بے ترتیب نمونے لینے کا استعمال کریں، جس سے ان خصوصیات کو زیادہ وزن ملے گا جو زیادہ معلوماتی دکھائی دیتی ہیں۔ ٹری ویٹڈ رینڈم فاریسٹ (ٹی ڈبلیو آر ایف): وزن والے درخت تاکہ بہتر درستگی کا مظاہرہ کرنے والے درختوں کو زیادہ وزن تفویض کیا جائے۔ متغیر اہمیت بے ترتیب جنگلات کو قدرتی طریقے سے رجعت یا درجہ بندی کے مسئلے میں متغیرات کی اہمیت کی درجہ بندی کے لیے استعمال کیا جا سکتا ہے۔ مندرجہ ذیل تکنیک کو بریمن کے اصل مقالے میں بیان کیا گیا تھا اور اسے آر پیکیج رینڈم فاریسٹ میں لاگو کیا گیا ہے۔ تعدد کی اہمیت ڈیٹا سیٹ میں متغیر اہمیت کی پیمائش کرنے کا پہلا قدم بے ترتیب جنگل کو ڈیٹا میں فٹ کرنا ہے۔ فٹنگ کے عمل کے دوران ہر ڈیٹا پوائنٹ کے لیے بیگ سے باہر کی غلطی ریکارڈ کی جاتی ہے اور جنگل کے اوپر اوسط کی جاتی ہے (اگر تربیت کے دوران بیگنگ کا استعمال نہیں کیا جاتا ہے تو آزاد ٹیسٹ سیٹ پر غلطیوں کو تبدیل کیا جا سکتا ہے)۔ تربیت کے بعد-th خصوصیت کی اہمیت کی پیمائش کرنے کے لیے،-th خصوصیت کی اقدار کو بیگ سے باہر کے نمونوں میں پرموٹ کیا جاتا ہے اور اس پریشان ڈیٹا سیٹ پر بیگ سے باہر کی غلطی کا دوبارہ حساب لگایا جاتا ہے۔ - th خصوصیت کے لیے اہمیت کا اسکور تمام درختوں پر ترتیب سے پہلے اور بعد میں بیگ سے باہر کی غلطی میں فرق کو اوسط کرکے شمار کیا جاتا ہے۔ ان اختلافات کے معیاری انحراف سے اسکور کو معمول پر لایا جاتا ہے۔ وہ خصوصیات جو اس سکور کے لیے بڑی اقدار پیدا کرتی ہیں ان کو ان خصوصیات سے زیادہ اہم قرار دیا جاتا ہے جو چھوٹی اقدار پیدا کرتی ہیں۔ متغیر اہمیت کی پیمائش کی شماریاتی تعریف زو اور دیگر نے دی اور اس کا تجزیہ کیا۔ متغیر اہمیت کا تعین کرنے کے اس طریقہ کار میں کچھ خامیاں ہیں۔ مختلف سطحوں کے ساتھ زمرہ جاتی متغیرات سمیت اعداد و شمار کے لیے، بے ترتیب جنگلات زیادہ سطحوں کے ساتھ ان صفات کے حق میں متعصبانہ ہوتے ہیں۔ مسئلے کو حل کرنے کے لیے جزوی تغیرات اور غیر جانبدار درختوں کو اگانے جیسے طریقے استعمال کیے جا سکتے ہیں۔ اگر اعداد و شمار میں آؤٹ پٹ کے لیے اسی طرح کی مطابقت کی مربوط خصوصیات کے گروپ ہوتے ہیں، تو چھوٹے گروپوں کو بڑے گروپوں کے مقابلے میں ترجیح دی جاتی ہے۔ مزید برآں، جب کالینیئر خصوصیات ہوں تو ترتیب کا طریقہ کار اہم خصوصیات کی نشاندہی کرنے میں ناکام ہو سکتا ہے۔ اس صورت میں مربوط خصوصیات کے گروپوں کو ایک ساتھ جوڑنا ایک علاج ہے۔ نامردی خصوصیت کی اہمیت میں اوسط کمی بے ترتیب جنگلات کے لیے اس خصوصیت کی اہمیت سائنس کٹ لرن اور آر میں ڈیفالٹ نفاذ ہے۔ یہ لیو بریمن کی کتاب "درجہ بندی اور رجعت درختوں" میں بیان کیا گیا ہے۔ وہ متغیرات جو تقسیم کے دوران نجاست کو بہت کم کرتے ہیں اہم سمجھے جاتے ہیں: جہاں ایک خصوصیت کی نشاندہی ہوتی ہے، جنگل میں درختوں کی تعداد ہے، درخت کی نشاندہی کرتا ہے، نوڈ تک پہنچنے والے نمونوں کا حصہ ہے، نوڈ پر درخت میں نجاست میں تبدیلی ہے۔ نوڈ میں گرنے والے نمونوں کے لیے نجاست کی پیمائش کے طور پر۔ مندرجہ ذیل اعداد و شمار استعمال کیے جا سکتے ہیں: اینٹروپی گنی گتانک اوسط مربع شدہ غلطی اس کے بعد تمام خصوصیات کو معمول پر لا کر معمول کی اہمیت حاصل کی جاتی ہے، تاکہ معمول کی خصوصیت کی اہمیت کا مجموعہ 1 ہو۔ سائنس کٹ لرن ڈیفالٹ امپلیمینٹی آف مین ڈکریز ان امپیوریٹی فیچر کی اہمیت گمراہ کن خصوصیت کی اہمیت کے لیے حساس ہے: اہمیت کا پیمانہ اعلی کارڈینالیٹی خصوصیات کو ترجیح دیتا ہے جو یہ تربیتی اعدادوشمار کا استعمال کرتا ہے اور اس وجہ سے "ایسی پیش گوئیاں کرنے کے لیے مفید ہونے کی خصوصیت کی صلاحیت کی عکاسی نہیں کرتا ہے جو ٹیسٹ سیٹ کو عام بناتی ہیں" قریبی پڑوسیوں کے ساتھ تعلق بے ترتیب جنگلات اور قریب ترین پڑوسی الگورتھم (-NN) کے درمیان تعلق کی نشاندہی لن اور جین نے 2002 میں کی تھی۔ یہ پتہ چلتا ہے کہ دونوں کو نام نہاد وزن والے محلوں کی اسکیموں کے طور پر دیکھا جا سکتا ہے۔ یہ ایک ٹریننگ سیٹ سے بنائے گئے ماڈل ہیں جو پوائنٹ کے "پڑوس" کو دیکھ کر نئے پوائنٹس کے لیے پیش گوئیاں کرتے ہیں، جسے ویٹ فنکشن کے ذریعے باقاعدہ بنایا جاتا ہے: یہاں، اسی ٹری میں نئے پوائنٹ کے مقابلے میں 'ویں ٹریننگ پوائنٹ کا غیر منفی وزن ہے۔ کسی بھی خاص کے لیے، پوائنٹس کے وزن کا مجموعہ ایک ہونا چاہیے۔ وزن کے افعال مندرجہ ذیل طور پر دیئے گئے ہیں:-NN میں، وزن اگر قریب ترین پوائنٹس میں سے ایک ہے، اور بصورت دیگر صفر ہے۔ کسی درخت میں، اگر اسی پتی کے نکات میں سے ایک ہے، اور بصورت دیگر صفر ہے۔ چونکہ جنگل انفرادی وزن کے افعال کے ساتھ درختوں کے ایک سیٹ کی پیش گوئیوں کی اوسط کرتا ہے، اس کی پیش گوئیاں یہ ہیں۔ اس سے پتہ چلتا ہے کہ پورا جنگل ایک بار پھر ایک وزن والے پڑوس کی اسکیم ہے، جس کا وزن انفرادی درختوں کے اوسط کے برابر ہے۔ اس تشریح میں پڑوسی وہ نکات ہیں جو کسی بھی درخت میں ایک ہی پتی کا اشتراک کرتے ہیں۔ اس طرح، پڑوس کا انحصار پیچیدہ انداز میں درختوں کی ساخت پر، اور اس طرح تربیتی سیٹ کی ساخت پر ہوتا ہے۔ لن اور جین دکھاتے ہیں کہ بے ترتیب جنگل کے ذریعہ استعمال ہونے والے محلے کی شکل ہر خصوصیت کی مقامی اہمیت کے مطابق ہوتی ہے۔ بے ترتیب جنگلات کے ساتھ غیر نگرانی شدہ سیکھنا ان کی تعمیر کے ایک حصے کے طور پر، بے ترتیب جنگل کے پیشن گوئی کرنے والے قدرتی طور پر مشاہدات میں فرق کی پیمائش کا باعث بنتے ہیں۔ کوئی بھی غیر لیبل شدہ ڈیٹا کے درمیان بے ترتیب جنگل کے فرق کی پیمائش کی وضاحت بھی کر سکتا ہے: خیال یہ ہے کہ ایک بے ترتیب جنگل کی پیشن گوئی کی تعمیر کی جائے جو "مشاہدہ شدہ" ڈیٹا کو مناسب طریقے سے تیار کردہ مصنوعی ڈیٹا سے ممتاز کرے۔ مشاہدہ شدہ ڈیٹا اصل غیر لیبل شدہ ڈیٹا ہے اور مصنوعی ڈیٹا حوالہ تقسیم سے تیار کیا جاتا ہے۔ ایک بے ترتیب جنگل کا فرق پرکشش ہو سکتا ہے کیونکہ یہ مخلوط متغیر اقسام کو بہت اچھی طرح سے سنبھالتا ہے، ان پٹ متغیرات کی یک جہتی تبدیلیوں کے لیے غیر متغیر ہے، اور بیرونی مشاہدات کے لیے مضبوط ہے۔ بے ترتیب جنگل کا فرق اس کے اندرونی متغیر انتخاب کی وجہ سے بڑی تعداد میں نیم مسلسل متغیرات سے آسانی سے نمٹتا ہے۔ مثال کے طور پر، "ایڈکل 1" بے ترتیب جنگل کا فرق ہر متغیر کی شراکت کا وزن اس کے مطابق کرتا ہے کہ یہ دوسرے متغیرات پر کتنا منحصر ہے۔ بے ترتیب جنگل کا فرق مختلف ایپلی کیشنز میں استعمال کیا گیا ہے، مثال کے طور پر۔ ٹشو مارکر ڈیٹا کی بنیاد پر مریضوں کے کلسٹر تلاش کرنا۔ فیصلہ کن درختوں کے بجائے متغیرات، لکیری ماڈلز کو بے ترتیب جنگلات میں بنیادی تخمینہ کاروں کے طور پر تجویز کیا گیا ہے اور ان کا جائزہ لیا گیا ہے، خاص طور پر کثیر الجہتی لاجسٹک رجعت اور سادہ بیئس درجہ بندی کرنے والوں میں۔ ایسی صورتوں میں جب پیشن گوئی کرنے والوں اور ٹارگٹ متغیر کے درمیان تعلق لکیری ہوتا ہے، بنیادی سیکھنے والوں کی اتنی ہی اعلی درستگی ہو سکتی ہے جتنی کہ انسمبل سیکھنے والے کی ہوتی ہے۔ دانا بے ترتیب جنگل مشین لرننگ میں، دانا بے ترتیب جنگلات (کے آر ایف) بے ترتیب جنگلات اور دانا کے طریقوں کے درمیان تعلق قائم کرتا ہے۔ ان کی تعریف میں قدرے ترمیم کرکے، بے ترتیب جنگلات کو دانا کے طریقوں کے طور پر دوبارہ لکھا جا سکتا ہے، جو زیادہ قابل تشریح اور تجزیہ کرنے میں آسان ہیں۔ لیو بریمن وہ پہلا شخص تھا جس نے بے ترتیب جنگل اور دانے کے طریقوں کے درمیان تعلق کو محسوس کیا۔ انہوں نے نشاندہی کی کہ بے ترتیب جنگلات جو آئی آئی ڈی کا استعمال کرتے ہوئے اگائے جاتے ہیں۔ درخت کی تعمیر میں بے ترتیب ویکٹر حقیقی مارجن پر کام کرنے والے دانے کے برابر ہوتے ہیں۔ لن اور جین نے بے ترتیب جنگلات اور انکولی قریبی پڑوسی کے درمیان تعلق قائم کیا، جس سے یہ ظاہر ہوتا ہے کہ بے ترتیب جنگلات کو انکولی دانے کے تخمینے کے طور پر دیکھا جا سکتا ہے۔ ڈیوس اور گھہرمانی نے رینڈم فاریسٹ دانا کی تجویز پیش کی اور دکھایا کہ یہ تجرباتی طور پر جدید ترین دانے کے طریقوں کو پیچھے چھوڑ سکتا ہے۔ سکورنیٹ نے سب سے پہلے کے آر ایف کے تخمینوں کی وضاحت کی اور کے آر ایف کے تخمینوں اور بے ترتیب جنگل کے درمیان واضح تعلق دیا۔ انہوں نے مرکزی بے ترتیب جنگل اور یکساں بے ترتیب جنگل، بے ترتیب جنگل کے دو آسان نمونوں پر مبنی دانے کے لیے واضح تاثرات بھی دیے۔ انہوں نے ان دو کے آر ایف کو سینٹرڈ کے آر ایف اور یونیفارم کے آر ایف کا نام دیا، اور ان کی مستقل مزاجی کی شرحوں پر اوپری حدود ثابت کیں۔ نوٹیشن اور تعریفیں ابتدائی: سینٹرڈ فاریسٹ سینٹرڈ فاریسٹ بریمن کے اصل بے ترتیب جنگل کے لیے ایک آسان ماڈل ہے، جو یکساں طور پر تمام صفات میں سے ایک خاصیت کا انتخاب کرتا ہے اور سیل کے مرکز میں پہلے سے منتخب کردہ خاصیت کے ساتھ تقسیم کرتا ہے۔ الگورتھم اس وقت رک جاتا ہے جب سطح کا مکمل بائنری ٹری بنایا جاتا ہے، جہاں الگورتھم کا ایک پیرامیٹر ہوتا ہے۔ یکساں جنگل یکساں جنگل بریمن کے اصل بے ترتیب جنگل کے لیے ایک اور آسان ماڈل ہے، جو یکساں طور پر تمام خصوصیات میں سے ایک خصوصیت کا انتخاب کرتا ہے اور پہلے سے منتخب کردہ خصوصیت کے ساتھ سیل کی طرف یکساں طور پر تیار کردہ نقطہ پر تقسیم کرتا ہے۔ بے ترتیب جنگل سے لے کر کے آر ایف تک-ویلیوڈ آزاد بے ترتیب متغیرات کا ایک تربیتی نمونہ دیا گیا ہے جو آزاد پروٹوٹائپ جوڑی کے طور پر تقسیم کیا گیا ہے، جہاں۔ ہمارا مقصد ریگریشن فنکشن کا اندازہ لگا کر بے ترتیب متغیر سے وابستہ ردعمل کی پیش گوئی کرنا ہے۔ بے ترتیب رجعت جنگل بے ترتیب رجعت درختوں کا ایک مجموعہ ہے۔ نقطہ پر پیش گوئی شدہ قیمت کو-th ٹری سے ظاہر کریں، جہاں آزاد بے ترتیب متغیرات ہیں، جو نمونے سے آزاد، عام بے ترتیب متغیر کے طور پر تقسیم کیے گئے ہیں۔ یہ بے ترتیب متغیر نوڈ کی تقسیم اور درخت کی تعمیر کے نمونے لینے کے طریقہ کار سے پیدا ہونے والی بے ترتیب کو بیان کرنے کے لیے استعمال کیا جا سکتا ہے۔ جنگلات کا محدود تخمینہ بنانے کے لیے درختوں کو ملایا جاتا ہے۔ رجعت کے درختوں کے لیے، ہمارے پاس ہے، بے ترتیب اور ڈیٹا سیٹ کے ساتھ ڈیزائن کیا گیا سیل کہاں ہے، اور۔ اس طرح بے ترتیب جنگل کے تخمینے، سب کے لیے، مطمئن کرتے ہیں۔ بے ترتیب رجعت جنگل میں اوسط کی دو سطحیں ہوتی ہیں، پہلے درخت کے ہدف خلیے کے نمونوں پر، پھر تمام درختوں پر۔ اس طرح اعداد و شمار کی زیادہ کثافت والے خلیوں میں مشاہدوں کی شراکت ان مشاہدات سے کم ہوتی ہے جن کا تعلق کم آبادی والے خلیوں سے ہوتا ہے۔ بے ترتیب جنگل کے طریقوں کو بہتر بنانے اور غلط تخمینے کی تلافی کے لیے، سکورنیٹ نے کے آر ایف کی وضاحت کی جس کے ذریعے جنگل میں موجود خلیوں میں گرنے کے اوسط کے برابر ہے۔ اگر ہم محدود جنگل کے کنکشن فنکشن کی وضاحت کرتے ہیں، یعنی۔ اور کے درمیان مشترکہ خلیوں کا تناسب، پھر تقریبا یقینی طور پر ہمارے پاس ہے، جو کے آر ایف کی وضاحت کرتا ہے۔ مرکوز کے آر ایف سطح کے مرکزی کے آر ایف کی تعمیر مرکزی جنگل کے لیے یکساں ہے، سوائے اس کے کہ پیش گوئیاں اسی طرح کی جاتی ہیں، متعلقہ دانا فنکشن، یا کنکشن فنکشن یکساں کے آر ایف یکساں کے آر ایف یکساں جنگل کی طرح بنایا گیا ہے، سوائے اس کے کہ پیش گوئیاں اسی طرح کی جاتی ہیں، متعلقہ دانا فنکشن، یا کنیکشن فنکشن پراپرٹیز کے ذریعے کی جاتی ہیں۔ کے آر ایف اور بے ترتیب جنگل کے درمیان تعلق کے آر ایف کے ذریعے دی گئی پیش گوئیاں اور بے ترتیب جنگلات قریب ہوتے ہیں اگر ہر خلیے میں پوائنٹس کی تعداد کو کنٹرول کیا جائے: فرض کریں کہ اس طرح کے سلسلے موجود ہیں، تقریبا یقینی طور پر، پھر تقریبا یقینی طور پر، لامحدود کے آر ایف اور لامحدود بے ترتیب جنگل کے درمیان تعلق جب درختوں کی تعداد لامحدود تک جاتی ہے، تو ہمارے پاس لامحدود بے ترتیب جنگل اور لامحدود کے آر ایف ہوتے ہیں۔ اگر ہر خلیے میں مشاہدات کی تعداد محدود ہو تو ان کے تخمینے قریب ہوتے ہیں: فرض کریں کہ اس طرح کے سلسلے موجود ہیں، تقریبا یقینی طور پر پھر تقریبا یقینی طور پر، مستقل مزاجی کے نتائج فرض کریں کہ، جہاں ایک مرکوز گوسی شور ہے، اس سے آزاد، محدود تغیر کے ساتھ۔ مزید برآں، یکساں طور پر تقسیم کیا جاتا ہے اور یہ Lipschitz ہے۔ اسکارنیٹ نے مرکوز کے آر ایف اور یکساں کے آر ایف کے لیے مستقل مزاجی کی شرحوں پر اوپری حدود ثابت کیں۔ مرکوز کے آر ایف کی فراہمی کی مستقل مزاجی اور، ایک مستقل چیز موجود ہے جو سب کے لیے ہے۔ یکساں کے آر ایف فراہم کرنے کی مستقل مزاجی اور، اس طرح کا ایک مستقل وجود موجود ہے۔ نقصانات اگرچہ بے ترتیب جنگلات اکثر ایک فیصلہ کن درخت سے زیادہ درستگی حاصل کرتے ہیں، لیکن وہ فیصلہ کن درختوں میں موجود اندرونی تشریح کی قربانی دیتے ہیں۔ فیصلہ کے درخت مشین لرننگ ماڈلز کے کافی چھوٹے خاندان میں سے ہیں جو لکیری ماڈلز، اصول پر مبنی ماڈلز اور توجہ پر مبنی ماڈلز کے ساتھ آسانی سے قابل تشریح ہیں۔ یہ تشریح فیصلہ کے درختوں کی سب سے زیادہ مطلوبہ خصوصیات میں سے ایک ہے۔ یہ ڈویلپرز کو اس بات کی تصدیق کرنے کی اجازت دیتا ہے کہ ماڈل نے ڈیٹا سے حقیقت پسندانہ معلومات سیکھی ہیں اور اختتامی صارفین کو ماڈل کے فیصلوں پر اعتماد اور اعتماد رکھنے کی اجازت دیتا ہے۔ مثال کے طور پر، فیصلہ کرنے کے لیے درخت جو راستہ اختیار کرتا ہے اس پر چلنا کافی معمولی بات ہے، لیکن دسیوں یا سینکڑوں درختوں کے راستوں پر چلنا بہت مشکل ہے۔ کارکردگی اور تشریح دونوں کو حاصل کرنے کے لیے، کچھ ماڈل کمپریشن تکنیک بے ترتیب جنگل کو کم سے کم "دوبارہ پیدا ہونے والے" فیصلہ کے درخت میں تبدیل کرنے کی اجازت دیتی ہیں جو وفاداری کے ساتھ ایک ہی فیصلہ کے فنکشن کو دوبارہ پیش کرتی ہے۔ اگر یہ ثابت ہو جائے کہ پیشن گوئی کی صفات ہدف متغیر کے ساتھ لکیری طور پر مربوط ہیں، تو بے ترتیب جنگل کا استعمال بنیادی سیکھنے والے کی درستگی کو نہیں بڑھا سکتا ہے۔ مزید برآں، متعدد درجہ بندی متغیرات کے مسائل میں، بے ترتیب جنگل بنیادی سیکھنے والے کی درستگی کو بڑھانے کے قابل نہیں ہو سکتا ہے۔ مزید پڑھنے کے لیے حوالہ جات دیکھیں بیرونی لنکس بے ترتیب جنگلات کی درجہ بندی کی تفصیل (لیو بریمن کی سائٹ) لیاؤ، اینڈی اور وینر، میتھیو "درجہ بندی اور رجعت بذریعہ بے ترتیب جنگل" آر نیوز (2002) جلد۔ 2/3 صفحہ 18 (آر کے لیے بے ترتیب جنگل کے پیکیج کے استعمال پر بحث) درجہ بندی کے الگورتھم سیکھنے کے فیصلے کے درختوں کو جمع کریں فیصلہ نظریہ کمپیوٹیشنل اعداد و شمار