Least-squares support vector machine
اعدادوشمار اور شماریاتی ماڈلنگ کے لیے لیسٹ اسکوائر سپورٹ ویکٹر مشینیں (LS-SVM)، سپورٹ ویکٹر مشینوں (SVM) کے لیسٹ اسکوائر ورژن ہیں، جو متعلقہ نگرانی شدہ سیکھنے کے طریقوں کا ایک مجموعہ ہیں جو ڈیٹا کا تجزیہ کرتے ہیں اور نمونوں کو پہچانتے ہیں، اور جو درجہ بندی اور رجعت تجزیہ کے لیے استعمال ہوتے ہیں۔ اس ورژن میں کلاسیکی ایس وی ایم کے لیے کنویکس کواڈریٹک پروگرامنگ (کیو پی) کے مسئلے کے بجائے لکیری مساوات کے ایک سیٹ کو حل کرکے حل تلاش کیا جاتا ہے۔ کم سے کم مربع والے ایس وی ایم درجہ بندی کرنے والوں کی تجویز جوہان سویکنز اور جوس وینڈے والی نے پیش کی تھی۔ ایل ایس-ایس وی ایم دانا پر مبنی سیکھنے کے طریقوں کی ایک کلاس ہے۔ سپورٹ ویکٹر مشین سے لے کر کم سے کم مربع سپورٹ ویکٹر مشین تک ان پٹ ڈیٹا اور متعلقہ بائنری کلاس لیبلز کے ساتھ ایک تربیتی سیٹ کو دیکھتے ہوئے، ایس وی ایم درجہ بندی، ویپنک کی اصل تشکیل کے مطابق، درج ذیل شرائط کو پورا کرتی ہے: جو اس کے مساوی ہے کہ اصل جگہ سے اعلی یا لامحدود جہتی جگہ تک غیر لکیری نقشہ کہاں ہے۔ اس طرح کا علیحدہ ہائپرپلین موجود نہ ہونے کی صورت میں، ہم نام نہاد سست متغیرات متعارف کراتے ہیں جیسے کہ ساختی رسک کم سے کم کرنے کے اصول کے مطابق، رسک باؤنڈ کو درج ذیل کم سے کم مسئلہ سے کم کیا جاتا ہے: اس مسئلے کو حل کرنے کے لیے، ہم لاگرانجین فنکشن کی تعمیر کر سکتے ہیں: لاگرانجین ملٹی پلیئرز کہاں ہیں۔ بہترین نقطہ لگرینجین فنکشن کے سیڈل پوائنٹ میں ہوگا، اور پھر ہم حاصل کرتے ہیں۔ مناسب مقصد اور رکاوٹوں سے تشکیل شدہ لگرینجین میں اس کے اظہار سے تبدیل کرنے سے، ہمیں درج ذیل کواڈریٹک پروگرامنگ کا مسئلہ ملے گا: جہاں اسے کرنل فنکشن کہا جاتا ہے۔ () میں رکاوٹوں کے تابع اس کیو پی مسئلے کو حل کرتے ہوئے، ہم ہائیپرپلین کو اعلی جہتی جگہ میں حاصل کریں گے اور اس لیے اصل جگہ میں درجہ بندی کریں گے۔ کم سے کم مربع ایس وی ایم تشکیل ایس وی ایم درجہ بندی کا کم سے کم مربع ورژن کم سے کم مسئلے کو مساوات کی رکاوٹوں کے تابع کے طور پر اصلاح کرکے حاصل کیا جاتا ہے۔ اوپر دی گئی کم سے کم مربع ایس وی ایم (ایل ایس-ایس وی ایم) درجہ بندی کی تشکیل بائنری اہداف کے ساتھ رجعت کی تشریح سے مطابقت رکھتی ہے۔ استعمال کرتے ہوئے، ہمارے پاس نوٹس کے ساتھ ہے، کہ یہ غلطی کم سے کم مربع ڈیٹا فٹنگ کے لیے بھی معنی رکھتی ہے، تاکہ وہی اختتامی نتائج رجعت کیس کے لیے برقرار رہیں۔ لہذا ایل ایس-ایس وی ایم درجہ بندی کی تشکیل ساتھ اور دونوں کے مساوی ہے اور اسے ریگولیرائزیشن کی مقدار بمقابلہ سم اسکوائرڈ ایرر کو ٹیون کرنے کے لیے ہائپر پیرامیٹرز کے طور پر سمجھا جانا چاہیے۔ حل صرف تناسب پر منحصر ہوتا ہے، اس لیے اصل تشکیل صرف ٹیوننگ پیرامیٹر کے طور پر استعمال ہوتی ہے۔ ہم ایل ایس-ایس وی ایم کو بایسیائی تشریح فراہم کرنے کے لیے دونوں اور پیرامیٹرز کے طور پر استعمال کرتے ہیں۔ ایل ایس-ایس وی ایم ریگریسر کا حل اس وقت حاصل ہوگا جب ہم لگرینجین فنکشن کی تعمیر کریں گے: لگرینج ملٹی پلیئرز کہاں ہیں۔ اصلاح کے لیے شرائط کا خاتمہ ہے اور یہ کواڈریٹک پروگرامنگ کے مسئلے کے بجائے ایک لکیری نظام فراہم کرے گا: کے ساتھ، اور۔ یہاں، ایک شناختی میٹرکس ہے، اور اس کی وضاحت کرنل میٹرکس کے ذریعے کی گئی ہے۔ دانا فنکشن K دانا فنکشن کے لیے عام طور پر مندرجہ ذیل انتخاب ہوتے ہیں: لکیری دانا: ڈگری کا کثیر الجہتی دانا: ریڈیل بیس فنکشن آر بی ایف دانا: ایم ایل پی دانا: کہاں،، اور مستقل ہیں۔ نوٹ کریں کہ مرسر کی شرط کثیر الجہتی اور آر بی ایف کیس میں تمام اور اقدار کے لیے ہے، لیکن ایم ایل پی کیس میں تمام ممکنہ انتخاب کے لیے نہیں۔ پیمانے کے پیرامیٹرز، اور کثیر الجہتی، آر بی ایف اور ایم ایل پی دانا فنکشن میں ان پٹ کی اسکیلنگ کا تعین کرتے ہیں۔ اس اسکیلنگ کا تعلق اعداد و شمار میں دانا کی بینڈوتھ سے ہے، جہاں یہ دکھایا گیا ہے کہ بینڈوتھ دانا کے طریقہ کار کے عمومی رویے کا ایک اہم پیمانہ ہے۔ ایل ایس-ایس وی ایم کے لیے بیسیائی تشریح ایس وی ایم کی بیسیائی تشریح سمولا اور دیگر نے تجویز کی ہے۔ انہوں نے دکھایا کہ ایس وی ایم میں مختلف دانے کے استعمال کو فنکشنل اسپیس پر مختلف پیشگی امکانات کی تقسیم کی وضاحت کے طور پر سمجھا جا سکتا ہے۔ یہاں ایک مستقل ہے اور منتخب کردہ دانا کے مطابق ریگولرائزیشن آپریٹر ہے۔ میک کے نے ایک عام بیسیئن ثبوت کا فریم ورک تیار کیا تھا، اور میک کے نے اسے رجعت، فارورڈ نیورل نیٹ ورک اور درجہ بندی کے نیٹ ورک کے مسئلے کے لیے استعمال کیا ہے۔ فراہم کردہ ڈیٹا سیٹ، پیرامیٹر ویکٹر کے ساتھ ایک ماڈل اور ایک نام نہاد ہائپر پیرامیٹر یا ریگولرائزیشن پیرامیٹر، بایسیئن انفریشن کو 3 سطحوں کے تخمینے کے ساتھ بنایا گیا ہے: سطح 1 میں، دی گئی قیمت کے لیے، انفریشن کی پہلی سطح بایسیئن رول کے ذریعے پوسٹر ڈسٹری بیوشن کو متاثر کرتی ہے۔ انفریشن کی دوسری سطح زیادہ سے زیادہ قیمت کا تعین کرتی ہے۔ ثبوت کے فریم ورک میں تیسری سطح کے انفریشن مختلف ماڈلز کو ان کے پوسٹر امکانات کا جائزہ لے کر درجہ بندی کرتی ہے۔ ہم دیکھ سکتے ہیں کہ بایسیئن ثبوت کا فریم ورک ماڈل اور ماڈل کے انتخاب کو سیکھنے کے لیے ایک متحد نظریہ ہے۔ کووک نے ایس وی ایم کی تشکیل اور ماڈل کے انتخاب کی تشریح کے لیے بایسیائی ثبوت کے فریم ورک کا استعمال کیا۔ اور اس نے ویکٹر رجعت کی حمایت کرنے کے لیے بایسیائی ثبوت کے فریم ورک کا بھی اطلاق کیا۔ اب، اعداد و شمار کے نکات اور ہائپر پیرامیٹرز اور ماڈل کو دیکھتے ہوئے، ماڈل کے پیرامیٹرز کا تخمینہ پوسٹرئیر کو زیادہ سے زیادہ کرکے لگایا جاتا ہے۔ بایئز کے اصول کو لاگو کرتے ہوئے، ہم حاصل کرتے ہیں کہ جہاں ایک نارملائزنگ مستقل ہے جیسے کہ تمام ممکنہ پر انٹیگرل اور 1 کے برابر ہے۔ ہم فرض کرتے ہیں اور ہائپر پیرامیٹر سے آزاد ہیں، اور مشروط آزاد ہیں، یعنی، ہم فرض کرتے ہیں کہ کب، کی تقسیم تقریبا ایک یکساں تقسیم ہوگی۔ مزید برآں، ہم فرض کرتے ہیں اور گاؤسی تقسیم ہیں، لہذا ہم کی ترجیحی تقسیم حاصل کرتے ہیں اور اس کے ساتھ ہونا یہاں خصوصیت کی جگہ کی جہت ہے، جس کی جہت ہے۔ کا امکان صرف اور پر منحصر ہے۔ ہم فرض کرتے ہیں کہ ڈیٹا پوائنٹس آزادانہ طور پر یکساں طور پر تقسیم کیے گئے ہیں (یعنی۔ )، تاکہ: کم سے کم مربع لاگت فنکشن حاصل کرنے کے لیے، یہ فرض کیا جاتا ہے کہ ڈیٹا پوائنٹ کا امکان متناسب ہے: غلطیوں کے لیے ایک گوسی تقسیم کو اس طرح لیا جاتا ہے: یہ فرض کیا جاتا ہے کہ اور اس کا تعین اس طرح کیا جاتا ہے کہ کلاس کا مرکز اور نقشہ بالترتیب ہدف-1 اور + 1 پر لگایا جاتا ہے۔ کلاس عناصر کے تخمینے ایک کثیر متغیر گوسی تقسیم کی پیروی کرتے ہیں، جن میں تغیر ہوتا ہے۔ پچھلے تاثرات کو یکجا کرتے ہوئے، اور تمام مستقلات کو نظر انداز کرتے ہوئے، بائز کا قاعدہ زیادہ سے زیادہ پچھلی کثافت کا تخمینہ بن جاتا ہے اور پھر (26) کے منفی لوگرتھم کو کم سے کم کرکے حاصل کیا جاتا ہے، لہذا ہم (10) تک پہنچتے ہیں۔ حوالہ جات کتابچہ جے۔ اے۔ کے۔ سویکنز، ٹی۔ وان گیسٹل، جے۔ ڈی برابنٹر، بی۔ ڈی مور، جے وینڈے والی، لیسٹ اسکوائرز سپورٹ ویکٹر مشینیں، ورلڈ سائنٹفک پب۔ کمپنی، سنگاپور، 2002۔ سویکنز جے۔ اے۔ K.، وینڈے والی J.، لیسٹ اسکوائرز سپورٹ ویکٹر مشین کلاسیفائرز، نیورل پروسیسنگ لیٹرز، جلد۔ 9، نہیں۔ 3، جون۔ 1999، پی پی۔ 293-300۔ ولادیمیر ویپنک۔ شماریاتی سیکھنے کے نظریہ کی نوعیت۔ سپرنگر-ورلاگ، 1995۔ میک کے، ڈی جے سی، ممکنہ نیٹ ورک اور قابل فہم پیش گوئیاں-نگرانی شدہ عصبی نیٹ ورک کے لیے عملی بیسیائی طریقوں کا جائزہ۔ نیٹ ورک: کمپیوٹیشن ان نیورل سسٹمز، جلد۔ 6، 1995، پی پی۔ 469-505۔ بیرونی لنکس www.esat.kuleuven.be/sista/lssvmlab "لیسٹ اسکوائرز سپورٹ ویکٹر مشین لیب (LS-SVMlab) ٹول باکس میں کئی LS-SVM الگورتھم کے لیے میٹ لیب/C نفاذ شامل ہیں"۔ www.kernel-machines.org "سپورٹ ویکٹر مشینیں اور دانا پر مبنی طریقے (سمولا اور شولکوف)"۔ www.gaussianprocess.org "گاؤسی عمل: رجعت اور درجہ بندی (میککے، ولیمز) کے افعال پر گاؤسی عمل کا استعمال کرتے ہوئے ڈیٹا ماڈلنگ۔" www.support-vector.net "سپورٹ ویکٹر مشینیں اور دانا پر مبنی طریقے (کرسٹینینی)"۔ dlib: بڑے پیمانے کے ڈیٹا سیٹس کے لیے کم سے کم مربع SVM نفاذ پر مشتمل ہے۔ سپورٹ ویکٹر مشینیں درجہ بندی الگورتھم شماریاتی درجہ بندی کم سے کم مربع