Wasserstein GAN
واسرسٹین جنریٹیو ایڈورسیریل نیٹ ورک (ڈبلیو جی اے این) 2017 میں تجویز کردہ جنریٹیو ایڈورسیریل نیٹ ورک (جی اے این) کی ایک قسم ہے جس کا مقصد "سیکھنے کے استحکام کو بہتر بنانا، موڈ کو ختم کرنے جیسے مسائل سے چھٹکارا پانا، اور ڈیبگنگ اور ہائپر پیرا میٹر سرچز کے لیے مفید بامعنی سیکھنے کے منحنی خطوط فراہم کرنا" ہے۔ اصل جی اے این ڈسکریمینیٹر کے مقابلے میں، واسرسٹین جی اے این ڈسکریمینیٹر جنریٹر کو سیکھنے کا بہتر اشارہ فراہم کرتا ہے۔ یہ تربیت کو زیادہ مستحکم ہونے کی اجازت دیتا ہے جب جنریٹر بہت زیادہ جہتی جگہوں میں تقسیم سیکھ رہا ہوتا ہے۔ محرک GAN گیم اصل GAN طریقہ GAN گیم پر مبنی ہے، ایک صفر رقم والا گیم جس میں 2 کھلاڑی ہیں: جنریٹر اور ڈسکریمینیٹر۔ کھیل کی وضاحت امکانات کی جگہ پر کی گئی ہے، جنریٹر کی حکمت عملی سیٹ تمام امکانات کے اقدامات کا مجموعہ ہے، اور امتیازی سلوک کرنے والے کی حکمت عملی سیٹ قابل پیمائش افعال کا مجموعہ ہے۔ گیم کا مقصد یہ ہے کہ جنریٹر کا مقصد اسے کم سے کم کرنا ہے، اور امتیازی سلوک کرنے والے کا مقصد اسے زیادہ سے زیادہ کرنا ہے۔ جی اے این گیم کا ایک بنیادی نظریہ بتاتا ہے کہ جی اے این گیم کو کئی بار دہرائیں، ہر بار جنریٹر پہلے حرکت کرتا ہے، اور ڈسکریمینیٹر دوسرے حرکت کرتا ہے۔ ہر بار جب جنریٹر تبدیل ہوتا ہے، تب امتیازی سلوک کرنے والے کو آئیڈیل کے قریب پہنچ کر موافقت اختیار کرنی چاہیے کیونکہ ہم واقعی اس میں دلچسپی رکھتے ہیں، امتیازی سلوک کرنے والا فنکشن خود ہی غیر دلچسپ ہوتا ہے۔ یہ محض جنریٹر کی تقسیم اور حوالہ کی تقسیم کے درمیان امکانات کے تناسب پر نظر رکھتا ہے۔ توازن میں، تفریق کرنے والا صرف مسلسل آؤٹ پٹ کر رہا ہوتا ہے، کسی بھی فرق کو سمجھنے کی کوشش کرنا چھوڑ دیتا ہے۔ خاص طور پر، جی اے این گیم میں، آئیے ایک جنریٹر کو ٹھیک کریں، اور قدم بہ قدم امتیازی سلوک کرنے والے کو بہتر بنائیں، اور قدم بہ قدم امتیازی سلوک کرنے والا بنیں۔ پھر ہم (مثالی طور پر) دیکھتے ہیں کہ امتیازی سلوک کرنے والا دراصل نچلی حد پر ہے۔ اس طرح، ہم دیکھتے ہیں کہ امتیازی سلوک کرنے والے کا نقطہ بنیادی طور پر ایک نقاد کے طور پر ہے جو جنریٹر کے لیے رائے فراہم کرتا ہے، اس بارے میں کہ "یہ کمال سے کتنا دور ہے"، جہاں "دور" کو جینسن-شینن انحراف کے طور پر بیان کیا گیا ہے۔ قدرتی طور پر، اس سے زرخیزی کے مختلف معیار کو استعمال کرنے کا امکان پیدا ہوتا ہے۔ انتخاب کرنے کے لیے بہت سے ممکنہ انحراف ہیں، جیسے کہ f-ڈائیورجنس فیملی، جو f-GAN دے گی۔ واسرسٹین GAN واسرسٹین میٹرک کا استعمال کرتے ہوئے حاصل کیا جاتا ہے، جو ایک "دوہری نمائندگی تھیوریم" کو مطمئن کرتا ہے جو اسے گنتی کے لیے انتہائی موثر بناتا ہے: واسرسٹین میٹرک کے مرکزی صفحہ میں ایک ثبوت پایا جا سکتا ہے۔ تعریف کینٹوروویچ-روبنسٹین دوہری کی طرف سے، واسرسٹین جی اے این کی تعریف واضح ہے: کینٹوروویچ-روبنسٹین دوہری کی طرف سے، کسی بھی جنریٹر کی حکمت عملی کے لیے، امتیازی سلوک کرنے والے کی طرف سے زیادہ سے زیادہ جواب اس طرح ہے کہ اس کے نتیجے میں، اگر امتیازی سلوک کرنے والا اچھا ہے، تو جنریٹر کو مسلسل کم کرنے کے لیے دھکیل دیا جائے گا، اور جنریٹر کے لیے زیادہ سے زیادہ حکمت عملی منصفانہ ہے، جیسا کہ اسے ہونا چاہیے۔ GAN کے ساتھ موازنہ واسرسٹین GAN گیم میں، امتیازی سلوک کرنے والا GAN گیم کے مقابلے میں بہتر میلان فراہم کرتا ہے۔ مثال کے طور پر حقیقی لائن پر ایک کھیل پر غور کریں جہاں دونوں اور گوسیئن ہیں۔ پھر بہترین واسرسٹین نقاد اور بہترین جی اے این امتیازی سلوک کرنے والے کو ذیل میں پلاٹ کیا گیا ہے: فکسڈ امتیازی سلوک کرنے والے کے لیے، جنریٹر کو درج ذیل مقاصد کو کم کرنے کی ضرورت ہے: جی اے این کے لیے،۔ واسرسٹین جی اے این کے لیے۔ پیرامیٹرائز ہونے دیں، پھر ہم گریڈینٹ کے دو غیر جانبدار تخمینوں کا استعمال کرتے ہوئے سٹوچسٹک گریڈینٹ ڈیسنٹ انجام دے سکتے ہیں: جہاں ہم نے ریپرامیٹریزیشن ٹرک کا استعمال کیا۔ جیسا کہ دکھایا گیا ہے، جی اے این میں جنریٹر کو اس کی "چوٹی سے نیچے پھسلنے" کے لیے حوصلہ افزائی کی جاتی ہے۔ اسی طرح واسرسٹین GAN میں جنریٹر کے لیے۔ واسرسٹین جی اے این کے لیے، تقریبا ہر جگہ گریڈیئنٹ 1 ہے، جبکہ جی اے این کے لیے، بیچ میں فلیٹ گریڈیئنٹ ہے، اور کہیں اور کھڑی گریڈیئنٹ ہے۔ نتیجے کے طور پر، جی اے این میں تخمینہ لگانے والے کے لیے تغیر عام طور پر واسرسٹین جی اے این کے مقابلے میں بہت زیادہ ہوتا ہے۔ شکل 3 بھی دیکھیں۔ اصل مشین لرننگ کے حالات میں مسئلہ بہت زیادہ شدید ہے۔ امیج نیٹ بنانے کے لیے جی اے این کی تربیت پر غور کریں، جو 256-بائی-256 سائز کی تصاویر کا مجموعہ ہے۔ ایسی تمام تصاویر کی جگہ ہے، اور امیج نیٹ تصاویر کی تقسیم، اس میں بہت کم طول و عرض کے کئی گنا پر مرکوز ہے۔ نتیجتا، کوئی بھی جنریٹر حکمت عملی تقریبا یقینی طور پر بنانے سے مکمل طور پر الگ ہوگی۔ اس طرح، ایک اچھا امتیازی سلوک کرنے والا تقریبا مکمل طور پر کسی سے بھی فرق کر سکتا ہے، اور ساتھ ہی اس کے قریب بھی۔ اس طرح، میلان، جنریٹر کے لیے کوئی سیکھنے کا اشارہ پیدا نہیں کرتا ہے۔ تفصیلی نظریات میں پایا جا سکتا ہے۔ ویسرسٹین جی اے این میں جنریٹر کی تربیت صرف گریڈینٹ نزول ہے، جیسا کہ جی اے این (یا سب سے زیادہ گہری سیکھنے کے طریقوں) میں ہے، لیکن امتیازی سلوک کرنے والے کی تربیت مختلف ہے، کیونکہ اب امتیازی سلوک کرنے والے کو محدود کر دیا گیا ہے۔ اس کے لیے کئی طریقے ہیں۔ اوپری باؤنڈنگ لپشٹز معیار ڈسکریمینیٹر فنکشن کو ملٹی لیئر پرسیپٹرون کے ذریعے نافذ کرنے دیں: جہاں، اور اس کے ساتھ ایک فکسڈ ایکٹیویشن فنکشن ہے۔ مثال کے طور پر، ہائپربولک ٹینجینٹ فنکشن ضرورت کو پورا کرتا ہے۔ پھر، کسی بھی چیز کے لیے، چلو، ہمارے پاس سلسلہ کے اصول کے مطابق ہے: اس طرح، کا Lipschitz معیار اوپری پابند ہے جہاں میٹرکس کا آپریٹر معیار ہے، یعنی میٹرکس کی سب سے بڑی واحد قدر، یعنی میٹرکس کا سپیکٹرم رداس (یہ تصورات میٹرکس کے لیے یکساں ہیں، لیکن عام لکیری آپریٹرز کے لیے مختلف ہیں)۔ چونکہ، ہمارے پاس ہے، اور اس کے نتیجے میں اوپری باؤنڈ: اس طرح، اگر ہم ہر میٹرکس کے اوپری باؤنڈ آپریٹر کے معیارات کر سکتے ہیں، تو ہم Lipschitz کے معیار کو اوپری باؤنڈ کر سکتے ہیں۔ ویٹ کلپنگ چونکہ کسی بھی میٹرکس کے لیے، ہم نے کچھ وقفے کے اندر تمام اندراجات کو کلپ کر دیا ہے، ہم پابند ہو سکتے ہیں۔ یہ وزن کاٹنے کا طریقہ ہے، جو اصل کاغذ کی طرف سے تجویز کیا گیا ہے۔ سپیکٹرم نارملائزیشن سپیکٹرم کے رداس کو مندرجہ ذیل الگورتھم کے ذریعے مؤثر طریقے سے شمار کیا جا سکتا ہے: ڈسکریمینیٹر کے ہر اپ ڈیٹ کے بعد دوبارہ تفویض کرنے سے، ہم اپر باؤنڈ کر سکتے ہیں، اور اس طرح اپر باؤنڈ کر سکتے ہیں۔ میموائزیشن کے ذریعے الگورتھم کو مزید تیز کیا جا سکتا ہے: مرحلہ وار، اسٹور۔ پھر مرحلہ وار، الگورتھم کے لیے ابتدائی اندازے کے طور پر استعمال کریں۔ چونکہ بہت قریب ہے، اس لیے قریب ہے، اس لیے یہ تیزی سے ہم آہنگی کی اجازت دیتا ہے۔ یہ سپیکٹرم نارملائزیشن کا طریقہ ہے۔ گریڈیئنٹ جرمانہ سختی سے پابند کرنے کے بجائے، ہم صرف امتیازی سلوک کرنے والے کے لیے "گریڈیئنٹ جرمانہ" کی اصطلاح شامل کر سکتے ہیں، جہاں ایک مقررہ تقسیم یہ اندازہ لگانے کے لیے استعمال ہوتی ہے کہ امتیازی سلوک کرنے والے نے لپشٹز کے معیار کی کتنی خلاف ورزی کی ہے۔ امتیازی سلوک کرنے والا، نئے نقصان کی تقریب کو کم سے کم کرنے کی کوشش میں، فطری طور پر ہر جگہ کے قریب لائے گا، اس طرح بنا دے گا۔ یہ گریڈینٹ پینلٹی کا طریقہ ہے۔ مزید پڑھنا GAN سے WGAN تک واسرسٹین GAN اور کانٹورووچ-روبنسٹائن ڈوئلٹی ڈیپتھ فرسٹ لرننگ: واسرسٹین GAN یہ بھی دیکھیں جنریٹو ایڈوسرل نیٹ ورک واسرسٹین میٹرک ارتھ موور کا ڈسٹنس ٹرانسپورٹیشن تھیوری حوالہ جات نیورل نیٹ ورک آرکیٹیکچرز علمی سائنس غیر نگرانی شدہ سیکھنا