Wasserstein GAN
ওয়াসারস্টাইন জেনারেটিভ অ্যাডভারসারিয়াল নেটওয়ার্ক (ডব্লিউজিএএন) হল 2017 সালে প্রস্তাবিত জেনারেটিভ অ্যাডভারসারিয়াল নেটওয়ার্কের (জিএএন) একটি রূপ যার লক্ষ্য হল "শেখার স্থিতিশীলতা উন্নত করা, মোড পতনের মতো সমস্যা থেকে মুক্তি পাওয়া এবং ডিবাগিং এবং হাইপারপ্যারামিটার অনুসন্ধানের জন্য দরকারী অর্থবহ শেখার বক্ররেখা প্রদান করা"। মূল জিএএন ডিসক্রিমিনেটরের তুলনায়, ওয়াসারস্টাইন জিএএন ডিসক্রিমিনেটর জেনারেটরকে আরও ভাল শিক্ষার সংকেত প্রদান করে। এটি প্রশিক্ষণকে আরও স্থিতিশীল হতে দেয় যখন জেনারেটর খুব উচ্চ মাত্রিক স্থানে বিতরণ শিখছে। অনুপ্রেরণা জি. এ. এন খেলা মূল জি. এ. এন পদ্ধতিটি জি. এ. এন খেলার উপর ভিত্তি করে তৈরি, একটি শূন্য-সমষ্টি খেলা যাতে 2 জন খেলোয়াড় রয়েছেঃ জেনারেটর এবং বৈষম্যকারী। খেলাটি একটি সম্ভাব্যতা স্থানের উপর সংজ্ঞায়িত করা হয়, জেনারেটরের কৌশল সেট হল সমস্ত সম্ভাব্যতা পরিমাপের সেট, এবং বৈষম্যকারীর কৌশল সেট হল পরিমাপযোগ্য ফাংশনের সেট। গেমটির উদ্দেশ্য হল জেনারেটরের লক্ষ্য এটি হ্রাস করা, এবং বৈষম্যকারীর লক্ষ্য এটি সর্বাধিক করা। জিএএন গেমের একটি মৌলিক উপপাদ্য বলে যে জিএএন গেমটি অনেকবার পুনরাবৃত্তি করুন, প্রতিবার জেনারেটরটি প্রথমে এবং বৈষম্যকারী দ্বিতীয়বার সরে যায়। প্রতিবার জেনারেটর পরিবর্তন করার সময়, বৈষম্যকারীকে অবশ্যই আদর্শের সাথে খাপ খাইয়ে নিতে হবে যেহেতু আমরা সত্যিই আগ্রহী, বৈষম্যমূলক ফাংশনটি নিজেই বরং আগ্রহী নয়। এটি কেবল জেনারেটর বিতরণ এবং রেফারেন্স বিতরণের মধ্যে সম্ভাব্যতা অনুপাতের উপর নজর রাখে। ভারসাম্যে, বৈষম্যকারী কেবল ক্রমাগত আউটপুট করছে, যে কোনও পার্থক্য উপলব্ধি করার চেষ্টা ছেড়ে দিয়েছে। সুনির্দিষ্টভাবে, জিএএন গেমে, আসুন আমরা একটি জেনারেটর ঠিক করি, এবং ধাপে ধাপে বৈষম্যকারী হওয়ার সাথে ধাপে ধাপে বৈষম্যকারীকে উন্নত করি। তারপর আমরা (আদর্শভাবে) দেখতে পাই যে বৈষম্যকারী আসলে নিম্ন-সীমার। ওয়াসারস্টেইন দূরত্ব সুতরাং, আমরা দেখতে পাই যে বৈষম্যকারীর মূল বিষয় হল প্রধানত একজন সমালোচক হিসাবে জেনারেটরের জন্য প্রতিক্রিয়া প্রদান করা, "এটি পরিপূর্ণতা থেকে কতটা দূরে", যেখানে "দূর" কে জেনসেন-শ্যানন বিচ্যুতি হিসাবে সংজ্ঞায়িত করা হয়। স্বাভাবিকভাবেই, এটি মূল্যবৃদ্ধির একটি ভিন্ন মানদণ্ড ব্যবহার করার সম্ভাবনা নিয়ে আসে। বেছে নেওয়ার জন্য অনেকগুলি সম্ভাব্য বিচ্যুতি রয়েছে, যেমন এফ-বিচ্যুতি পরিবার, যা এফ-জিএএন দেবে। ওয়াসারস্টাইন মেট্রিক ব্যবহার করে ওয়াসারস্টাইন জিএএন প্রাপ্ত হয়, যা একটি "দ্বৈত উপস্থাপনা উপপাদ্য" সন্তুষ্ট করে যা এটিকে গণনার জন্য অত্যন্ত দক্ষ করে তোলেঃ ওয়াসারস্টাইন মেট্রিকের মূল পৃষ্ঠায় একটি প্রমাণ পাওয়া যেতে পারে। ক্যান্টোরোভিচ-রুবেনস্টেইন দ্বৈততা দ্বারা, ওয়াসারস্টেইন জিএএন-এর সংজ্ঞা স্পষ্টঃ ক্যান্টোরোভিচ-রুবেনস্টেইন দ্বৈততা দ্বারা, যে কোনও জেনারেটর কৌশলের জন্য, বৈষম্যকারীর দ্বারা সর্বোত্তম উত্তর হল, ফলস্বরূপ, যদি বৈষম্যকারী ভাল হয়, জেনারেটরকে ক্রমাগত হ্রাস করার জন্য ধাক্কা দেওয়া হবে, এবং জেনারেটরের জন্য সর্বোত্তম কৌশলটি ন্যায়সঙ্গত, যেমনটি হওয়া উচিত। GAN-এর সাথে তুলনা ওয়াসারস্টাইন GAN গেমে, বৈষম্যকারী GAN গেমের তুলনায় আরও ভাল গ্রেডিয়েন্ট সরবরাহ করে। উদাহরণস্বরূপ বাস্তব লাইনের একটি খেলা বিবেচনা করুন যেখানে উভয়ই গাউসিয়ান। তারপরে সর্বোত্তম ওয়াসারস্টাইন সমালোচক এবং সর্বোত্তম জিএএন বৈষম্যকারীকে নিম্নরূপ প্লট করা হয়েছেঃ নির্দিষ্ট বৈষম্যকারীর জন্য, জেনারেটরকে নিম্নলিখিত উদ্দেশ্যগুলি হ্রাস করতে হবেঃ জিএএন-এর জন্য,। ওয়াসারস্টেইন জিএএন-এর জন্য। এর দ্বারা প্যারামিট্রাইজ করা যাক, তারপরে আমরা গ্রেডিয়েন্টের দুটি নিরপেক্ষ প্রাক্কলনকারী ব্যবহার করে স্টোকাস্টিক গ্রেডিয়েন্ট ডিসেন্ট করতে পারিঃ যেখানে আমরা রিপ্যারামিট্রাইজেশান কৌশলটি ব্যবহার করেছি। যেমন দেখানো হয়েছে, জিএএন-এ জেনারেটরটি তার "শীর্ষে নামতে" দেওয়ার জন্য অনুপ্রাণিত হয়। একইভাবে ওয়াসারস্টেইন জিএএন-এর জেনারেটরের জন্য। ওয়াসারস্টেইন জিএএন-এর জন্য, প্রায় সর্বত্র গ্রেডিয়েন্ট 1 রয়েছে, যেখানে জিএএন-এর জন্য, মাঝখানে সমতল গ্রেডিয়েন্ট এবং অন্যত্র খাড়া গ্রেডিয়েন্ট রয়েছে। ফলস্বরূপ, জিএএন-এ প্রাক্কলনকারীর বৈচিত্র্য সাধারণত ওয়াসারস্টাইন জিএএন-এর তুলনায় অনেক বেশি হয়। এছাড়াও ছবি 3 দেখুন। প্রকৃত মেশিন লার্নিং পরিস্থিতিতে সমস্যাটি অনেক বেশি গুরুতর। ইমেজনেট তৈরি করার জন্য একটি জিএএন প্রশিক্ষণের কথা বিবেচনা করুন, যা 256-বাই-256 আকারের ছবির একটি সংগ্রহ। এই ধরনের সমস্ত ছবির স্থান হল, এবং ইমেজনেট ছবির বিতরণ, এতে অনেক কম মাত্রার বহুগুণের উপর মনোনিবেশ করে। ফলস্বরূপ, যে কোনও উৎপাদক কৌশল প্রায় নিশ্চিতভাবেই উৎপাদন থেকে সম্পূর্ণ বিচ্ছিন্ন হবে। সুতরাং, একজন ভাল বৈষম্যকারী প্রায় নিখুঁতভাবে পার্থক্য করতে পারে, সেইসাথে যে কোনও কাছের থেকে। সুতরাং, গ্রেডিয়েন্ট, জেনারেটরের জন্য কোনও শেখার সংকেত তৈরি করে না। বিস্তারিত উপপাদ্য পাওয়া যাবে। ওয়াসারস্টেইন জিএএন-কে প্রশিক্ষণ জেনারেটরকে ওয়াসারস্টেইন জিএএন-এ প্রশিক্ষণ দেওয়া কেবল গ্রেডিয়েন্ট ডিসেন্ট, জিএএন-এর মতোই (বা সবচেয়ে গভীর শিক্ষার পদ্ধতি), তবে বৈষম্যকারীকে প্রশিক্ষণ দেওয়া আলাদা, কারণ বৈষম্যকারী এখন সীমাবদ্ধ লিপস্কিটজ নিয়মে সীমাবদ্ধ। এর জন্য বিভিন্ন পদ্ধতি রয়েছে। লিপস্কিটজ আদর্শের উপরের সীমানায় বৈষম্যকারী ফাংশনটিকে একটি মাল্টিলেয়ার পারসেপ্ট্রন দ্বারা প্রয়োগ করা যাকঃ যেখানে, এবং এটি একটি নির্দিষ্ট অ্যাক্টিভেশন ফাংশন। উদাহরণস্বরূপ, হাইপারবোলিক ট্যানজেন্ট ফাংশন প্রয়োজনীয়তা পূরণ করে। তারপর, যাই হোক না কেন, আসুন, আমরা শৃঙ্খলের নিয়ম অনুসারে পাইঃ সুতরাং, এর লিপশিটজ আদর্শটি উপরের-সীমাবদ্ধ যেখানে ম্যাট্রিক্সের অপারেটর আদর্শ, অর্থাৎ ম্যাট্রিক্সের বৃহত্তম একক মান, অর্থাৎ ম্যাট্রিক্সের বর্ণালী ব্যাসার্ধ (এই ধারণাগুলি ম্যাট্রিক্সের জন্য একই, তবে সাধারণ রৈখিক অপারেটরদের জন্য আলাদা)। যেহেতু, আমাদের আছে, এবং ফলস্বরূপ উপরের বাউন্ডঃ সুতরাং, আমরা যদি প্রতিটি ম্যাট্রিক্সের আপার-বাউন্ড অপারেটর নিয়মগুলি করতে পারি, তবে আমরা এর লিপস্কিটজ নিয়মটিকে আপার-বাউন্ড করতে পারি। যেহেতু যে কোনও ম্যাট্রিক্সের জন্য, আসুন, আমরা কিছু ব্যবধানের মধ্যে সমস্ত এন্ট্রি ক্লিপ করে থাকি, আমরা আবদ্ধ করতে পারি। এটি মূল কাগজ দ্বারা প্রস্তাবিত ওজন ক্লিপিং পদ্ধতি। বর্ণালী স্বাভাবিককরণ বর্ণালী ব্যাসার্ধ নিম্নলিখিত অ্যালগরিদম দ্বারা দক্ষতার সাথে গণনা করা যেতে পারেঃ বৈষম্যকারীর প্রতিটি আপডেটের পরে পুনরায় নিয়োগের মাধ্যমে, আমরা উপরের বাউন্ড এবং এইভাবে উপরের বাউন্ড করতে পারি। অ্যালগরিদমটি মেমোয়াইজেশনের মাধ্যমে আরও ত্বরান্বিত করা যেতে পারেঃ ধাপে ধাপে, সঞ্চয় করুন। তারপর ধাপে ধাপে, অ্যালগরিদমের প্রাথমিক অনুমান হিসাবে ব্যবহার করুন। যেহেতু এটি খুব কাছাকাছি, তাই কাছাকাছি, তাই এটি দ্রুত অভিসারের অনুমতি দেয়। এটি বর্ণালী স্বাভাবিককরণ পদ্ধতি। গ্রেডিয়েন্ট পেনাল্টি কঠোরভাবে সীমাবদ্ধ করার পরিবর্তে, আমরা কেবল বৈষম্যকারীর জন্য একটি "গ্রেডিয়েন্ট পেনাল্টি" শব্দ যোগ করতে পারি, যেখানে একটি নির্দিষ্ট বন্টন যা অনুমান করতে ব্যবহৃত হয় যে বৈষম্যকারী লিপস্কিটজ আদর্শের প্রয়োজনীয়তা কতটা লঙ্ঘন করেছে। বৈষম্যকারী, নতুন ক্ষতির কার্যকারিতা হ্রাস করার প্রয়াসে, স্বাভাবিকভাবেই সর্বত্র কাছাকাছি নিয়ে আসবে, এইভাবে তৈরি করবে। এটি গ্রেডিয়েন্ট পেনাল্টি পদ্ধতি। আরও পড়া জি. এ. এন থেকে ডব্লিউ. জি. এ. এন পর্যন্ত ওয়াসারস্টাইন জি. এ. এন এবং কান্টোরোভিচ-রুবিনস্টাইন দ্বৈততার গভীরতা প্রথম শিক্ষাঃ ওয়াসারস্টাইন জি. এ. এন আরও দেখুন জেনারেটিভ অ্যাডভারসারিয়াল নেটওয়ার্ক ওয়াসারস্টাইন মেট্রিক আর্থ মুভারের দূরত্ব পরিবহন তত্ত্ব রেফারেন্স নোটস নিউরাল নেটওয়ার্ক আর্কিটেকচার কগনিটিভ সায়েন্স আনসপার্ভড লার্নিং