Wasserstein GAN
वासरस्टीन जनरेटिव एडवर्सियल नेटवर्क (डब्ल्यू. जी. ए. एन.) 2017 में प्रस्तावित जनरेटिव एडवर्सियल नेटवर्क (जी. ए. एन.) का एक प्रकार है जिसका उद्देश्य "सीखने की स्थिरता में सुधार करना, मोड पतन जैसी समस्याओं से छुटकारा पाना, और डीबगिंग और हाइपरपैरामीटर खोजों के लिए उपयोगी सार्थक शिक्षण वक्र प्रदान करना" है। मूल जी. ए. एन. विभेदक की तुलना में, वासरस्टीन जी. ए. एन. विभेदक जनरेटर को एक बेहतर सीखने का संकेत प्रदान करता है। यह प्रशिक्षण को अधिक स्थिर होने देता है जब जनरेटर बहुत उच्च आयामी स्थानों में वितरण सीख रहा होता है। प्रेरणा जी. ए. एन. खेल मूल जी. ए. एन. विधि जी. ए. एन. खेल पर आधारित है, जो 2 खिलाड़ियों के साथ एक शून्य-राशि खेल हैः जनरेटर और डिस्क्रिमिनेटर। खेल को एक संभावना स्थान पर परिभाषित किया गया है, जनरेटर की रणनीति सेट पर सभी संभावना उपायों का सेट है, और भेदभाव करने वाले की रणनीति सेट मापने योग्य कार्यों का सेट है। खेल का उद्देश्य है जनरेटर का उद्देश्य इसे कम करना है, और भेदभाव करने वाले का उद्देश्य इसे अधिकतम करना है। जी. ए. एन. खेल के एक बुनियादी प्रमेय में कहा गया है कि जी. ए. एन. खेल को कई बार दोहराएं, हर बार जनरेटर पहले और डिस्क्रिमिनेटर दूसरे स्थान पर चलता है। हर बार जब जनरेटर बदलता है, तो भेदभाव करने वाले को आदर्श तक पहुँचकर अनुकूलन करना चाहिए क्योंकि हम वास्तव में रुचि रखते हैं, भेदभाव करने वाला कार्य अपने आप में दिलचस्प नहीं है। यह केवल जनरेटर वितरण और संदर्भ वितरण के बीच संभावना अनुपात पर नज़र रखता है। संतुलन में, भेदभाव करने वाला केवल लगातार आउटपुट कर रहा है, किसी भी अंतर को समझने की कोशिश करना छोड़ दिया है। ठोस रूप से, जी. ए. एन. खेल में, आइए हम एक जनरेटर को ठीक करें, और चरण-दर-चरण भेदभाव करने वाले में सुधार करें, जिसमें चरण-दर-चरण भेदभाव करने वाला होना भी शामिल है। फिर हम (आदर्श रूप से) देखते हैं कि भेदभाव करने वाला वास्तव में निम्न-सीमा वाला है। वासरस्टीन दूरी इस प्रकार, हम देखते हैं कि विभेदक का मुद्दा मुख्य रूप से जनरेटर के लिए प्रतिक्रिया प्रदान करने के लिए एक आलोचक के रूप में है, "यह पूर्णता से कितनी दूर है", जहां "दूर" को जेन्सेन-शैनन विचलन के रूप में परिभाषित किया गया है। स्वाभाविक रूप से, यह महँगाई के एक अलग मानदंड का उपयोग करने की संभावना लाता है। चुनने के लिए कई संभावित विचलन हैं, जैसे कि एफ-विचलन परिवार, जो एफ-जीएएन देगा। वासरस्टीन जी. ए. एन. वासरस्टीन मीट्रिक का उपयोग करके प्राप्त किया जाता है, जो एक "दोहरी प्रतिनिधित्व प्रमेय" को संतुष्ट करता है जो इसे गणना करने के लिए अत्यधिक कुशल बनाता हैः वासरस्टीन मीट्रिक पर मुख्य पृष्ठ में एक प्रमाण पाया जा सकता है। कांटोरोविच-रुबेनस्टीन द्वैत द्वारा, वासरस्टीन जी. ए. एन. की परिभाषा स्पष्ट हैः कांटोरोविच-रुबेनस्टीन द्वैत द्वारा, किसी भी जनरेटर रणनीति के लिए, भेदभाव करने वाले द्वारा इष्टतम उत्तर ऐसा है, कि परिणामस्वरूप, यदि भेदभाव करने वाला अच्छा है, तो जनरेटर को लगातार कम करने के लिए धक्का दिया जाएगा, और जनरेटर के लिए इष्टतम रणनीति उचित है, जैसा कि होना चाहिए। जी. ए. एन. के साथ तुलना वासरस्टीन जी. ए. एन. खेल में, भेदभाव करने वाला जी. ए. एन. खेल की तुलना में बेहतर ढाल प्रदान करता है। उदाहरण के लिए वास्तविक रेखा पर एक खेल पर विचार करें जहाँ दोनों और दोनों गौसी हैं। फिर इष्टतम वासरस्टीन आलोचक और इष्टतम जी. ए. एन. भेदभावकर्ता को नीचे दिए गए रूप में चित्रित किया गया हैः निश्चित भेदभावकर्ता के लिए, जनरेटर को निम्नलिखित उद्देश्यों को कम करने की आवश्यकता हैः जी. ए. एन. के लिए,। वासरस्टीन जी. ए. एन. के लिए। मान लीजिए कि इसके द्वारा मानकीकृत किया जाता है, फिर हम ढाल के दो निष्पक्ष अनुमानकों का उपयोग करके यादृच्छिक प्रवणता अवरोहण कर सकते हैंः जहां हमने पुनर्परिमाणीकरण चाल का उपयोग किया। जैसा कि दिखाया गया है, जी. ए. एन. में जनरेटर अपने "शिखर से नीचे खिसकने" के लिए प्रेरित होता है। इसी तरह वासरस्टीन जी. ए. एन. में जनरेटर के लिए। वासरस्टीन जी. ए. एन. के लिए, लगभग हर जगह ढाल 1 है, जबकि जी. ए. एन. के लिए, बीच में सपाट ढाल है, और कहीं और खड़ी ढाल है। नतीजतन, जी. ए. एन. में अनुमानक के लिए भिन्नता आमतौर पर वासरस्टीन जी. ए. एन. की तुलना में बहुत अधिक होती है। चित्र 3 को भी देखें। वास्तविक मशीन सीखने की स्थितियों में समस्या बहुत अधिक गंभीर होती है। इमेजनेट बनाने के लिए एक जी. ए. एन. को प्रशिक्षित करने पर विचार करें, जो 256-गुणा-256 आकार की तस्वीरों का एक संग्रह है। ऐसी सभी तस्वीरों का स्थान है, और इमेजनेट चित्रों का वितरण, इसमें बहुत कम आयाम के कई गुना पर केंद्रित है। नतीजतन, कोई भी जनरेटर रणनीति लगभग निश्चित रूप से बनाने से पूरी तरह से अलग होगी। इस प्रकार, एक अच्छा भेदभाव करने वाला लगभग पूरी तरह से अलग कर सकता है, साथ ही साथ किसी भी करीबी से भी। इस प्रकार, प्रवणता, जनरेटर के लिए कोई सीखने का संकेत नहीं बनाती है। विस्तृत प्रमेय पाए जा सकते हैं। वासरस्टीन जी. ए. एन. को प्रशिक्षण वासरस्टीन जी. ए. एन. में जनरेटर को प्रशिक्षण देना केवल ग्रेडिएंट डिसेंट है, जो जी. ए. एन. (या सबसे गहन सीखने के तरीकों) के समान है, लेकिन भेदभाव करने वाले को प्रशिक्षण देना अलग है, क्योंकि भेदभाव करने वाले को अब सीमित लिपशिट्ज़ मानक तक सीमित कर दिया गया है। इसके लिए कई तरीके हैं। लिपशिट्ज़ मानक की ऊपरी-सीमा, विभेदक कार्य को एक बहुस्तरीय परसेप्ट्रॉन द्वारा कार्यान्वित होने देंः जहाँ, और इसके साथ एक निश्चित सक्रियण कार्य है। उदाहरण के लिए, हाइपरबोलिक स्पर्शरेखा फलन आवश्यकता को पूरा करता है। फिर, किसी के लिए, मान लीजिए, हमारे पास श्रृंखला नियम हैः इस प्रकार, का लिपशिट्ज़ मानक ऊपरी-सीमा वाला है जहाँ मैट्रिक्स का प्रचालक मानक है, यानी, मैट्रिक्स का सबसे बड़ा एकवचन मूल्य, यानी, मैट्रिक्स की वर्णक्रमीय त्रिज्या (ये अवधारणाएँ मैट्रिक्स के लिए समान हैं, लेकिन सामान्य रैखिक प्रचालक के लिए अलग हैं)। चूंकि, हमारे पास है, और परिणामस्वरूप ऊपरी सीमाः इस प्रकार, यदि हम प्रत्येक मैट्रिक्स के ऊपरी-बाउंड ऑपरेटर मानदंड कर सकते हैं, तो हम के लिपशिट्ज़ मानक को ऊपरी-बाउंड कर सकते हैं। वेट क्लिपिंग चूंकि किसी भी मैट्रिक्स के लिए, मान लीजिए, हमने कुछ अंतराल के भीतर सभी प्रविष्टियों को क्लिप कर दिया है, इसलिए हम बाध्य हो सकते हैं। यह मूल कागज द्वारा प्रस्तावित वेट क्लिपिंग विधि है। वर्णक्रमीय सामान्यीकरण वर्णक्रमीय त्रिज्या की गणना निम्नलिखित एल्गोरिथ्म द्वारा कुशलता से की जा सकती हैः डिस्क्रिमिनेटर के प्रत्येक अद्यतन के बाद पुनः नियुक्त करके, हम ऊपरी सीमा तय कर सकते हैं, और इस प्रकार ऊपरी सीमा तय की जा सकती है। एल्गोरिथ्म को ज्ञापन द्वारा और तेज किया जा सकता हैः चरणबद्ध तरीके से, स्टोर करें। फिर चरण में, एल्गोरिथ्म के लिए प्रारंभिक अनुमान के रूप में उपयोग करें। चूंकि यह बहुत करीब है, इसलिए इसके करीब है, इसलिए यह तेजी से अभिसरण की अनुमति देता है। यह वर्णक्रमीय सामान्यीकरण विधि है। ग्रेडिएंट पेनल्टी सख्ती से बाध्य करने के बजाय, हम केवल भेदभाव करने वाले के लिए एक "ग्रेडिएंट पेनल्टी" शब्द जोड़ सकते हैं, जहां एक निश्चित वितरण का उपयोग यह अनुमान लगाने के लिए किया जाता है कि भेदभाव करने वाले ने लिपशिट्ज़ मानक आवश्यकता का कितना उल्लंघन किया है। भेदभाव करने वाला, नए नुकसान कार्य को कम करने के प्रयास में, स्वाभाविक रूप से हर जगह के करीब लाएगा, इस प्रकार बना देगा। यह ढाल दंड विधि है। आगे पढ़ने के लिए जी. ए. एन. से डब्ल्यू. जी. ए. एन. तक वासरस्टीन जी. ए. एन. और कांटोरोविच-रुबिनस्टीन द्वैत गहराई पहली सीखः वासरस्टीन जी. ए. एन. भी देखें जनरेटिव एडवर्सियल नेटवर्क वासरस्टीन मीट्रिक अर्थ मूवर का दूरी परिवहन सिद्धांत संदर्भ तंत्रिका नेटवर्क वास्तुकला संज्ञानात्मक विज्ञान गैर-पर्यवेक्षित शिक्षा