Wasserstein GAN
வாஸெர்ஸ்டீன் ஜெனரேட்டிவ் அட்வெர்சரியல் நெட்வொர்க் (டபிள்யூஜிஏஎன்) என்பது 2017 ஆம் ஆண்டில் முன்மொழியப்பட்ட ஜெனரேட்டிவ் அட்வெர்சரியல் நெட்வொர்க்கின் (ஜிஏஎன்) ஒரு மாறுபாடு ஆகும், இது "கற்றலின் ஸ்திரத்தன்மையை மேம்படுத்துவதையும், முறை சரிவு போன்ற சிக்கல்களிலிருந்து விடுபடுவதையும், பிழைத்திருத்தம் மற்றும் ஹைப்பர் அளவுரு தேடல்களுக்கு பயனுள்ள அர்த்தமுள்ள கற்றல் வளைவுகளை வழங்குவதையும் நோக்கமாகக் கொண்டுள்ளது". அசல் GAN டிஸ்கிரிமினேட்டருடன் ஒப்பிடும்போது, வாஸெர்ஸ்டீன் GAN டிஸ்கிரிமினேட்டர் ஜெனரேட்டருக்கு ஒரு சிறந்த கற்றல் சமிக்ஞையை வழங்குகிறது. ஜெனரேட்டர் மிக உயர் பரிமாண இடங்களில் விநியோகங்களைக் கற்றுக் கொள்ளும்போது பயிற்சி மிகவும் நிலையானதாக இருக்க இது அனுமதிக்கிறது. உந்துதல் GAN விளையாட்டு அசல் GAN முறை GAN விளையாட்டை அடிப்படையாகக் கொண்டது, இது 2 வீரர்களைக் கொண்ட பூஜ்ஜிய தொகை விளையாட்டுஃ ஜெனரேட்டர் மற்றும் டிஸ்கிரிமினேட்டர். விளையாட்டு ஒரு நிகழ்தகவு இடத்தில் வரையறுக்கப்படுகிறது, ஜெனரேட்டரின் மூலோபாய தொகுப்பு என்பது அனைத்து நிகழ்தகவு நடவடிக்கைகளின் தொகுப்பாகும், மேலும் பாகுபாடு காட்டுபவரின் மூலோபாய தொகுப்பு அளவிடக்கூடிய செயல்பாடுகளின் தொகுப்பாகும். விளையாட்டின் நோக்கம் ஜெனரேட்டர் அதை குறைப்பதை நோக்கமாகக் கொண்டுள்ளது, மேலும் பாகுபாடு காட்டுபவர் அதை அதிகரிப்பதை நோக்கமாகக் கொண்டுள்ளார். GAN விளையாட்டின் ஒரு அடிப்படை தேற்றம், GAN விளையாட்டை பல முறை மீண்டும் செய்யவும், ஒவ்வொரு முறையும் ஜெனரேட்டர் முதலில் நகரும், பாகுபாடு காட்டுபவர் இரண்டாவது நகரும் என்று கூறுகிறது. ஒவ்வொரு முறையும் ஜெனரேட்டர் மாறும்போது, பாகுபாடு காட்டுபவர் இலட்சியத்தை அணுகுவதன் மூலம் மாற்றியமைக்க வேண்டும், ஏனெனில் நாம் உண்மையில் ஆர்வமாக இருப்பதால், பாகுபாடு காட்டுபவரின் செயல்பாடு தானாகவே ஆர்வமற்றது. இது வெறுமனே ஜெனரேட்டர் விநியோகத்திற்கும் குறிப்பு விநியோகத்திற்கும் இடையிலான சாத்தியக்கூறு விகிதத்தை கண்காணிக்கிறது. சமநிலையில், பாகுபாடு காட்டுபவர் தொடர்ந்து வெளியீடு செய்கிறார், எந்தவொரு வித்தியாசத்தையும் உணர முயற்சிக்கிறார். குறிப்பாக, GAN விளையாட்டில், ஒரு ஜெனரேட்டரை சரிசெய்து, படிப்படியாக பாகுபாடு காட்டுபவரை படிப்படியாக மேம்படுத்துவோம். பின்னர் நாம் (வெறுமனே) பாகுபாடு காட்டுபவர் உண்மையில் குறைந்த வரம்புடையவர் என்பதைக் காண்கிறோம். எனவே, பாகுபாடு காட்டுபவரின் புள்ளி முக்கியமாக ஜெனரேட்டருக்கு கருத்துக்களை வழங்குவதற்கான ஒரு விமர்சகராக இருப்பதைக் காண்கிறோம், "அது பரிபூரணத்திலிருந்து எவ்வளவு தொலைவில் உள்ளது", அங்கு "தூரம்" என்பது ஜென்சன்-ஷானன் வேறுபாடு என வரையறுக்கப்படுகிறது. இயற்கையாகவே, இது விலைக்கு மாறுபட்ட அளவுகோல்களைப் பயன்படுத்துவதற்கான வாய்ப்பைக் கொண்டுவருகிறது. தேர்வு செய்ய பல சாத்தியமான வேறுபாடுகள் உள்ளன, அதாவது f-வேறுபாடு குடும்பம், இது f-GAN ஐக் கொடுக்கும். வாஸெர்ஸ்டைன் மெட்ரிக் பயன்படுத்துவதன் மூலம் வாஸெர்ஸ்டைன் GAN பெறப்படுகிறது, இது ஒரு "இரட்டை பிரதிநிதித்துவ தேற்றத்தை" திருப்திப்படுத்துகிறது, இது கணக்கிடுவதற்கு மிகவும் திறமையானதாக அமைகிறதுஃ வாஸெர்ஸ்டைன் மெட்ரிக் பற்றிய பிரதான பக்கத்தில் ஒரு ஆதாரத்தைக் காணலாம். வரையறை கான்டோரோவிச்-ரூபன்ஸ்டீன் இரட்டைத்தன்மை மூலம், வாஸெர்ஸ்டீன் GAN இன் வரையறை தெளிவாக உள்ளதுஃ கான்டோரோவிச்-ரூபன்ஸ்டீன் இரட்டைத்தன்மை மூலம், எந்தவொரு ஜெனரேட்டர் மூலோபாயத்திற்கும், பாகுபாடு காட்டுபவரின் உகந்த பதில், இதன் விளைவாக, பாகுபாடு காட்டுபவர் நல்லவராக இருந்தால், ஜெனரேட்டர் தொடர்ந்து குறைக்க தள்ளப்படும், மேலும் ஜெனரேட்டருக்கான உகந்த மூலோபாயம் நியாயமானது, அது செய்ய வேண்டும். வாஸெர்ஸ்டீன் GAN விளையாட்டில், பாகுபாடு காட்டுபவர் GAN விளையாட்டை விட சிறந்த சாய்வை வழங்குகிறார். எடுத்துக்காட்டாக, ரியல் லைனில் உள்ள ஒரு விளையாட்டைக் கவனியுங்கள், அங்கு இருவரும் காஸியன். பின்னர் உகந்த வாஸெர்ஸ்டீன் விமர்சகர் மற்றும் உகந்த GAN பாகுபாடு காட்டுபவர் பின்வருமாறு திட்டமிடப்பட்டுள்ளனர்ஃ நிலையான பாகுபாடு காட்டுபவருக்கு, ஜெனரேட்டர் பின்வரும் நோக்கங்களைக் குறைக்க வேண்டும்ஃ GAN க்கு,. வாஸெர்ஸ்டீன் GAN க்கு,. இதன் மூலம் அளவுருவாக இருக்கட்டும், பின்னர் சாய்வின் இரண்டு பக்கச்சார்பற்ற மதிப்பீட்டாளர்களைப் பயன்படுத்துவதன் மூலம் சீரற்ற சாய்வு வம்சாவளியைச் செய்யலாம்ஃ அங்கு நாம் மறுசீரமைப்பு தந்திரத்தைப் பயன்படுத்தினோம். காட்டப்பட்டுள்ளபடி, GAN இல் உள்ள ஜெனரேட்டர் அதன் "உச்சத்திலிருந்து கீழே சறுக்க" அனுமதிக்க தூண்டப்படுகிறது. இதேபோல் வாஸெர்ஸ்டீன் GAN இல் உள்ள ஜெனரேட்டருக்கும். வாஸெர்ஸ்டீன் GAN ஐப் பொறுத்தவரை, கிட்டத்தட்ட எல்லா இடங்களிலும் சாய்வு 1 உள்ளது, அதே நேரத்தில் GAN ஐப் பொறுத்தவரை, நடுவில் தட்டையான சாய்வு மற்றும் வேறு இடங்களில் செங்குத்தான சாய்வு உள்ளது. இதன் விளைவாக, GAN இல் உள்ள மதிப்பீட்டாளருக்கான மாறுபாடு பொதுவாக வாஸெர்ஸ்டீன் GAN இல் உள்ளதை விட மிகப் பெரியது. மேலும் படம் 3 ஐப் பார்க்கவும். உண்மையான இயந்திர கற்றல் சூழ்நிலைகளில் சிக்கல் மிகவும் கடுமையானது. இமேஜ்நெட்டை உருவாக்க ஒரு GAN ஐப் பயிற்றுவிக்கவும், இது 256-ஆல்-256 அளவிலான புகைப்படங்களின் தொகுப்பாகும். அத்தகைய அனைத்து புகைப்படங்களின் இடமும், இமேஜ்நெட் படங்களின் விநியோகமும், அதில் உள்ள மிகக் குறைந்த பரிமாணத்தின் பன்மடங்கு மீது கவனம் செலுத்துகிறது. இதன் விளைவாக, எந்தவொரு ஜெனரேட்டர் மூலோபாயமும் கிட்டத்தட்ட நிச்சயமாக தயாரிப்பிலிருந்து முற்றிலும் வேறுபட்டிருக்கும். எனவே, ஒரு நல்ல பாகுபாடு காட்டுபவர் எந்தவொரு நெருக்கமானவரிடமிருந்தும் கிட்டத்தட்ட சரியாக வேறுபடுத்திக் காட்ட முடியும். எனவே, சாய்வு, ஜெனரேட்டருக்கு எந்த கற்றல் சமிக்ஞையையும் உருவாக்காது. விரிவான கோட்பாடுகளை இங்கு காணலாம். வாஸெர்ஸ்டீன் GAN களில் ஜெனரேட்டரைப் பயிற்றுவிப்பது என்பது GAN (அல்லது மிகவும் ஆழமான கற்றல் முறைகள்) போலவே சாய்வு வம்சாவளியாகும், ஆனால் பாகுபாடு காட்டுபவருக்கு பயிற்சி அளிப்பது வேறுபட்டது, ஏனெனில் பாகுபாடு காட்டுபவர் இப்போது லிப்சிட்ஸ் நெறிமுறையை கட்டுப்படுத்தப்பட்டுள்ளது. இதற்கு பல்வேறு வழிகள் உள்ளன. லிப்ஸ்கிட்ஸ் நெறிமுறையின் மேல் வரம்பு, டிஸ்கிரிமினேட்டர் செயல்பாட்டை ஒரு பல அடுக்கு பெர்செப்ட்ரான் மூலம் செயல்படுத்தட்டும்ஃ எங்கே, மற்றும் இது ஒரு நிலையான செயல்படுத்தும் செயல்பாடாகும். எடுத்துக்காட்டாக, ஹைபர்போலிக் டான்ஜென்ட் செயல்பாடு தேவையை பூர்த்தி செய்கிறது. பின்னர், எதற்கும், சங்கிலி விதியின் படி நாம் வைத்திருக்கட்டும்ஃ எனவே, மேட்ரிக்ஸின் ஆபரேட்டர் நெறிமுறை, அதாவது மேட்ரிக்ஸின் மிகப்பெரிய ஒருமை மதிப்பு, அதாவது மேட்ரிக்ஸின் ஸ்பெக்ட்ரல் ஆரம் (இந்த கருத்துக்கள் மேட்ரிக்ஸ்களுக்கு ஒரே மாதிரியானவை, ஆனால் பொது நேரியல் ஆபரேட்டர்களுக்கு வேறுபட்டவை). ஏனெனில், நம்மிடம் உள்ளது, இதன் விளைவாக மேல் வரம்புஃ எனவே, ஒவ்வொரு மேட்ரிக்ஸின் மேல் வரம்புள்ள ஆபரேட்டர் விதிமுறைகளையும் நாம் பெற முடிந்தால், லிப்ஸிட்ச் நெறிமுறையின் மேல் வரம்பை நாம் பெறலாம். எடை கிளிப்பிங் எந்தவொரு மேட்ரிக்ஸுக்கும், ஒரு குறிப்பிட்ட இடைவெளியில் அனைத்து உள்ளீடுகளையும் கிளிப்பிங் செய்வோம், நாம் பிணைக்க முடியும். இது அசல் காகிதத்தால் முன்மொழியப்பட்ட எடை கிளிப்பிங் முறையாகும். ஸ்பெக்ட்ரல் இயல்பாக்கம் ஸ்பெக்ட்ரல் ஆரத்தை பின்வரும் வழிமுறை மூலம் திறம்பட கணக்கிட முடியும்ஃ டிஸ்கிரிமினேட்டரின் ஒவ்வொரு புதுப்பித்தலுக்குப் பிறகும் மறுசீரமைப்பதன் மூலம், நாம் மேல் வரம்பைக் கொண்டிருக்கலாம், இதனால் மேல் வரம்பைக் கொண்டிருக்கலாம். மெமோய்சேஷன் மூலம் வழிமுறையை மேலும் துரிதப்படுத்தலாம்ஃ படிப்படியாக, சேமிக்கவும். பின்னர் படிப்படியாக, வழிமுறையின் ஆரம்ப யூகமாக பயன்படுத்தவும். இது மிகவும் நெருக்கமாக இருப்பதால், அது நெருக்கமாக உள்ளது, எனவே இது விரைவான ஒருங்கிணைப்பை அனுமதிக்கிறது. இது ஸ்பெக்ட்ரல் நார்மலைசேஷன் முறை. கிரேடியன்ட் பெனால்டி கண்டிப்பாக கட்டுப்படுவதற்குப் பதிலாக, பாகுபாடு காட்டுபவருக்கு ஒரு "கிரேடியன்ட் பெனால்டி" வார்த்தையைச் சேர்க்கலாம், இது ஒரு நிலையான விநியோகமாகும், இது பாகுபாடு காட்டுபவர் லிப்ஸ்கிட்ஸ் நெறிமுறைத் தேவையை எவ்வளவு மீறியுள்ளார் என்பதை மதிப்பிடுவதற்குப் பயன்படுத்தப்படுகிறது. பாகுபாடு காட்டுபவர், புதிய இழப்பு செயல்பாட்டைக் குறைக்க முயற்சிக்கும்போது, இயற்கையாகவே எல்லா இடங்களுக்கும் நெருக்கமாக வருவார், இதனால். இது சாய்வு தண்டனை முறை. மேலும் வாசிப்பு GAN முதல் WGAN வரை வாஸெர்ஸ்டீன் GAN மற்றும் கான்டோரோவிச்-ரூபின்ஸ்டீன் டூயலிட்டி டெப்த் ஃபர்ஸ்ட் லர்னிங்ஃ வாஸெர்ஸ்டீன் GAN மேலும் காண்க ஜெனரேட்டிவ் அட்வெர்சரியல் நெட்வொர்க் வாஸெர்ஸ்டீன் மெட்ரிக் எர்த் மூவரின் தொலைதூர போக்குவரத்து கோட்பாடு குறிப்புகள் நரம்பியல் நெட்வொர்க் கட்டமைப்புகள் அறிவாற்றல் அறிவியல் மேற்பார்வையிடப்படாத கற்றல்