Wasserstein GAN
વેસરસ્ટીન જનરેટિવ એડવર્સરીયલ નેટવર્ક (ડબલ્યુ. જી. એ. એન.) એ 2017માં પ્રસ્તાવિત જનરેટિવ એડવર્સરીયલ નેટવર્ક (જી. એ. એન.) નો એક પ્રકાર છે જેનો ઉદ્દેશ "શીખવાની સ્થિરતામાં સુધારો કરવો, મોડ પતન જેવી સમસ્યાઓથી છુટકારો મેળવવો અને ડિબગીંગ અને હાયપરપેરામીટર શોધ માટે ઉપયોગી અર્થપૂર્ણ શિક્ષણ વળાંક પ્રદાન કરવો" છે. મૂળ GAN ડિસ્ક્રિમિનેટરની તુલનામાં, વેસરસ્ટીન GAN ડિસ્ક્રિમિનેટર જનરેટરને વધુ સારું શિક્ષણ સંકેત પ્રદાન કરે છે. જ્યારે જનરેટર ખૂબ જ ઉચ્ચ પરિમાણીય જગ્યાઓમાં વિતરણ શીખી રહ્યું હોય ત્યારે આ તાલીમને વધુ સ્થિર બનવાની મંજૂરી આપે છે. પ્રેરણા જી. એ. એન. રમત મૂળ જી. એ. એન. પદ્ધતિ જી. એ. એન. રમત પર આધારિત છે, જે 2 ખેલાડીઓ સાથેની શૂન્ય-રકમની રમત છેઃ જનરેટર અને ડિસ્ક્રિમિનેટર. રમતને સંભાવના જગ્યા પર વ્યાખ્યાયિત કરવામાં આવે છે, જનરેટરની વ્યૂહરચના સમૂહ એ તમામ સંભાવના પગલાંનો સમૂહ છે, અને ભેદભાવ કરનારની વ્યૂહરચના સમૂહ એ માપી શકાય તેવા કાર્યોનો સમૂહ છે. રમતનો ઉદ્દેશ એ છે કે જનરેટરનો હેતુ તેને ઘટાડવાનો છે, અને ભેદભાવ કરનારનો હેતુ તેને મહત્તમ કરવાનો છે. જી. એ. એન. રમતનો મૂળભૂત સિદ્ધાંત જણાવે છે કે જી. એ. એન. રમતને ઘણી વખત પુનરાવર્તિત કરો, દરેક વખતે જનરેટર પહેલા આગળ વધે છે અને ડિસ્ક્રિમિનેટર બીજા તરફ આગળ વધે છે. દરેક વખતે જ્યારે જનરેટર બદલાય છે, ત્યારે વિભેદકએ આદર્શનો સંપર્ક કરીને અનુકૂલન કરવું જોઈએ કારણ કે આપણને ખરેખર રસ છે, તેથી વિભેદક કાર્ય પોતે જ રસહીન છે. તે માત્ર જનરેટર વિતરણ અને સંદર્ભ વિતરણ વચ્ચેના સંભાવના ગુણોત્તર પર નજર રાખે છે. સંતુલનમાં, ભેદભાવ કરનાર કોઈ પણ તફાવતને સમજવાનો પ્રયાસ કરવાનું છોડી દે છે અને સતત આઉટપુટ આપે છે. ચોક્કસપણે, GAN રમતમાં, ચાલો આપણે જનરેટરને ઠીક કરીએ, અને ભેદભાવ કરનારને પગલું-દર-પગલા સુધારીએ. પછી આપણે (આદર્શ રીતે) જોઈએ છીએ કે ભેદભાવ કરનાર ખરેખર નીચલા-સીમા છે. આમ, આપણે જોઈએ છીએ કે વિવેચકનો મુદ્દો મુખ્યત્વે જનરેટર માટે પ્રતિસાદ પ્રદાન કરવા માટે એક વિવેચક તરીકે છે, "તે સંપૂર્ણતાથી કેટલું દૂર છે", જ્યાં "દૂર" ને જેનસન-શૅનન વિચલન તરીકે વ્યાખ્યાયિત કરવામાં આવે છે. સ્વાભાવિક રીતે, આ મોંઘવારીના અલગ માપદંડનો ઉપયોગ કરવાની સંભાવના લાવે છે. પસંદ કરવા માટે ઘણા સંભવિત વિચલનો છે, જેમ કે એફ-વિચલન પરિવાર, જે એફ-જીએએન આપશે. વાસરસ્ટીન GAN વાસરસ્ટીન મેટ્રિકનો ઉપયોગ કરીને મેળવવામાં આવે છે, જે "બેવડા પ્રતિનિધિત્વ પ્રમેય" ને સંતોષે છે જે તેને ગણતરી કરવા માટે અત્યંત કાર્યક્ષમ બનાવે છેઃ વાસરસ્ટીન મેટ્રિક પરના મુખ્ય પૃષ્ઠમાં એક પુરાવો મળી શકે છે. વ્યાખ્યા કેન્ટોરોવિચ-રુબેનસ્ટીન દ્વૈત દ્વારા, વાસરસ્ટીન જી. એ. એન. ની વ્યાખ્યા સ્પષ્ટ છેઃ કેન્ટોરોવિચ-રુબેનસ્ટીન દ્વૈત દ્વારા, કોઈપણ જનરેટર વ્યૂહરચના માટે, ભેદભાવ કરનાર દ્વારા શ્રેષ્ઠ જવાબ છે, જેમ કે પરિણામે, જો ભેદભાવ કરનાર સારો છે, તો જનરેટરને સતત ઘટાડવા માટે દબાણ કરવામાં આવશે, અને જનરેટર માટે શ્રેષ્ઠ વ્યૂહરચના ન્યાયી છે, જેમ તે જોઈએ. જી. એ. એન. સાથે સરખામણી વાસરસ્ટીન જી. એ. એન. રમતમાં, ભેદભાવ કરનાર જી. એ. એન. રમત કરતાં વધુ સારી ઢાળ પૂરી પાડે છે. ઉદાહરણ તરીકે વાસ્તવિક રેખા પરની રમતને ધ્યાનમાં લો જ્યાં બંને અને ગૌસીયન છે. પછી શ્રેષ્ઠ વાસરસ્ટીન વિવેચક અને શ્રેષ્ઠ જી. એ. એન. વિવેચકને નીચે દર્શાવેલ છેઃ નિશ્ચિત વિવેચક માટે, જનરેટરને નીચેના હેતુઓને ઘટાડવાની જરૂર છેઃ જી. એ. એન. માટે, વાસરસ્ટીન જી. એ. એન. માટે. ચાલો પેરામેટ્રીઝ્ડ કરીએ, પછી આપણે ગ્રેડિયન્ટના બે નિષ્પક્ષ અંદાજકારોનો ઉપયોગ કરીને સ્ટોકેસ્ટિક ગ્રેડિયન્ટ ડિસેન્ટ કરી શકીએ છીએઃ જ્યાં આપણે રિપેરામેટ્રીઝેશન યુક્તિનો ઉપયોગ કર્યો હતો. બતાવ્યા પ્રમાણે, જી. એ. એન. માં જનરેટર તેની "ટોચ પરથી નીચે સરકી જવા" માટે પ્રેરિત છે. તેવી જ રીતે વેસરસ્ટીન GAN માં જનરેટર માટે. વાસરસ્ટીન જી. એ. એન. માટે, લગભગ દરેક જગ્યાએ ઢાળ 1 હોય છે, જ્યારે જી. એ. એન. માટે, મધ્યમાં સપાટ ઢાળ હોય છે, અને અન્યત્ર તીવ્ર ઢાળ હોય છે. પરિણામે, જી. એ. એન. માં અંદાજકર્તાની ભિન્નતા સામાન્ય રીતે વેસરસ્ટીન જી. એ. એન. કરતા ઘણી વધારે હોય છે. આકૃતિ 3 પણ જુઓ. વાસ્તવિક મશીન લર્નિંગ પરિસ્થિતિઓમાં આ સમસ્યા વધુ ગંભીર છે. 256-બાય-256 કદના ફોટાનો સંગ્રહ, ઈમેજનેટ બનાવવા માટે જી. એ. એન. ને તાલીમ આપવાનું વિચારો. આવા તમામ ફોટાઓનું સ્થાન છે, અને ઈમેજનેટ ચિત્રોનું વિતરણ, તેમાં ઘણા ઓછા પરિમાણના બહુવિધ પર ધ્યાન કેન્દ્રિત કરે છે. પરિણામે, કોઈપણ જનરેટર વ્યૂહરચના લગભગ ચોક્કસપણે ઉત્પાદનથી સંપૂર્ણપણે અલગ હશે. આમ, એક સારો ભેદભાવ કરનાર લગભગ સંપૂર્ણ રીતે ભેદભાવ કરી શકે છે, તેમજ તેની નજીકના લોકોથી પણ. આમ, ઢાળ, જનરેટર માટે કોઈ શીખવાનો સંકેત બનાવતો નથી. વિગતવાર પ્રમેયો અહીં મળી શકે છે. વેસરસ્ટીન જી. એ. એન. માં જનરેટરને તાલીમ આપવી એ માત્ર ગ્રેડિયન્ટ ડિસેન્ટ છે, જે જી. એ. એન. (અથવા સૌથી ઊંડા શિક્ષણ પદ્ધતિઓ) જેવું જ છે, પરંતુ ભેદભાવ કરનારને તાલીમ આપવી એ અલગ છે, કારણ કે ભેદભાવ કરનાર હવે લિપ્સચિટ્ઝ ધોરણ સુધી મર્યાદિત છે. આ માટે ઘણી પદ્ધતિઓ છે. લિપ્સચિટ્ઝ ધોરણની ઉપરની સીમા, ભેદભાવ કરનાર કાર્યને બહુસ્તરીય પર્સેપ્ટ્રોન દ્વારા અમલમાં મૂકવા દોઃ જ્યાં, અને તેની સાથે એક નિશ્ચિત સક્રિયકરણ કાર્ય છે. ઉદાહરણ તરીકે, હાયપરબોલિક સ્પર્શક કાર્ય જરૂરિયાતને સંતોષે છે. પછી, કોઈપણ માટે, ચાલો, આપણી પાસે સાંકળ નિયમ છેઃ આમ, લિપશિટ્ઝ નોર્મ ઓફ એ અપર-બાઉન્ડેડ બાય છે જ્યાં મેટ્રિક્સનું ઓપરેટર નોર્મ છે, એટલે કે, મેટ્રિક્સનું સૌથી મોટું એકવચન મૂલ્ય, એટલે કે, મેટ્રિક્સની સ્પેક્ટ્રલ ત્રિજ્યા (આ વિભાવનાઓ મેટ્રિક્સ માટે સમાન છે, પરંતુ સામાન્ય રેખીય ઓપરેટરો માટે અલગ છે). કારણ કે, આપણી પાસે છે, અને પરિણામે ઉપલા બાઉન્ડઃ આમ, જો આપણે દરેક મેટ્રિક્સના ઉપલા બાઉન્ડ ઓપરેટર ધોરણો કરી શકીએ, તો આપણે લિપશિટ્ઝના ધોરણને ઉપલા બાઉન્ડ કરી શકીએ છીએ. વજન ક્લિપિંગ કોઈપણ મેટ્રિક્સ માટે, ચાલો, આપણે અમુક અંતરાલમાં તમામ એન્ટ્રીઓને ક્લિપિંગ કરીને, આપણે બંધ કરી શકીએ છીએ. આ વજન કાપવાની પદ્ધતિ છે, જે મૂળ કાગળ દ્વારા પ્રસ્તાવિત છે. સ્પેક્ટ્રલ નોર્મલાઇઝેશન સ્પેક્ટ્રલ ત્રિજ્યાની ગણતરી નીચે આપેલા અલ્ગોરિધમ દ્વારા અસરકારક રીતે કરી શકાય છેઃ ડિસ્ક્રિમિનેટરના દરેક સુધારા પછી ફરીથી સોંપીને, આપણે અપર બાઉન્ડ કરી શકીએ છીએ, અને આમ અપર બાઉન્ડ કરી શકીએ છીએ. અલ્ગોરિધમને મેમોઇઝેશન દ્વારા વધુ ઝડપી બનાવી શકાય છેઃ સ્ટેપ, સ્ટોર. પછી તબક્કાવાર, અલ્ગોરિધમ માટે પ્રારંભિક અનુમાન તરીકે ઉપયોગ કરો. કારણ કે તે ખૂબ નજીક છે, તેથી તેની નજીક છે, તેથી આ ઝડપી અભિસરણને મંજૂરી આપે છે. આ સ્પેક્ટ્રલ નોર્મલાઇઝેશન પદ્ધતિ છે. ગ્રેડિએન્ટ પેનલ્ટી કડક રીતે બંધન કરવાને બદલે, આપણે ફક્ત ભેદભાવ કરનાર માટે "ગ્રેડિએન્ટ પેનલ્ટી" શબ્દ ઉમેરી શકીએ છીએ, જ્યાં એક નિશ્ચિત વિતરણ છે જેનો ઉપયોગ ભેદભાવ કરનારએ લિપ્સિટ્ઝ ધોરણની જરૂરિયાતનું કેટલું ઉલ્લંઘન કર્યું છે તેનો અંદાજ કાઢવા માટે થાય છે. ભેદભાવ કરનાર, નવા નુકસાનના કાર્યને ઘટાડવાના પ્રયાસમાં, સ્વાભાવિક રીતે દરેક જગ્યાએ નજીક લાવશે, આમ બનાવશે. આ ગ્રેડિયન્ટ પેનલ્ટી પદ્ધતિ છે. વધુ વાંચન જી. એ. એન. થી ડબલ્યુ. જી. એ. એન. સુધી વાસરસ્ટીન જી. એ. એન. અને કેન્ટોરોવિચ-રુબિનસ્ટીન દ્વૈત ઊંડાઈ પ્રથમ શિક્ષણઃ વાસરસ્ટીન જી. એ. એન. પણ જુઓ જનરેટિવ એડવર્સિયલ નેટવર્ક વાસરસ્ટીન મેટ્રિક અર્થ મૂવરનું અંતર પરિવહન સિદ્ધાંત સંદર્ભો ન્યુરલ નેટવર્ક આર્કિટેક્ચર જ્ઞાનાત્મક વિજ્ઞાન અનસુપરવાઇઝ્ડ લર્નિંગ