Kernel principal component analysis
મલ્ટીવેરિયેટ સ્ટેટિસ્ટિક્સના ક્ષેત્રમાં, કર્નલ મુખ્ય ઘટક વિશ્લેષણ (કર્નલ પી. સી. એ.) એ કર્નલ પદ્ધતિઓની તકનીકોનો ઉપયોગ કરીને મુખ્ય ઘટક વિશ્લેષણ (પી. સી. એ.) નું વિસ્તરણ છે. કર્નલનો ઉપયોગ કરીને, પી. સી. એ. ની મૂળ રેખીય કામગીરી પુનઃઉત્પાદન કર્નલ હિલ્બર્ટ જગ્યામાં કરવામાં આવે છે. પૃષ્ઠભૂમિઃ રેખીય પી. સી. એ. યાદ રાખો કે પરંપરાગત પી. સી. એ. શૂન્ય-કેન્દ્રિત ડેટા પર કામ કરે છે; એટલે કે, જ્યાં તે બહુવિધ અવલોકનોમાંથી એક છે. તે કોવેરિયન્સ મેટ્રિક્સને વિકર્ણ કરીને કાર્ય કરે છે, બીજા શબ્દોમાં કહીએ તો, તે કોવેરિયન્સ મેટ્રિક્સનું ઇગેનડેકમ્પોઝિશન આપે છેઃ જેને આ રીતે ફરીથી લખી શકાય છે. (આ પણ જુઓઃ રેખીય સંચાલક તરીકે સહપ્રસરણ મેટ્રિક્સ) કર્નલનો પી. સી. એ. સાથે પરિચય કર્નલ પી. સી. એ. ની ઉપયોગિતાને સમજવા માટે, ખાસ કરીને ક્લસ્ટરિંગ માટે, અવલોકન કરો કે, જ્યારે એન બિંદુઓને સામાન્ય રીતે, પરિમાણોમાં રેખીય રીતે અલગ કરી શકાતા નથી, ત્યારે તેઓ લગભગ હંમેશા પરિમાણોમાં રેખીય રીતે અલગ કરી શકાય છે. એટલે કે, N બિંદુઓ આપવામાં આવે છે, જો આપણે તેમને N-પરિમાણીય જગ્યા સાથે મેપ કરીએ, તો હાયપરપ્લેન બનાવવું સરળ છે જે બિંદુઓને મનસ્વી ક્લસ્ટરોમાં વિભાજિત કરે છે. અલબત્ત, આ રેખીય રીતે સ્વતંત્ર વેક્ટર બનાવે છે, તેથી ત્યાં કોઈ સહપ્રસરણ નથી કે જેના પર આપણે રેખીય પી. સી. એ. ની જેમ સ્પષ્ટ રીતે ઇગેનડેકમ્પોઝિશન કરવું જોઈએ. તેના બદલે, કર્નલ પી. સી. એ. માં, બિન-તુચ્છ, મનસ્વી કાર્ય 'પસંદ' કરવામાં આવે છે જેની ક્યારેય સ્પષ્ટ રીતે ગણતરી કરવામાં આવતી નથી, જો આપણે ખરેખર તે જગ્યામાં ડેટાનું મૂલ્યાંકન કરવાની જરૂર ન હોય તો ખૂબ-ઉચ્ચ-પરિમાણીયનો ઉપયોગ કરવાની સંભાવનાને મંજૂરી આપે છે. આપણે સામાન્ય રીતે-જગ્યામાં કામ કરવાનું ટાળવાનો પ્રયાસ કરીએ છીએ, જેને આપણે 'સુવિધા જગ્યા' કહીશું, તેથી આપણે એન-બાય-એન કર્નલ બનાવી શકીએ છીએ જે અન્યથા જટિલ સુવિધા જગ્યાના આંતરિક ઉત્પાદન જગ્યાને રજૂ કરે છે (ગ્રામિયન મેટ્રિક્સ જુઓ). કર્નલની રચનામાં ઊભું થતું બેવડું સ્વરૂપ આપણને ગાણિતિક રીતે પી. સી. એ. નું એક સંસ્કરણ ઘડવાની મંજૂરી આપે છે જેમાં આપણે ખરેખર ક્યારેય-સ્પેસમાં કોવેરિયન્સ મેટ્રિક્સના આઈગનવેક્ટર્સ અને આઈગનવેલ્યુઝને હલ કરતા નથી (જુઓ કર્નલ યુક્તિ). K ના દરેક સ્તંભમાં N-ઘટકો તમામ રૂપાંતરિત બિંદુઓ (N બિંદુઓ) ના સંદર્ભમાં રૂપાંતરિત ડેટાના એક બિંદુના ડોટ પ્રોડક્ટનું પ્રતિનિધિત્વ કરે છે. કેટલાક જાણીતા કર્નલો નીચેના ઉદાહરણમાં દર્શાવવામાં આવ્યા છે. કારણ કે આપણે ક્યારેય ફીચર સ્પેસમાં સીધા કામ કરતા નથી, પી. સી. એ. નું કર્નલ-ફોર્મ્યુલેશન પ્રતિબંધિત છે કારણ કે તે મુખ્ય ઘટકોની ગણતરી કરતું નથી, પરંતુ તે ઘટકો પર આપણા ડેટાના અંદાજોની ગણતરી કરે છે. લક્ષણ અવકાશમાં એક બિંદુથી kth મુખ્ય ઘટક પર પ્રક્ષેપણનું મૂલ્યાંકન કરવા માટે (જ્યાં સુપરસ્ક્રિપ્ટ k નો અર્થ ઘટક k છે, k ની ઘાત નથી) આપણે નોંધ્યું છે કે તે ડોટ પ્રોડક્ટને સૂચવે છે, જે ફક્ત કર્નલના ઘટકો છે. એવું લાગે છે કે જે બાકી છે તે ગણતરી અને સામાન્ય બનાવવાનું છે, જે આઈગનવેક્ટર સમીકરણને હલ કરીને કરી શકાય છે જ્યાં સમૂહમાં ડેટા બિંદુઓની સંખ્યા છે, અને તેના આઈગનવેલ્યુ અને આઈગનવેક્ટર છે. પછી આઈગનવેક્ટર્સને સામાન્ય બનાવવા માટે, આપણે એ હકીકતની કાળજી લેવી જરૂરી છે કે, તેની મૂળ જગ્યામાં શૂન્ય અર્થ હોય કે ન હોય, તે સુવિધા જગ્યામાં કેન્દ્રિત હોવાની બાંયધરી નથી (જેની આપણે ક્યારેય સ્પષ્ટ રીતે ગણતરી કરતા નથી). અસરકારક મુખ્ય ઘટક વિશ્લેષણ કરવા માટે કેન્દ્રિત માહિતી જરૂરી હોવાથી, આપણે એન-બાય-એન મેટ્રિક્સ બનવા માટે 'કેન્દ્રિત' કરીએ છીએ, જેના માટે દરેક તત્વ મૂલ્ય લે છે. આપણે ઉપર વર્ણવેલ કર્નલ પી. સી. એ. અલ્ગોરિધમ કરવા માટે ઉપયોગ કરીએ છીએ. કર્નલ પી. સી. એ. ની એક ચેતવણી અહીં સચિત્ર હોવી જોઈએ. રેખીય પી. સી. એ. માં, આપણે દરેક મુખ્ય ઘટક દ્વારા ડેટાની કેટલી વિવિધતા કબજે કરવામાં આવે છે તેના આધારે આઈગનવેક્ટર્સને ક્રમ આપવા માટે આઈગનવેલ્યુઝનો ઉપયોગ કરી શકીએ છીએ. આ માહિતીના પરિમાણમાં ઘટાડો કરવા માટે ઉપયોગી છે અને તેને કે. પી. સી. એ. પર પણ લાગુ કરી શકાય છે. જો કે, વ્યવહારમાં એવા કિસ્સાઓ છે કે માહિતીના તમામ ફેરફારો સમાન છે. આ સામાન્ય રીતે કર્નલ સ્કેલની ખોટી પસંદગીને કારણે થાય છે. મોટા ડેટાસેટ્સ વ્યવહારમાં, મોટા ડેટા સેટ મોટા K તરફ દોરી જાય છે, અને K નો સંગ્રહ કરવો એક સમસ્યા બની શકે છે. આનો સામનો કરવાની એક રીત એ છે કે ડેટાસેટ પર ક્લસ્ટરિંગ કરવું, અને તે ક્લસ્ટરોના માધ્યમો સાથે કર્નલને વસવાટ કરવો. આ પદ્ધતિ પણ પ્રમાણમાં મોટા K મેળવી શકે છે, તેથી માત્ર ટોચના P આઈગનવેલ્યુની ગણતરી કરવી સામાન્ય છે અને આઈગનવેલ્યુના આઈગનવેક્ટર્સની ગણતરી આ રીતે કરવામાં આવે છે. ઉદાહરણ બિંદુઓના ત્રણ કેન્દ્રિત વાદળો (બતાવેલ) નો વિચાર કરો; આપણે આ જૂથોને ઓળખવા માટે કર્નલ પી. સી. એ. નો ઉપયોગ કરવા માંગીએ છીએ. બિંદુઓનો રંગ અલ્ગોરિધમમાં સામેલ માહિતીનું પ્રતિનિધિત્વ કરતું નથી, પરંતુ માત્ર તે જ દર્શાવે છે કે પરિવર્તન ડેટા બિંદુઓને કેવી રીતે સ્થાનાંતરિત કરે છે. પ્રથમ, કર્નલને ધ્યાનમાં લો જે તેને કર્નલ પી. સી. એ. પર લાગુ કરવાથી આગળની છબી મળે છે. હવે ગૌસીયન કર્નલને ધ્યાનમાં લોઃ એટલે કે, આ કર્નલ નિકટતાનું માપ છે, જે જ્યારે બિંદુઓ એક સાથે આવે ત્યારે 1 ની બરાબર અને અનંત સમયે 0 ની બરાબર હોય છે. ખાસ કરીને નોંધ લો કે પ્રથમ મુખ્ય ઘટક ત્રણ જુદા જુદા જૂથોને અલગ પાડવા માટે પૂરતો છે, જે માત્ર રેખીય પીસીએનો ઉપયોગ કરીને અશક્ય છે, કારણ કે રેખીય પીસીએ માત્ર આપેલ (આ કિસ્સામાં દ્વિ-પરિમાણીય) જગ્યામાં કાર્ય કરે છે, જેમાં આ કેન્દ્રિત બિંદુ વાદળો રેખીય રીતે અલગ કરી શકાતા નથી. એપ્લિકેશન્સ કર્નલ પીસીએ નવીનતા શોધવા અને ઇમેજ ડી-નોઇઝિંગ માટે ઉપયોગી હોવાનું દર્શાવવામાં આવ્યું છે. ક્લસ્ટર વિશ્લેષણ બિનરેખીય પરિમાણીયતા ઘટાડો સ્પેક્ટ્રલ ક્લસ્ટરિંગ સંદર્ભો પરિમાણ ઘટાડો સિગ્નલ પ્રોસેસિંગ અલ્ગોરિધમ્સ મશીન લર્નિંગ માટે કર્નલ પદ્ધતિઓ એસવીઃ Principalkomponentanalys#Olinjär પીસીએ