Higher-order singular value decomposition
બહુરેખીય બીજગણિતમાં, ટેન્સરનું ઉચ્ચ ક્રમનું એકવચન મૂલ્ય વિઘટન (HOSVD) એ ચોક્કસ ઓર્થોગોનલ ટકર વિઘટન છે. તેને મેટ્રિક્સ એકવચન મૂલ્ય વિઘટનના સામાન્યીકરણના એક પ્રકાર તરીકે ગણી શકાય. તે કોમ્પ્યુટર વિઝન, કોમ્પ્યુટર ગ્રાફિક્સ, મશીન લર્નિંગ, સાયન્ટિફિક કમ્પ્યુટિંગ અને સિગ્નલ પ્રોસેસિંગમાં એપ્લિકેશન્સ ધરાવે છે. કેટલાક પાસાઓ 1928માં એફ. એલ. હિચકોક સુધી શોધી શકાય છે, પરંતુ તે એલ. આર. ટકર હતા જેમણે 1960ના દાયકામાં ત્રીજા ક્રમના ટેન્સર માટે સામાન્ય ટકર વિઘટન વિકસાવ્યું હતું, જેની એલ. ડી. લાથૌવર એટ અલ દ્વારા વધુ હિમાયત કરવામાં આવી હતી. તેમના બહુરેખીય SVD કાર્યમાં જે પાવર પદ્ધતિનો ઉપયોગ કરે છે, અથવા વાસિલેસ્કુ અને ટર્ઝોપોલોસ દ્વારા હિમાયત કરવામાં આવી છે જેણે M-મોડ SVD એક સમાંતર અલ્ગોરિધમ વિકસાવ્યું છે જે મેટ્રિક્સ SVD નો ઉપયોગ કરે છે. હાયર ઓર્ડર સિંગ્યુલર વેલ્યુ ડિકમ્પોઝિશન (એચ. ઓ. એસ. વી. ડી.) શબ્દની રચના ડેલાથૌવર તરીકે કરવામાં આવી હતી, પરંતુ સાહિત્યમાં સામાન્ય રીતે એચ. ઓ. એસ. વી. ડી. તરીકે ઓળખાતા અને ટકર અથવા ડેલાથૌવરને આભારી અલ્ગોરિધમનો વિકાસ વેસીલેસ્કુ અને તેરઝોપોલોસ દ્વારા કરવામાં આવ્યો હતો. એચ. ઓ. એસ. વી. ડી. ના મજબૂત અને એલ1-ધોરણ આધારિત પ્રકારો પણ પ્રસ્તાવિત કરવામાં આવ્યા છે. વ્યાખ્યા આ લેખના હેતુ માટે, અમૂર્ત ટેન્સર એમ-વે એરે તરીકે અમુક આધારના સંદર્ભમાં કોઓર્ડિનેટ્સમાં આપવામાં આવે તેવું માનવામાં આવે છે, જે એમ દ્વારા પણ સૂચવવામાં આવે છે, જ્યાં એમ એ સ્થિતિઓની સંખ્યા અને ટેન્સરનો ક્રમ છે. તે જટિલ સંખ્યાઓ છે અને તેમાં વાસ્તવિક સંખ્યાઓ અને શુદ્ધ કાલ્પનિક સંખ્યાઓ બંનેનો સમાવેશ થાય છે. ચાલો એક એકાત્મક મેટ્રિક્સ હોઈએ જેમાં પ્રમાણભૂત મોડ-m ફ્લેટનિંગના ડાબા એકવચન વેક્ટરનો આધાર હોય છે, જેમ કે ની j મી કોલમ ના સૌથી મોટા એકવચન મૂલ્યને અનુરૂપ હોય છે. અવલોકન કરો કે મોડ/ફેક્ટર મેટ્રિક્સ મોડ m ફ્લેટનિંગની ચોક્કસ વ્યાખ્યા પર ચોક્કસ આધાર રાખતો નથી. બહુપરીમાણીય ગુણાકારના ગુણધર્મો દ્વારા, આપણી પાસે ક્યાંય સંયુગ્મ ટ્રાન્સપોઝને સૂચવે છે. બીજી સમાનતા એ છે કે s એકાત્મક મેટ્રિસીસ છે. હવે કોર ટેન્સરને વ્યાખ્યાયિત કરો પછી, HOSVD એ વિઘટન છે ઉપરોક્ત રચના દર્શાવે છે કે દરેક ટેન્સરમાં HOSVD હોય છે. કોમ્પેક્ટ એચ. ઓ. એસ. વી. ડી. મેટ્રિક્સના કોમ્પેક્ટ એકવચન મૂલ્ય વિઘટનના કિસ્સામાં, કોમ્પેક્ટ એચ. ઓ. એસ. વી. ડી. ને ધ્યાનમાં લેવું પણ શક્ય છે, જે એપ્લિકેશનોમાં ખૂબ જ ઉપયોગી છે. ધારો કે તે પ્રમાણભૂત પરિબળ-m ના સપાટ થવાના બિન-શૂન્ય એકવચન મૂલ્યોને અનુરૂપ ડાબી એકવચન વેક્ટરનો આધાર ધરાવતો એકાત્મક સ્તંભો ધરાવતો મેટ્રિક્સ છે. ના સ્તંભોને એવી રીતે ગોઠવવા દો કે ના સ્તંભની મી સૌથી મોટી બિન-શૂન્ય એકવચન કિંમતને અનુરૂપ હોય. રચનાના સ્તંભો ની છબી માટે આધાર હોવાથી, આપણી પાસે જ્યાં પ્રથમ સમાનતા ઓર્થોગોનલ અંદાજોના ગુણધર્મોને કારણે છે (હર્મિશિયન આંતરિક ઉત્પાદનમાં) અને છેલ્લી સમાનતા બહુરેખીય ગુણાકારના ગુણધર્મોને કારણે છે. જેમ કે ફ્લેટનિંગ્સ એ બાયજેક્ટિવ નકશા છે અને ઉપરોક્ત સૂત્ર બધા માટે માન્ય છે, આપણે તે પહેલાની જેમ શોધી કાઢીએ છીએ જ્યાં કોર ટેન્સર હવે કદનો છે. બહુપરીમાણીય ક્રમ બહુપરીમાણીય ક્રમને ક્રમ-સાથે સૂચવવામાં આવે છે. બહુરેખીય ક્રમ એ ક્યાં છે તે એક ટુપલ છે. તમામ ટપલ્સ બહુપરીમાણીય રેન્ક ધરાવતા નથી. બહુપરીમાણીય રેન્ક દ્વારા બંધાયેલ છે અને તે પકડી રાખવાની મર્યાદાને સંતોષે છે. કોમ્પેક્ટ એચ. ઓ. એસ. વી. ડી. એ એ અર્થમાં ક્રમ-પ્રગટ કરતું વિઘટન છે કે તેના મુખ્ય ટેન્સરના પરિમાણો ટેન્સરના બહુરેખીય ક્રમના ઘટકોને અનુરૂપ છે. અર્થઘટન નીચેનું ભૌમિતિક અર્થઘટન સંપૂર્ણ અને સઘન HOSVD બંને માટે માન્ય છે. ચાલો ટેન્સરનો બહુરેખીય ક્રમ હોઈએ. કારણ કે તે એક બહુ-પરિમાણીય એરે છે, આપણે તેને ફોલોસ્વેર તરીકે વિસ્તૃત કરી શકીએ છીએ જ્યાં તેનો મી પ્રમાણભૂત બેસિસ વેક્ટર છે. બહુપરીમાણીય ગુણાકારની વ્યાખ્યા મુજબ, તે ધરાવે છે કે જ્યાં ના સ્તંભો છે. તે ચકાસવું સરળ છે કે તે ટેન્સરનો ઓર્થોનોર્મલ સમૂહ છે. આનો અર્થ એ છે કે HOSVD ને બહુ-પરિમાણીય એરે તરીકે આપવામાં આવેલા ગુણાંક સાથે ખાસ પસંદ કરેલા ઓર્થોનોર્મલ આધારના સંદર્ભમાં ટેન્સરને વ્યક્ત કરવાની રીત તરીકે અર્થઘટન કરી શકાય છે. ગણતરી ચાલો રેન્ક-સાથે ટેન્સર હોઈએ, જ્યાં ઉપગણ તરીકે વાસ્તવિક હોય. શાસ્ત્રીય ગણતરી બહુપરીમાણીય એસ. વી. ડી. અને એમ-મોડ એસ. વી. ડી. ની ગણતરી માટેની વ્યૂહરચના 1960ના દાયકામાં એલ. આર. ટકર દ્વારા રજૂ કરવામાં આવી હતી, જેની એલ. ડી. લાથૌવર એટ અલ દ્વારા વધુ હિમાયત કરવામાં આવી હતી, અને વેસીલેસ્કુ અને ટર્ઝોપ્યુલસ દ્વારા. એચ. ઓ. એસ. વી. ડી. શબ્દની રચના લીવેન ડી લાથૌવર દ્વારા કરવામાં આવી હતી, પરંતુ સામાન્ય રીતે સાહિત્યમાં એચ. ઓ. એસ. વી. ડી. તરીકે ઓળખાતા અલ્ગોરિધમનો વેસીલેસ્કુ અને ટેર્ઝોપોલોસ દ્વારા એમ-મોડ એસ. વી. ડી. નામ સાથે પરિચય કરાવવામાં આવ્યો હતો. તે એક સમાંતર ગણતરી છે જે ઓર્થોનોર્મલ મોડ મેટ્રિસીસની ગણતરી કરવા માટે મેટ્રિક્સ SVD નો ઉપયોગ કરે છે. એમ-મોડ એસ. વી. ડી.: માટે, નીચેની બાબતો કરવા માટેઃ મોડ-એમ ફ્લેટનિંગની રચના કરો; (કોમ્પેક્ટ) એકવચન મૂલ્ય વિઘટનની ગણતરી કરો, અને ડાબા એકવચન વેક્ટરને સંગ્રહિત કરો; બહુરેખીય ગુણાકાર ઇન્ટરલેસિંગ ગણતરી દ્વારા કોર ટેન્સરની ગણતરી કરો એક વ્યૂહરચના જે નોંધપાત્ર રીતે ઝડપી હોય છે જ્યારે કેટલાક અથવા બધામાં કોર ટેન્સર અને પરિબળ મેટ્રિક્સની ગણતરીને ઇન્ટરલેસિંગનો સમાવેશ થાય છે, નીચે મુજબઃ સેટ કરો; નીચેના કરવા માટેઃ પ્રમાણભૂત મોડ-ફ્લેટનિંગની રચના કરો; (કોમ્પેક્ટ) એકવચન મૂલ્ય વિઘટનની ગણતરી કરો, અને ડાબા એકવચન વેક્ટરને સંગ્રહિત કરો; સેટ કરો, અથવા, સમકક્ષ,. ઇન-પ્લેસ ગણતરી HOSVDને HOSVD કોર ટેન્સર દ્વારા મૂળ ટેન્સરને ઓવરરાઈટ કરીને ફ્યુઝ્ડ ઇન-પ્લેસ સિક્વન્સીલી ટ્રંકેટેડ હાયર ઓર્ડર સિંગ્યુલર વેલ્યુ ડિકમ્પોઝિશન (FIST-HOSVD) અલ્ગોરિધમ દ્વારા ઇન-પ્લેસ ગણતરી કરી શકાય છે, જે HOSVDની ગણતરીના મેમરી વપરાશમાં નોંધપાત્ર ઘટાડો કરે છે. એપ્લીકેશન્સમાં, જેમ કે નીચે ઉલ્લેખિત, એક સામાન્ય સમસ્યામાં આપેલ ટેન્સરને ઘટાડેલા બહુરેખીય ક્રમ સાથે એક દ્વારા અંદાજિત કરવાનો સમાવેશ થાય છે. ઔપચારિક રીતે, જો બહુરેખીય ક્રમ દ્વારા સૂચવવામાં આવે છે, તો પછી આપેલ ઘટાડા માટે અંદાજિત શ્રેષ્ઠની ગણતરી કરવી એ બિનરેખીય બિન-બહિર્મુખ-ઓપ્ટિમાઇઝેશન સમસ્યા છે જ્યાં ઘટાડો બહુરેખીય ક્રમ છે, અને ધોરણ ફ્રોબેનિયસ ધોરણ છે. આ ઓપ્ટિમાઇઝેશન સમસ્યાને ઉકેલવાનો પ્રયાસ કરવા માટેનો એક સરળ વિચાર એ છે કે ક્લાસિક અથવા ઇન્ટરલેસ્ડ ગણતરીના બીજા તબક્કામાં (કોમ્પેક્ટ) SVD ને કાપી નાખવું. શાસ્ત્રીય રીતે કાપવામાં આવેલ એચ. ઓ. એસ. વી. ડી. શ્રેણી-કાપેલા એસ. વી. ડી. ની ગણતરી દ્વારા ક્લાસિક ગણતરીમાં પગલું 2 ને બદલીને મેળવવામાં આવે છે, અને ઉપરના ડાબા એકવચન વેક્ટરને સંગ્રહિત કરે છે; જ્યારે ક્રમિક રીતે કાપવામાં આવેલ એચ. ઓ. એસ. વી. ડી. (અથવા ક્રમિક રીતે કાપવામાં આવેલ એચ. ઓ. એસ. વી. ડી.) શ્રેણી-કાપેલા એસ. વી. ડી. ની ગણતરી દ્વારા ઇન્ટરલેસ્ડ ગણતરીમાં પગલું 2 ને બદલીને મેળવવામાં આવે છે, અને ઉપરના ડાબા એકવચન વેક્ટરને સંગ્રહિત કરે છે. કમનસીબે, કાપણી શ્રેષ્ઠ નિમ્ન બહુરેખીય ક્રમ ઓપ્ટિમાઇઝેશન સમસ્યા માટે શ્રેષ્ઠ ઉકેલમાં પરિણમતું નથી. જો કે, ક્લાસિકલ અને ઇન્ટરલીવ્ડ કાપેલા HOSVD બંને અર્ધ-શ્રેષ્ઠ ઉકેલમાં પરિણમે છેઃ જો ક્લાસિકલ અથવા ક્રમિક રીતે કાપેલા HOSVD ને સૂચવે છે અને શ્રેષ્ઠ નિમ્ન બહુરેખીય ક્રમ અંદાજ સમસ્યાનો શ્રેષ્ઠ ઉકેલ સૂચવે છે, તો વ્યવહારમાં આનો અર્થ એ છે કે જો નાની ભૂલ સાથે શ્રેષ્ઠ ઉકેલ અસ્તિત્વમાં હોય, તો પછી કાપેલા HOSVD ઘણા હેતુઓ માટે પણ પૂરતો સારો ઉકેલ આપશે. એપ્લિકેશન્સ એચ. ઓ. એસ. વી. ડી. સામાન્ય રીતે મલ્ટી-વે એરેમાંથી સંબંધિત માહિતીના નિષ્કર્ષણ માટે લાગુ કરવામાં આવે છે. 2000 ના દાયકાની શરૂઆતમાં, વાસિલેસ્કુએ ડેટા વિશ્લેષણ, માન્યતા અને સંશ્લેષણ સમસ્યાઓને બહુરેખીય ટેન્સર સમસ્યાઓ તરીકે ફરીથી ગોઠવીને કારણભૂત પ્રશ્નોને સંબોધિત કર્યા. ટેન્સર ફ્રેમવર્કની શક્તિ, ચાલ ઓળખવા, ચહેરાની ઓળખ-ટેન્સરફેસ અને કમ્પ્યુટર ગ્રાફિક્સ-ટેન્સર ટેક્સચર્સ માટે માનવ ગતિ સહીઓના સંદર્ભમાં, માહિતી રચનાના તેના કારણભૂત પરિબળોની દ્રષ્ટિએ છબીને વિઘટિત કરીને અને રજૂ કરીને પ્રદર્શિત કરવામાં આવી હતી. એચ. ઓ. એસ. વી. ડી. સિગ્નલ પ્રોસેસિંગ અને મોટા ડેટા પર સફળતાપૂર્વક લાગુ કરવામાં આવી છે, દા. ત., જીનોમિક સિગ્નલ પ્રોસેસિંગમાં. આ એપ્લિકેશનોએ ઉચ્ચ ક્રમના જીએસવીડી (એચઓ જીએસવીડી) અને ટેન્સર જીએસવીડીને પણ પ્રેરિત કર્યા હતા. એચ. ઓ. એસ. વી. ડી. અને એસ. વી. ડી. નું સંયોજન રોગની દેખરેખમાં જટિલ ડેટા સ્ટ્રીમ્સ (જગ્યા અને સમય પરિમાણો સાથે મલ્ટિવેરિયેટ ડેટા) માંથી વાસ્તવિક સમયની ઘટના શોધવા માટે પણ લાગુ કરવામાં આવ્યું છે. તેનો ઉપયોગ ટેન્સર પ્રોડક્ટ મોડેલ પરિવર્તન-આધારિત નિયંત્રક ડિઝાઇનમાં પણ થાય છે. એચ. ઓ. એસ. વી. ડી. ની વિભાવનાને ટી. પી. મોડેલ પરિવર્તન દ્વારા બારાની અને યામ દ્વારા કાર્યોમાં લઈ જવામાં આવી હતી. આ વિસ્તરણ HOSVD-આધારિત ટેન્સર પ્રોડક્ટ ફંક્શન્સ અને લીનિયર પેરામીટર વેરિંગ સિસ્ટમ મોડેલ્સના કેનોનિકલ સ્વરૂપની વ્યાખ્યા તરફ દોરી ગયું અને કન્વેક્સ હલ મેનીપ્યુલેશન આધારિત કંટ્રોલ ઓપ્ટિમાઇઝેશન થિયરી તરફ દોરી ગયું, નિયંત્રણ સિદ્ધાંતોમાં TP મોડેલ પરિવર્તન જુઓ. એચ. ઓ. એસ. વી. ડી. ને મલ્ટી-વ્યૂ ડેટા વિશ્લેષણ પર લાગુ કરવાની દરખાસ્ત કરવામાં આવી હતી અને જનીન અભિવ્યક્તિમાંથી સિલિકો દવા શોધમાં સફળતાપૂર્વક લાગુ કરવામાં આવી હતી. મજબૂત એલ1-નોર્મ વેરિઅન્ટ એલ1-ટકર એ એલ1-નોર્મ-આધારિત, ટકર વિઘટનનું મજબૂત વેરિઅન્ટ છે. L1-HOSVD એ L1-ટકરના ઉકેલ માટે HOSVD જેવું જ છે. સંદર્ભો બહુરેખીય બીજગણિત ટેન્સર