Linear predictor function
આંકડાશાસ્ત્રમાં અને મશીન લર્નિંગમાં, રેખીય આગાહીકાર કાર્ય એ ગુણાંક અને સ્પષ્ટીકરણ ચલ (સ્વતંત્ર ચલ) ના સમૂહનું રેખીય કાર્ય (રેખીય સંયોજન) છે, જેનું મૂલ્ય આશ્રિત ચલના પરિણામની આગાહી કરવા માટે વપરાય છે. આ પ્રકારનું કાર્ય સામાન્ય રીતે રેખીય રીગ્રેસનમાં આવે છે, જ્યાં ગુણાંકને રીગ્રેસન ગુણાંક કહેવામાં આવે છે. જો કે, તેઓ વિવિધ પ્રકારના રેખીય વર્ગીકરણમાં પણ જોવા મળે છે (દા. ત. લોજિસ્ટિક રીગ્રેસન, પર્સેપ્ટ્રોન, સપોર્ટ વેક્ટર મશીનો અને રેખીય ડિસ્ક્રિમિનન્ટ વિશ્લેષણ), તેમજ અન્ય વિવિધ મોડેલોમાં, જેમ કે મુખ્ય ઘટક વિશ્લેષણ અને પરિબળ વિશ્લેષણ. આમાંના ઘણા નમૂનાઓમાં, ગુણાંકને "વજન" તરીકે ઓળખવામાં આવે છે. વ્યાખ્યા માહિતી બિંદુ i માટે રેખીય આગાહીકાર કાર્યનું મૂળભૂત સ્વરૂપ (p વ્યાખ્યાત્મક ચલોનું બનેલું), i = 1,., n માટે, જ્યાં, k = 1,., p માટે, માહિતી બિંદુ i માટે k-th વ્યાખ્યાત્મક ચલનું મૂલ્ય છે, અને તે ગુણાંક (પ્રતિગમન ગુણાંક, વજન, વગેરે) છે. પરિણામ પર ચોક્કસ વ્યાખ્યાત્મક ચલની સંબંધિત અસર સૂચવે છે. સંકેતો આગાહી કરનાર કાર્યને વધુ સઘન સ્વરૂપમાં નીચે પ્રમાણે લખવું સામાન્ય છેઃ ગુણાંક β0, β1,., βp ને p + 1 કદના એક વેક્ટર β માં જૂથબદ્ધ કરવામાં આવે છે. દરેક ડેટા બિંદુ i માટે, અવરોધન ગુણાંક β0 ને અનુરૂપ, 1 ના નિશ્ચિત મૂલ્ય સાથે, એક વધારાનું સ્પષ્ટીકરણાત્મક સ્યુડો-વેરિયેબલ xi0 ઉમેરવામાં આવે છે. પરિણામી વ્યાખ્યાત્મક ચલ xi0 (= 1), xi1,., xip ને પછી p + 1 કદના એક વેક્ટર xi માં જૂથબદ્ધ કરવામાં આવે છે. વેક્ટર નોટેશન આ રેખીય આગાહીકાર કાર્યને નીચે પ્રમાણે લખવાનું શક્ય બનાવે છેઃ બે વેક્ટર વચ્ચેના ડોટ પ્રોડક્ટ માટે નોટેશનનો ઉપયોગ કરીને. મેટ્રિક્સ નોટેશન મેટ્રિક્સ નોટેશનનો ઉપયોગ કરતું સમકક્ષ સ્વરૂપ નીચે મુજબ છેઃ જ્યાં અને એ (પી + 1)-બાય-1 કોલમ વેક્ટર હોવાનું માનવામાં આવે છે, તે મેટ્રિક્સ ટ્રાન્સપોઝ છે (તેથી તે 1-બાય-(પી + 1) રો વેક્ટર છે), અને 1-બાય-(પી + 1) રો વેક્ટર અને (પી + 1)-બાય-1 કોલમ વેક્ટર વચ્ચે મેટ્રિક્સ ગુણાકાર સૂચવે છે, જે 1-બાય-1 મેટ્રિક્સ ઉત્પન્ન કરે છે જે સ્કેલર તરીકે લેવામાં આવે છે. રેખીય રીગ્રેસન રેખીય આગાહીકાર કાર્યના ઉપયોગનું ઉદાહરણ રેખીય રીગ્રેસનમાં છે, જ્યાં દરેક ડેટા બિંદુ સતત પરિણામ yi સાથે સંકળાયેલું હોય છે, અને સંબંધ લખવામાં આવે છે જ્યાં વિક્ષેપ શબ્દ અથવા ભૂલ ચલ હોય છે-એક અવલોકન કરાયેલ રેન્ડમ ચલ જે આશ્રિત ચલ અને આગાહીકાર કાર્ય વચ્ચેના રેખીય સંબંધમાં ઘોંઘાટ ઉમેરે છે. કેટલાક મોડેલોમાં (પ્રમાણભૂત રેખીય રીગ્રેસન, ખાસ કરીને), દરેક ડેટા બિંદુઓ i = 1,., n માટેના સમીકરણો એકસાથે ગોઠવવામાં આવે છે અને વેક્ટર સ્વરૂપમાં લખવામાં આવે છે જ્યાં મેટ્રિક્સ X ને ડિઝાઇન મેટ્રિક્સ તરીકે ઓળખવામાં આવે છે અને સ્વતંત્ર ચલો વિશેની તમામ જાણીતી માહિતીને એન્કોડ કરે છે. વેરિયેબલ્સ એ રેન્ડમ વેરિયેબલ્સ છે, જે પ્રમાણભૂત રેખીય રીગ્રેસનમાં પ્રમાણભૂત સામાન્ય વિતરણ અનુસાર વહેંચવામાં આવે છે; તેઓ પરિણામ પર કોઈપણ અજ્ઞાત પરિબળોનો પ્રભાવ વ્યક્ત કરે છે. આનાથી સરળ મેટ્રિક્સ કામગીરીનો ઉપયોગ કરીને લઘુત્તમ વર્ગની પદ્ધતિ દ્વારા શ્રેષ્ઠ ગુણાંક શોધવાનું શક્ય બને છે. ખાસ કરીને, લઘુત્તમ ચોરસ દ્વારા અંદાજિત શ્રેષ્ઠ ગુણાંકને નીચે પ્રમાણે લખી શકાય છેઃ મેટ્રિક્સને X ના મૂરે-પેનરોઝ સ્યુડોઇનવર્સ તરીકે ઓળખવામાં આવે છે. આ સૂત્રમાં મેટ્રિક્સ ઇન્વર્સનો ઉપયોગ કરવા માટે જરૂરી છે કે X સંપૂર્ણ ક્રમનો હોય, એટલે કે. વિવિધ વ્યાખ્યાત્મક ચલોમાં સંપૂર્ણ બહુપરીમાણીયતા નથી (એટલે કે. કોઈ પણ સ્પષ્ટીકરણાત્મક ચલની અન્ય લોકો પાસેથી સંપૂર્ણ આગાહી કરી શકાતી નથી). આવા કિસ્સાઓમાં, એકવચન મૂલ્ય વિઘટનનો ઉપયોગ સ્યુડોઇનવર્સની ગણતરી કરવા માટે થઈ શકે છે. જો કે આગાહી કરવાના પરિણામો (આશ્રિત ચલો) રેન્ડમ વેરિયેબલ્સ હોવાનું માનવામાં આવે છે, તેમ છતાં વ્યાખ્યાત્મક ચલો પોતે સામાન્ય રીતે રેન્ડમ હોવાનું માનવામાં આવતું નથી. તેના બદલે, તેઓ નિશ્ચિત મૂલ્યો અને કોઈપણ અવ્યવસ્થિત ચલ (દા. ત.) હોવાનું માનવામાં આવે છે. પરિણામો) તેમના પર શરતી હોવાનું માનવામાં આવે છે. પરિણામે, ડેટા વિશ્લેષક સ્પષ્ટીકરણોને મનસ્વી રીતે રૂપાંતરિત કરવા માટે સ્વતંત્ર છે, જેમાં આપેલ સ્પષ્ટીકરણોની બહુવિધ નકલો બનાવવાનો સમાવેશ થાય છે, જેમાં દરેક અલગ કાર્યનો ઉપયોગ કરીને રૂપાંતરિત થાય છે. અન્ય સામાન્ય તકનીકો એ છે કે બે (અથવા ક્યારેક વધુ) પ્રવર્તમાન વ્યાખ્યાત્મક ચલોનાં ઉત્પાદનો લઈને ક્રિયાપ્રતિક્રિયા ચલનાં સ્વરૂપમાં નવા વ્યાખ્યાત્મક ચલોનું નિર્માણ કરવું. જ્યારે બિનરેખીય વિધેયોના નિશ્ચિત સમૂહનો ઉપયોગ ડેટા બિંદુના મૂલ્ય (ઓ) ને પરિવર્તિત કરવા માટે કરવામાં આવે છે, ત્યારે આ વિધેયોને આધાર કાર્યો તરીકે ઓળખવામાં આવે છે. એક ઉદાહરણ બહુપદી રીગ્રેસન છે, જે માહિતી બિંદુઓના બે સમૂહો (એટલે કે, આપેલા ક્રમ સુધી) વચ્ચે મનસ્વી ડિગ્રી બહુપદી સંબંધ (આપેલા ક્રમ સુધી) ને ફિટ કરવા માટે રેખીય આગાહીકાર કાર્યનો ઉપયોગ કરે છે. એક વાસ્તવિક મૂલ્યના વ્યાખ્યાત્મક ચલ અને સંબંધિત વાસ્તવિક મૂલ્યના આશ્રિત ચલ), વર્તમાન વ્યાખ્યાત્મક ચલની વિવિધ શક્તિઓને અનુરૂપ બહુવિધ વ્યાખ્યાત્મક ચલ ઉમેરીને. ગાણિતિક રીતે, સ્વરૂપ આના જેવું દેખાય છેઃ આ કિસ્સામાં, દરેક ડેટા બિંદુ i માટે, સ્પષ્ટીકરણ ચલોનો સમૂહ નીચે પ્રમાણે બનાવવામાં આવે છેઃ અને પછી પ્રમાણભૂત રેખીય રીગ્રેસન ચલાવવામાં આવે છે. આ ઉદાહરણમાં પાયાના કાર્યો હશે આ ઉદાહરણ દર્શાવે છે કે રેખીય આગાહી કરનાર કાર્ય વાસ્તવમાં તે પહેલા દેખાય છે તેના કરતા વધુ શક્તિશાળી હોઈ શકે છેઃ તે ખરેખર માત્ર ગુણાંકમાં રેખીય હોવું જરૂરી છે. સ્પષ્ટીકરણાત્મક ચલોના તમામ પ્રકારના બિન-રેખીય કાર્યોને મોડેલ દ્વારા ફિટ કરી શકાય છે. પાયાના કાર્યોના ઇનપુટ્સને એકરૂપ અથવા એક-પરિમાણીય હોવાની કોઈ ખાસ જરૂર નથી (અથવા તે બાબત માટે તેમના આઉટપુટ, જો કે આવા કિસ્સામાં, કે-પરિમાણીય આઉટપુટ મૂલ્યને કે અલગ સ્કેલર-આઉટપુટ પાયાના કાર્યો તરીકે ગણવામાં આવે તેવી શક્યતા છે). આનું ઉદાહરણ રેડિયલ બેસિસ ફંક્શન્સ (આરબીએફ) છે, જે અંતરની અમુક રૂપાંતરિત આવૃત્તિને અમુક નિશ્ચિત બિંદુ પર ગણતરી કરે છેઃ એક ઉદાહરણ ગૌસીયન આરબીએફ છે, જે સામાન્ય વિતરણ જેવું જ કાર્યાત્મક સ્વરૂપ ધરાવે છેઃ જે સીથી અંતર વધવાની સાથે ઝડપથી ઘટી જાય છે. આરબીએફનો સંભવિત ઉપયોગ દરેક અવલોકન કરેલ ડેટા બિંદુ માટે એક બનાવવાનો છે. આનો અર્થ એ છે કે નવા ડેટા બિંદુ પર લાગુ કરાયેલ આરબીએફનું પરિણામ 0 ની નજીક હશે સિવાય કે નવો બિંદુ તે બિંદુની નજીક હોય કે જેની આસપાસ આરબીએફ લાગુ કરવામાં આવ્યો હતો. એટલે કે, રેડિયલ બેસિસ ફંક્શન્સનો ઉપયોગ નજીકના બિંદુને પસંદ કરશે, અને તેનો રીગ્રેસન ગુણાંક પ્રભુત્વ મેળવશે. પરિણામ નજીકના પડોશી અંતર્વેશનનું એક સ્વરૂપ હશે, જ્યાં આગાહીઓ ફક્ત નજીકના અવલોકન કરેલા ડેટા બિંદુની આગાહીનો ઉપયોગ કરીને કરવામાં આવે છે, સંભવતઃ નજીકના બહુવિધ ડેટા બિંદુઓ વચ્ચે અંતર્વેશન કરવામાં આવે છે જ્યારે તેઓ બધા સમાન અંતર દૂર હોય છે. આગાહી માટેની આ પ્રકારની નજીકની પાડોશી પદ્ધતિને ઘણીવાર પ્રમાણભૂત રેખીય રીગ્રેસનમાં ઉપયોગમાં લેવાતી આગાહીના પ્રકારનો સંપૂર્ણ વિરોધ માનવામાં આવે છેઃ પરંતુ હકીકતમાં, રેખીય આગાહીકાર કાર્યમાં વ્યાખ્યાત્મક ચલો પર લાગુ કરી શકાય તેવા પરિવર્તન એટલા શક્તિશાળી છે કે નજીકના પાડોશી પદ્ધતિને પણ રેખીય રીગ્રેસનના પ્રકાર તરીકે લાગુ કરી શકાય છે. ગુણાંકમાં બિન-રેખીય દેખાતા કેટલાક કાર્યોને નવા ગુણાંકમાં રૂપાંતરિત કરીને ફિટ કરવું પણ શક્ય છે જે રેખીય દેખાય છે. ઉદાહરણ તરીકે, ગુણાંક માટેના સ્વરૂપના કાર્યને રેખીય હોય તેવા વિકલ્પોને લાગુ કરીને યોગ્ય રેખીય કાર્યમાં રૂપાંતરિત કરી શકાય છે. રેખીય રીગ્રેસન અને સમાન તકનીકો લાગુ કરી શકાય છે અને ઘણીવાર હજુ પણ શ્રેષ્ઠ ગુણાંક મળશે, પરંતુ તેમના ભૂલ અંદાજો અને આવા ખોટા હશે. સ્પષ્ટીકરણાત્મક ચલ કોઈપણ પ્રકારના હોઈ શકે છેઃ વાસ્તવિક મૂલ્ય, દ્વિસંગી, શ્રેણીબદ્ધ, વગેરે. મુખ્ય તફાવત સતત ચલ વચ્ચે છે (દા. ત. આવક, ઉંમર, બ્લડ પ્રેશર, વગેરે) અને સ્વતંત્ર ચલ (દા. ત. જાતિ, જાતિ, રાજકીય પક્ષ, વગેરે). બે કરતાં વધુ સંભવિત પસંદગીઓનો ઉલ્લેખ કરતા સ્વતંત્ર ચલને સામાન્ય રીતે ડમી ચલ (અથવા સૂચક ચલ) નો ઉપયોગ કરીને કોડેડ કરવામાં આવે છે, એટલે કે. 0 અથવા 1 મૂલ્ય ધરાવતા અલગ વ્યાખ્યાત્મક ચલ અલગ ચલની દરેક સંભવિત કિંમત માટે બનાવવામાં આવે છે, જેમાં 1 એટલે કે "ચલનું આપેલ મૂલ્ય હોય છે" અને 0 એટલે કે "ચલનું આપેલ મૂલ્ય નથી". ઉદાહરણ તરીકે, "A, B, AB, O" સંભવિત મૂલ્યો સાથે લોહીના પ્રકારનાં ચાર-માર્ગીય અલગ ચલને અલગ દ્વિ-માર્ગીય બનાવટી ચલમાં રૂપાંતરિત કરવામાં આવશે, "is-A, is-B, is-AB, is-O", જ્યાં તેમાંથી માત્ર એકનું મૂલ્ય 1 હોય છે અને બાકીના બધાનું મૂલ્ય 0 હોય છે. આ અલગ ચલના દરેક સંભવિત મૂલ્ય માટે અલગ રીગ્રેસન ગુણાંકને મેળ કરવાની મંજૂરી આપે છે. નોંધ લો કે, K શ્રેણીઓ માટે, બધા K ડમી ચલ એકબીજાથી સ્વતંત્ર નથી. ઉદાહરણ તરીકે, ઉપરોક્ત લોહીના પ્રકારનાં ઉદાહરણમાં, ચાર ડમી ચલમાંથી માત્ર ત્રણ સ્વતંત્ર છે, એ અર્થમાં કે એકવાર ત્રણ ચલનાં મૂલ્યો જાણી લેવામાં આવે, તો ચોથું આપમેળે નક્કી થાય છે. આમ, ચારમાંથી ત્રણ શક્યતાઓને ડમી વેરિયેબલ્સ તરીકે એન્કોડ કરવી ખરેખર જરૂરી છે, અને હકીકતમાં જો તમામ ચાર શક્યતાઓ એન્કોડ કરવામાં આવે, તો એકંદર મોડેલ બિન-ઓળખી શકાય તેવું બની જાય છે. આ સંખ્યાબંધ પદ્ધતિઓ માટે સમસ્યાઓનું કારણ બને છે, જેમ કે રેખીય પ્રતિગમનમાં ઉપયોગમાં લેવાતા સરળ બંધ-સ્વરૂપ ઉકેલ. ઉકેલ કાં તો ડમી ચલમાંથી એકને દૂર કરીને, અને/અથવા નિયમિતકરણ અવરોધ (જે શ્રેષ્ઠ ગુણાંક શોધવા માટે વધુ શક્તિશાળી, સામાન્ય રીતે પુનરાવર્તિત, પદ્ધતિની જરૂર પડે છે) રજૂ કરીને આવા કિસ્સાઓને ટાળવાનો છે. લીનિયર મોડેલ લીનિયર રીગ્રેસન રેફરન્સ રીગ્રેસન એનાલિસિસ મશીન લર્નિંગ પણ જુઓ.