Context mixing
સંદર્ભ મિશ્રણ એ ડેટા સંકોચન અલ્ગોરિધમનો એક પ્રકાર છે જેમાં બે અથવા વધુ આંકડાકીય મોડેલોની આગામી-પ્રતીક આગાહીઓને જોડવામાં આવે છે જે આગાહી આપે છે જે ઘણીવાર કોઈપણ વ્યક્તિગત આગાહીઓ કરતાં વધુ સચોટ હોય છે. ઉદાહરણ તરીકે, એક સરળ પદ્ધતિ (જરૂરી નથી કે શ્રેષ્ઠ હોય) એ છે કે દરેક મોડેલ દ્વારા સોંપવામાં આવેલી સંભાવનાઓની સરેરાશ કરવી. રેન્ડમ ફોરેસ્ટ એ બીજી પદ્ધતિ છેઃ તે આગાહીનું આઉટપુટ આપે છે જે વ્યક્તિગત મોડેલો દ્વારા આગાહીઓના આઉટપુટની રીત છે. મોડેલોનું સંયોજન એ મશીન લર્નિંગમાં સંશોધનનું સક્રિય ક્ષેત્ર છે. ડેટા કમ્પ્રેશન પ્રોગ્રામ્સની PAQ શ્રેણી ઇનપુટના વ્યક્તિગત બિટ્સને સંભાવનાઓ સોંપવા માટે સંદર્ભ મિશ્રણનો ઉપયોગ કરે છે. ડેટા કમ્પ્રેશન માટે એપ્લિકેશન ધારો કે આપણને બે શરતી સંભાવનાઓ આપવામાં આવી છે, અને, અને આપણે અંદાજ લગાવવા માંગીએ છીએ, બંને શરતોને ધ્યાનમાં રાખીને ઘટના X ની સંભાવના અને. પરિણામ આપવા માટે સંભાવના સિદ્ધાંત માટે અપૂરતી માહિતી છે. હકીકતમાં, એવા દૃશ્યો બનાવવાનું શક્ય છે જેમાં પરિણામ કંઈપણ હોઈ શકે. પરંતુ સહજ ભાવે, અમે અપેક્ષા રાખીએ છીએ કે પરિણામ બંનેની અમુક પ્રકારની સરેરાશ હશે. ડેટા સંકોચન માટે સમસ્યા મહત્વપૂર્ણ છે. આ એપ્લિકેશનમાં, અને સંદર્ભો છે, તે ઘટના છે કે કોમ્પ્રેસ કરવાના ડેટાના આગામી બીટ અથવા પ્રતીકનું ચોક્કસ મૂલ્ય હોય છે, અને તે બે સ્વતંત્ર મોડેલો દ્વારા સંભાવના અંદાજો છે. સંકોચન ગુણોત્તર એ વાત પર આધાર રાખે છે કે અંદાજિત સંભાવના ઘટનાની સાચી પરંતુ અજ્ઞાત સંભાવનાને કેટલી નજીકથી પહોંચે છે. ઘણીવાર એવું બને છે કે સંદર્ભો અને દરેક સંદર્ભની ઘટનાઓનો સચોટ અંદાજ કાઢવા માટે અને તેની ગણતરી કરવા માટે ઘણીવાર પૂરતા પ્રમાણમાં આવ્યા છે, પરંતુ બંને સંદર્ભો ક્યાં તો વારંવાર એક સાથે આવ્યા નથી, અથવા સંયુક્ત કેસ માટે આંકડા એકત્રિત કરવા માટે અપૂરતા કમ્પ્યુટિંગ સંસાધનો (સમય અને મેમરી) છે. ઉદાહરણ તરીકે, ધારો કે આપણે ટેક્સ્ટ ફાઇલને સંકુચિત કરી રહ્યા છીએ. અમે આગાહી કરવા માંગીએ છીએ કે શું આગામી અક્ષર લાઇનફીડ હશે, જો કે અગાઉનું અક્ષર સમયગાળો (સંદર્ભ) હતું અને છેલ્લું લાઇનફીડ 72 અક્ષરો (સંદર્ભ) પહેલાં થયું હતું. ધારો કે લાઇનફીડ અગાઉ છેલ્લા 5 પીરિયડ્સ () માંથી 1 પછી અને કોલમ 72 () પર છેલ્લી 10 લાઈનોમાંથી 5માં થયું હતું. આ આગાહીઓને કેવી રીતે જોડવી જોઈએ? બે સામાન્ય અભિગમોનો ઉપયોગ કરવામાં આવ્યો છે, રેખીય અને લોજિસ્ટિક મિશ્રણ. રેખીય મિશ્રણ પુરાવા દ્વારા ભારિત આગાહીઓની ભારિત સરેરાશનો ઉપયોગ કરે છે. આ ઉદાહરણમાં, વધુ વજન મળે છે કારણ કે તે વધુ સંખ્યામાં પરીક્ષણો પર આધારિત છે. પીએક્યુની જૂની આવૃત્તિઓ આ અભિગમનો ઉપયોગ કરે છે. નવી આવૃત્તિઓ સરેરાશ કરતા પહેલા આગાહીઓને લોજિસ્ટિક ડોમેન, લોગ (પી/(1-પી)) માં રૂપાંતરિત કરીને લોજિસ્ટિક (અથવા ન્યુરલ નેટવર્ક) મિશ્રણનો ઉપયોગ કરે છે. આ અસરકારક રીતે આ કિસ્સામાં 0 અથવા 1 ની નજીકની આગાહીઓને વધુ વજન આપે છે. બંને કિસ્સાઓમાં, દરેક ઇનપુટ મોડેલને વધારાનું વજન આપવામાં આવી શકે છે અને ભૂતકાળમાં સૌથી સચોટ આગાહીઓ કરનારા મોડેલોની તરફેણ કરવા માટે અનુકૂળ થઈ શકે છે. પી. એ. ક્યુ. ની સૌથી જૂની આવૃત્તિઓ સિવાયની તમામ આવૃત્તિઓ અનુકૂલનશીલ વજનનો ઉપયોગ કરે છે. મોટાભાગના સંદર્ભ મિશ્રણ કોમ્પ્રેસર એક સમયે એક બીટ ઇનપુટની આગાહી કરે છે. આઉટપુટ સંભાવના એ ફક્ત સંભાવના છે કે આગામી બીટ 1 હશે. લીનિયર મિક્સિંગ આપણને આગાહીઓનો સમૂહ આપવામાં આવ્યો છે Pi (1) = n1i/ni, જ્યાં ni = n0i + n1i, અને n0i અને n1i એ i 'th મોડેલ માટે અનુક્રમે 0 અને 1 બિટ્સની ગણતરીઓ છે. સંભાવનાઓની ગણતરી 0 અને 1 ગણતરીઓના ભારિત ઉમેરા દ્વારા કરવામાં આવે છેઃ S0 = εi wi n0i S1 = εi wi n1i S = S0 + S1 P (0) = S0/SP (1) = S1/S વજન શરૂઆતમાં સમાન હોય છે અને હંમેશા તેનો સરવાળો 1 થાય છે. પ્રારંભિક પરિસ્થિતિઓમાં, દરેક મોડેલને પુરાવાના પ્રમાણમાં ભારિત કરવામાં આવે છે. પછી વધુ સચોટ મોડેલોની તરફેણ કરવા માટે વજનને સમાયોજિત કરવામાં આવે છે. ધારો કે આપણને આપવામાં આવ્યું છે કે વાસ્તવિક બીટની આગાહી કરવામાં આવી રહી છે તે y (0 અથવા 1) છે. પછી વજનનું ગોઠવણ છેઃ ni = n0i + n1i ભૂલ = y-P (1) wi → wi + [(S n1i-S1 ni)/(S0 S1)] ભૂલ સંકોચનને ni ને બંધ કરીને સુધારી શકાય છે જેથી મોડેલનું વજન વધુ સારી રીતે સંતુલિત થાય. પી. એ. ક્યુ. 6 માં, જ્યારે પણ એક બીટની ગણતરીમાં વધારો કરવામાં આવે છે, ત્યારે બીજી ગણતરીનો ભાગ જે 2 કરતાં વધી જાય છે તે અડધો થઈ જાય છે. ઉદાહરણ તરીકે, ક્રમ 000000001 પછી, ગણતરીઓ (n0, n1) = (8,0) થી (5,1) સુધી જશે. લોજિસ્ટિક મિક્સિંગ ચાલો પાઇ (1) એ i 'th મોડેલ દ્વારા આગાહી છે કે આગામી બીટ 1 હશે. પછી અંતિમ આગાહી પી (1) ની ગણતરી કરવામાં આવે છેઃ xi = સ્ટ્રેચ (પી. આઈ. (1)) પી (1) = સ્ક્વોશ (xi) જ્યાં પી (1) એ સંભાવના છે કે આગામી બીટ એ 1 હશે, પી (1) એ i 'th મોડેલ દ્વારા અંદાજિત સંભાવના છે, અને સ્ટ્રેચ (x) = ln (x/(1-x)) સ્ક્વોશ (x) = 1/(1 + e−x) (સ્ટ્રેચનો વ્યસ્ત). દરેક આગાહી પછી, કોડિંગ ખર્ચ ઘટાડવા માટે વજનને સમાયોજિત કરીને મોડેલને અપડેટ કરવામાં આવે છે. જ્યાં η એ શીખવાનો દર છે (સામાન્ય રીતે 0.002 થી 0.01), y એ અનુમાનિત બીટ છે, અને (y-P (1)) એ આગાહી ભૂલ છે. સંદર્ભ મિશ્રણ સંકોચકની સૂચિ નીચેની તમામ આવૃત્તિઓ લોજિસ્ટિક મિશ્રણનો ઉપયોગ કરે છે સિવાય કે અન્યથા સૂચવવામાં આવે. તમામ પી. એ. ક્યુ. આવૃત્તિઓ (મેટ મહોની, સર્જ ઓસ્નાચ, એલેક્ઝાન્ડર રતુશન્યાક, પ્રિઝેમિસ્લો સ્કિબિન્સ્કી, જાન ઓન્ડ્રસ અને અન્ય). PAQAR અને PAQ7 પહેલાંની આવૃત્તિઓમાં રેખીય મિશ્રણનો ઉપયોગ થતો હતો. પછીની આવૃત્તિઓમાં લોજિસ્ટિક મિશ્રણનો ઉપયોગ કરવામાં આવ્યો હતો. તમામ એલ. પી. એ. ક્યુ. આવૃત્તિઓ (મેટ મહોની, એલેક્ઝાન્ડર રતુશન્યાક). ZPAQ (મેટ મહોની). મહત્તમ સંકોચન પીડબ્લ્યુસીએમ સ્થિતિમાં વિનઆરકે 3.0 (માલ્કમ ટેલર). આવૃત્તિ 3.0.2 રેખીય મિશ્રણ પર આધારિત હતી. નેનોઝિપ (સામી રનસાસ) મહત્તમ સંકોચન સ્થિતિમાં (વિકલ્પ-સીસી). xwrt 3.2 (પ્રિઝેમિસ્લો સ્કિબિન્સ્કી) મહત્તમ સંકોચન સ્થિતિમાં (વિકલ્પો-i10 થી-i14) શબ્દકોશ એન્કોડરના પાછળના અંત તરીકે. cmm1 થી cmm4, M1, અને M1X2 (ક્રિસ્ટોફર મેટર્ન) ઊંચી ઝડપ માટે થોડી સંખ્યામાં સંદર્ભોનો ઉપયોગ કરે છે. એમ1 અને એમ1એક્સ2 અલગ ઓપ્ટિમાઇઝેશન પાસમાં બે બીટ માસ્કેડ સંદર્ભો પસંદ કરવા માટે આનુવંશિક અલ્ગોરિધમનો ઉપયોગ કરે છે. સીસીએમ (ક્રિશ્ચિયન માર્ટેલોક). બીટ (ઉસ્માન તુરાન). ખીલ, ખીલ 2, ટી. સી. અને પી. એક્સ. (ઇલિયા મુરાવીવ). એન. સી. (સર્જ ઓસ્નાચ) પીપીએમ અને (રેખીય) સંદર્ભ મિશ્રણ પર આધારિત ઘણી પદ્ધતિઓનો પ્રયાસ કરે છે અને શ્રેષ્ઠ એક પસંદ કરે છે. એફ. પી. એ. ક્યુ. 2 (નેનિયા ફ્રાન્સેસ્કો એન્ટોનિયો) ઊંચી ઝડપ માટે નિશ્ચિત વજન સરેરાશનો ઉપયોગ કરે છે. સેમીક્સ (બાયરન નોલ) ઘણા મોડેલોને મિશ્રિત કરે છે, અને હાલમાં તે લાર્જ ટેક્સ્ટ કમ્પ્રેશન બેન્ચમાર્ક, તેમજ સિલેસિયા કોર્પસમાં પ્રથમ ક્રમે છે અને હટર પ્રાઇઝની વિજેતા એન્ટ્રીને વટાવી ગઈ છે, જો કે તે વધુ પડતી મેમરીના ઉપયોગને કારણે પાત્ર નથી. સંદર્ભો માહિતી સંકોચન