AdaBoost
એડાબૂસ્ટ, એડેપ્ટિવ બૂસ્ટિંગ માટે ટૂંકું છે, તે 1995 માં યોવ ફ્રોન્ડ અને રોબર્ટ શેપિરે દ્વારા ઘડવામાં આવેલું આંકડાકીય વર્ગીકરણ મેટા-અલ્ગોરિધમ છે, જેમણે તેમના કામ માટે 2003 ગોડેલ પુરસ્કાર જીત્યો હતો. તેનો ઉપયોગ પ્રદર્શનમાં સુધારો કરવા માટે અન્ય ઘણા પ્રકારનાં શિક્ષણ અલ્ગોરિધમ્સ સાથે થઈ શકે છે. અન્ય લર્નિંગ અલ્ગોરિધમ્સ ('નબળા શીખનારાઓ') ના આઉટપુટને ભારિત રકમમાં જોડવામાં આવે છે જે ઉન્નત વર્ગીકરણના અંતિમ આઉટપુટને રજૂ કરે છે. સામાન્ય રીતે, એડાબૂસ્ટ દ્વિસંગી વર્ગીકરણ માટે રજૂ કરવામાં આવે છે, જો કે તેને વાસ્તવિક રેખા પર બહુવિધ વર્ગો અથવા બંધાયેલા અંતરાલોમાં સામાન્યીકૃત કરી શકાય છે. એડાબૂસ્ટ એ અર્થમાં અનુકૂલનશીલ છે કે અનુગામી નબળા શીખનારાઓને અગાઉના વર્ગીકરણકર્તાઓ દ્વારા ખોટી રીતે વર્ગીકૃત કરવામાં આવેલા ઉદાહરણોની તરફેણમાં ફેરવવામાં આવે છે. કેટલીક સમસ્યાઓમાં તે અન્ય લર્નિંગ અલ્ગોરિધમ્સની તુલનામાં ઓવરફિટિંગ સમસ્યા માટે ઓછી સંવેદનશીલ હોઈ શકે છે. વ્યક્તિગત શીખનારાઓ નબળા હોઈ શકે છે, પરંતુ જ્યાં સુધી દરેકનું પ્રદર્શન રેન્ડમ અનુમાન કરતાં થોડું સારું હોય, ત્યાં સુધી અંતિમ મોડેલ મજબૂત શીખનારમાં એકરૂપ હોવાનું સાબિત થઈ શકે છે. જો કે એડાબૂસ્ટનો ઉપયોગ સામાન્ય રીતે નબળા પાયાના શીખનારાઓ (જેમ કે નિર્ણય સ્ટમ્પ્સ) ને જોડવા માટે થાય છે, તેમ છતાં એવું દર્શાવવામાં આવ્યું છે કે તે અસરકારક રીતે મજબૂત પાયાના શીખનારાઓ (જેમ કે ઊંડા નિર્ણય વૃક્ષો) ને પણ જોડી શકે છે, જેનાથી વધુ સચોટ મોડેલ તૈયાર થાય છે. દરેક લર્નિંગ અલ્ગોરિધમ કેટલાક સમસ્યાના પ્રકારોને અન્ય કરતા વધુ સારી રીતે અનુકૂળ કરે છે, અને સામાન્ય રીતે ડેટાસેટ પર શ્રેષ્ઠ પ્રદર્શન પ્રાપ્ત કરે તે પહેલાં તેને સમાયોજિત કરવા માટે ઘણા જુદા જુદા પરિમાણો અને રૂપરેખાંકનો હોય છે. એડાબૂસ્ટ (નબળા શીખનારાઓ તરીકે નિર્ણય વૃક્ષો સાથે) ને ઘણીવાર શ્રેષ્ઠ આઉટ ઓફ ધ બોક્સ વર્ગીકરણ તરીકે ઓળખવામાં આવે છે. જ્યારે નિર્ણય વૃક્ષ શિક્ષણ સાથે ઉપયોગ કરવામાં આવે છે, ત્યારે દરેક તાલીમ નમૂનાની સંબંધિત 'કઠિનતા' વિશે એડાબૂસ્ટ અલ્ગોરિધમનો દરેક તબક્કે એકત્રિત કરવામાં આવેલી માહિતી વૃક્ષ ઉગાડતા અલ્ગોરિધમમાં આપવામાં આવે છે જેથી પછીના વૃક્ષો સખત-થી-વર્ગીકૃત ઉદાહરણો પર ધ્યાન કેન્દ્રિત કરે. એડાબૂસ્ટની તાલીમ એ ઉન્નત વર્ગીકરણની તાલીમની ચોક્કસ પદ્ધતિનો સંદર્ભ આપે છે. બુસ્ટેડ ક્લાસિફાયર એ સ્વરૂપનું વર્ગીકરણ છે જ્યાં દરેક નબળો શીખનાર હોય છે જે ઑબ્જેક્ટને ઇનપુટ તરીકે લે છે અને ઑબ્જેક્ટના વર્ગને સૂચવતી કિંમત આપે છે. ઉદાહરણ તરીકે, દ્વિ-વર્ગની સમસ્યામાં, નબળા શીખનારના પરિણામની નિશાની અનુમાનિત વસ્તુ વર્ગને ઓળખે છે અને નિરપેક્ષ મૂલ્ય તે વર્ગીકરણમાં વિશ્વાસ આપે છે. તેવી જ રીતે, જો નમૂનો હકારાત્મક વર્ગમાં હોય અને અન્યથા નકારાત્મક હોય તો-th વર્ગીકરણ હકારાત્મક છે. દરેક નબળો શીખનાર એક આઉટપુટ પૂર્વધારણા ઉત્પન્ન કરે છે જે તાલીમ સમૂહમાં દરેક નમૂના માટે આગાહી નક્કી કરે છે. દરેક પુનરાવર્તનમાં, નબળા શીખનારની પસંદગી કરવામાં આવે છે અને તેને એક ગુણાંક સોંપવામાં આવે છે જેથી પરિણામી તબક્કાના બુસ્ટેડ ક્લાસિફાયરની કુલ તાલીમ ભૂલ ઘટાડી શકાય. અહીં વર્ધિત વર્ગીકરણ છે જે તાલીમના અગાઉના તબક્કા સુધી બનાવવામાં આવ્યું છે અને તે નબળો શીખનાર છે જેને અંતિમ વર્ગીકરણમાં ઉમેરવા માટે ગણવામાં આવે છે. વજન તાલીમ પ્રક્રિયાના દરેક પુનરાવર્તનમાં, તાલીમ સમૂહમાં દરેક નમૂનાને તે નમૂના પરની વર્તમાન ભૂલ બરાબર વજન સોંપવામાં આવે છે. આ વજનોનો ઉપયોગ નબળા શીખનારની તાલીમમાં થઈ શકે છે. દાખલા તરીકે, નિર્ણય વૃક્ષો ઉગાડી શકાય છે જે મોટા વજનવાળા નમૂનાઓના સમૂહને વિભાજિત કરવાની તરફેણ કરે છે. વ્યુત્પત્તિ આ વ્યુત્પત્તિ રોજાસ (2009) ને અનુસરે છેઃ ધારો કે આપણી પાસે એક ડેટા સમૂહ છે જ્યાં દરેક વસ્તુ સાથે સંકળાયેલ વર્ગ છે, અને નબળા વર્ગીકરણકર્તાઓનો સમૂહ છે જેમાંથી દરેક વસ્તુ માટે વર્ગીકરણનું આઉટપુટ આપે છે. - th પુનરાવર્તન પછી આપણું બુસ્ટેડ ક્લાસિફાયર એ ફોર્મના નબળા ક્લાસિફાયર્સનું રેખીય સંયોજન છેઃ, જ્યાં વર્ગની નિશાની હશે. - th પુનરાવર્તનમાં આપણે અન્ય વજન સાથે અન્ય નબળા વર્ગીકરણને ઉમેરીને આને વધુ સારા વર્ધિત વર્ગીકરણ સુધી વિસ્તારવા માંગીએ છીએઃ તેથી તે નક્કી કરવાનું બાકી છે કે કયા નબળા વર્ગીકરણ માટે શ્રેષ્ઠ પસંદગી છે, અને તેનું વજન શું હોવું જોઈએ. અમે દરેક ડેટા બિંદુ પર તેના ઘાતાંકીય નુકસાનના સરવાળા તરીકે કુલ ભૂલને વ્યાખ્યાયિત કરીએ છીએ, જે નીચે મુજબ છેઃ લેટિંગ અને માટે, આપણી પાસે છેઃ આપણે આ સરવાળાને તે ડેટા બિંદુઓ વચ્ચે વિભાજિત કરી શકીએ છીએ જે (તેથી) દ્વારા યોગ્ય રીતે વર્ગીકૃત કરવામાં આવે છે અને જે ખોટી રીતે વર્ગીકૃત કરવામાં આવે છે (તેથી): આ સમીકરણની જમણી બાજુનો એકમાત્ર ભાગ જેના પર આધાર રાખે છે તે છે, આપણે જોઈએ છીએ કે જે ઘટાડે છે તે તે છે જે [એમ ધારીને] ઘટાડે છે, એટલે કે. સૌથી ઓછી ભારિત ભૂલ (વજન સાથે) સાથેનું નબળું વર્ગીકરણ. ઇચ્છિત વજન નક્કી કરવા માટે કે જે આપણે હમણાં જ નક્કી કર્યું છે તેની સાથે ન્યૂનતમ થાય છે, આપણે તફાવત કરીએ છીએઃ સદભાગ્યે લઘુત્તમ ત્યારે થાય છે જ્યારે આને શૂન્ય પર સેટ કરીએ છીએ, પછી ઉપજ માટે ઉકેલઃ આપણે નબળા વર્ગીકરણના ભારિત ભૂલ દરની ગણતરી કરીએ છીએ, તેથી તે નીચે પ્રમાણે છેઃ જે નકારાત્મક લોગિટ કાર્ય છે જેનો ગુણાકાર 0.5 થાય છે. કાર્ય તરીકેની બહિર્મુખતાને કારણે, માટે આ નવી અભિવ્યક્તિ લોસ ફંક્શનનું વૈશ્વિક લઘુત્તમ આપે છે. નોંધઃ આ વ્યુત્પત્તિ ત્યારે જ લાગુ પડે છે, જ્યારે તે અન્ય કિસ્સાઓમાં સારો પ્રારંભિક અનુમાન હોઈ શકે છે, જેમ કે જ્યારે નબળો શીખનાર પક્ષપાતી હોય (), બહુવિધ પાંદડા હોય () અથવા અન્ય કોઈ કાર્ય હોય. આમ આપણે એડાબૂસ્ટ અલ્ગોરિધમ મેળવ્યું છેઃ દરેક પુનરાવર્તનમાં, વર્ગીકરણ પસંદ કરો, જે કુલ ભારિત ભૂલને ઘટાડે છે, ભૂલ દરની ગણતરી કરવા માટે આનો ઉપયોગ કરો, વજનની ગણતરી કરવા માટે આનો ઉપયોગ કરો અને અંતે તેનો ઉપયોગ ઉન્નત વર્ગીકરણને સુધારવા માટે કરો. બુસ્ટિંગની આંકડાકીય સમજણ એ રેખીય રીગ્રેસનનું એક સ્વરૂપ છે જેમાં દરેક નમૂનાની લાક્ષણિકતાઓ કેટલાક નબળા શીખનારના પરિણામો પર લાગુ થાય છે. જ્યારે રીગ્રેસન સામાન્યીકરણ ગુમાવ્યા વિના શક્ય તેટલી ચોક્કસપણે ફિટ થવાનો પ્રયાસ કરે છે, સામાન્ય રીતે ઓછામાં ઓછી ચોરસ ભૂલનો ઉપયોગ કરે છે, જ્યારે એડાબૂસ્ટ ભૂલ કાર્ય એ હકીકતને ધ્યાનમાં લે છે કે માત્ર અંતિમ પરિણામની નિશાનીનો ઉપયોગ કરવામાં આવે છે, આમ ભૂલ વધાર્યા વિના 1 કરતા ઘણી મોટી હોઈ શકે છે. જો કે, જેમ જેમ નમૂના માટેની ભૂલમાં ઘાતાંકીય વધારો વધે છે. પરિણામે આઉટલીઅર્સને અતિશય વજન સોંપવામાં આવે છે. ઘાતાંકીય ભૂલ કાર્યની પસંદગીનું એક લક્ષણ એ છે કે અંતિમ એડિટિવ મોડેલની ભૂલ એ દરેક તબક્કાની ભૂલનું ઉત્પાદન છે, એટલે કે. આમ તે જોઈ શકાય છે કે એડાબૂસ્ટ અલ્ગોરિધમમાં વજન અપડેટ દરેક તબક્કા પછી ભૂલની ફરીથી ગણતરી કરવા સમાન છે. લોસ ફંક્શનની પસંદગીમાં ઘણી બધી લવચીકતાની મંજૂરી છે. જ્યાં સુધી લોસ ફંક્શન મોનોટોનિક અને સતત ડિફરન્શીયેબલ હોય, ત્યાં સુધી ક્લાસિફાયર હંમેશા શુદ્ધ ઉકેલો તરફ આગળ વધે છે. ઝાંગ (2004) લઘુતમ ચોરસ પર આધારિત નુકસાન કાર્ય પ્રદાન કરે છે, જે સુધારેલ હ્યુબર નુકસાન કાર્ય છેઃ આ કાર્ય 1 અથવા-1 ની નજીક માટે લોગિટબૂસ્ટ કરતાં વધુ સારી રીતે વર્તવામાં આવે છે, બિનપરિવર્તિત લઘુતમ ચોરસથી વિપરીત, 'વધુ પડતી આત્મવિશ્વાસ' આગાહીઓ () ને દંડ આપતું નથી, અને માત્ર 1 કરતા વધુ વિશ્વાસ સાથે ખોટી રીતે વર્ગીકૃત કરવામાં આવેલા નમૂનાઓને દંડ આપે છે, જે ચતુર્ભુજ અથવા ઘાતાંકીય રીતે વિપરીત છે, અને આમ બાહ્યરેખાઓની અસરો માટે ઓછું સંવેદનશીલ છે. ગ્રેડિયન્ટ ડિસેન્ટ તરીકે બુસ્ટિંગને ફંક્શન્સના બહિર્મુખ સમૂહ પર બહિર્મુખ નુકસાન કાર્યના લઘુતમ તરીકે જોઈ શકાય છે. ખાસ કરીને, એડાબૂસ્ટ દ્વારા ઘટાડવામાં આવતી ખોટ એ ઘાતાંકીય ખોટ છે, જ્યારે લોજિટબૂસ્ટ લોજિસ્ટિક રીગ્રેસન કરે છે, જે ઘટાડે છે. ગ્રેડિયન્ટ ડિસેન્ટ સામ્યતામાં, દરેક તાલીમ બિંદુ માટે વર્ગીકરણકર્તાનું આઉટપુટ એન-ડાયમેન્શનલ સ્પેસમાં એક બિંદુ માનવામાં આવે છે, જ્યાં દરેક અક્ષ તાલીમ નમૂનાને અનુરૂપ હોય છે, દરેક નબળો શીખનાર નિશ્ચિત દિશા અને લંબાઈના વેક્ટરને અનુરૂપ હોય છે, અને ધ્યેય લક્ષ્ય બિંદુ (અથવા કોઈપણ પ્રદેશ જ્યાં લોસ ફંક્શનનું મૂલ્ય તે બિંદુ પરના મૂલ્ય કરતા ઓછું હોય) સુધી પહોંચવાનો હોય છે. આમ એડાબૂસ્ટ અલ્ગોરિધમ્સ ક્યાં તો કોચી (સૌથી તીવ્ર ઢાળ સાથે શોધો, પરીક્ષણની ભૂલને ઓછી કરવા માટે પસંદ કરો) અથવા ન્યૂટન (કેટલાક લક્ષ્ય બિંદુ પસંદ કરો, તે બિંદુની સૌથી નજીક લાવે છે તે શોધો) તાલીમ ભૂલનું ઓપ્ટિમાઇઝેશન કરે છે. ઉદાહરણ અલ્ગોરિધમ (ડિસ્ક્રીટ એડાબૂસ્ટ) સાથેઃ નમૂનાઓ ઇચ્છિત આઉટપુટ પ્રારંભિક વજન ભૂલ કાર્ય માટે સુયોજિત છે નબળા શીખનારાઓ માટેઃ પસંદ કરો નબળા શીખનારને શોધો જે ઘટાડે છે, ખોટી રીતે વર્ગીકૃત કરેલા બિંદુઓ માટે ભારિત રકમ ભૂલ પસંદ કરો સમૂહમાં ઉમેરોઃ વજનને અપડેટ કરો (નોંધઃ તે દરેક તબક્કે બતાવવામાં આવી શકે છે, જે નવા વજનની ગણતરીને સરળ બનાવી શકે છે.) વેરિયન્ટ્સ રિયલ એડાબૂસ્ટ નિર્ણય વૃક્ષોનું ઉત્પાદન એ વર્ગ સંભાવના અંદાજ છે, જે સંભાવના હકારાત્મક વર્ગમાં છે. ફ્રીડમેન, હેસ્ટી અને ટિબશિરાની કેટલાક નિશ્ચિત (સામાન્ય રીતે ભારિત લઘુત્તમ ચોરસ ભૂલનો ઉપયોગ કરીને પસંદ કરાયેલ) માટે વિશ્લેષણાત્મક લઘુતમ શોધક મેળવે છેઃ આમ, સમગ્ર વૃક્ષના ઉત્પાદનને અમુક નિશ્ચિત મૂલ્યથી ગુણાકાર કરવાને બદલે, દરેક લીફ નોડને તેના અગાઉના મૂલ્યના અડધા લોગિટ ટ્રાન્સફોર્મ આઉટપુટમાં બદલવામાં આવે છે. લોજિટબૂસ્ટ એડેબૂસ્ટ પદ્ધતિમાં સ્થાપિત લોજિસ્ટિક રીગ્રેસન તકનીકોના ઉપયોગને રજૂ કરે છે. y ના સંદર્ભમાં ભૂલને ઘટાડવાને બદલે, નબળા શીખનારાઓને (ભારિત લઘુતમ-વર્ગ) ભૂલને ઘટાડવા માટે પસંદ કરવામાં આવે છે જ્યાં તે તબક્કે લોગ-લાઇકીલીહૂડ ભૂલના લઘુતમ ન્યુટન-રેફસન અંદાજ છે, અને નબળા શીખનારને એવા શીખનાર તરીકે પસંદ કરવામાં આવે છે જે ભારિત લઘુતમ વર્ગ દ્વારા શ્રેષ્ઠ અંદાજ આપે છે. જેમ જેમ પી 1 અથવા 0 ની નજીક પહોંચે છે, તેનું મૂલ્ય ખૂબ નાનું બને છે અને ઝેડ શબ્દ, જે ખોટી રીતે વર્ગીકૃત નમૂનાઓ માટે મોટો છે, તે મશીનની ચોકસાઇ ગોળાકાર ભૂલોને કારણે આંકડાકીય રીતે અસ્થિર બની શકે છે. જ્યારે અગાઉના બુસ્ટીંગ અલ્ગોરિધમ્સ લોભથી પસંદ કરે છે, દરેક પગલામાં એકંદર પરીક્ષણ ભૂલને શક્ય તેટલી ઓછી કરીને, જેન્ટલબૂસ્ટ એક બાઉન્ડેડ સ્ટેપ સાઇઝ ધરાવે છે, ત્યારે ઝેડના સંપૂર્ણ મૂલ્ય અને ડબલ્યુ જેન્ટલ એડબૂસ્ટના લઘુત્તમ મૂલ્ય પર કેટલીક મર્યાદા લાગુ કરીને આને દૂર કરી શકાય છે. તેને ઘટાડવા માટે પસંદ કરવામાં આવે છે, અને આગળ કોઈ ગુણાંક લાગુ કરવામાં આવતો નથી. આમ, એવા કિસ્સામાં કે જ્યાં નબળો શીખનાર સંપૂર્ણ વર્ગીકરણ પ્રદર્શન દર્શાવે છે, જેન્ટલબૂસ્ટ બરાબર સમાન પસંદ કરે છે, જ્યારે સ્ટીપેસ્ટ ડિસેન્ટ અલ્ગોરિધમ્સ સેટ કરવાનો પ્રયાસ કરે છે. જેન્ટલબૂસ્ટના સારા પ્રદર્શન વિશેના પ્રયોગમૂલક અવલોકનો શેપાયર અને સિંગરની ટિપ્પણીને સમર્થન આપે છે કે જેટલબૂસ્ટના વધુ પડતા મોટા મૂલ્યોને મંજૂરી આપવી એ નબળા સામાન્યીકરણ પ્રદર્શન તરફ દોરી શકે છે. અર્લી ટર્મિનેશન એ બુસ્ટેડ ક્લાસિફાયર્સની પ્રક્રિયાને ઝડપી બનાવવા માટેની એક તકનીક છે, અર્લી ટર્મિનેશન એ ફક્ત દરેક સંભવિત ઓબ્જેક્ટનું અંતિમ ક્લાસિફાયરના ઘણા સ્તરો સાથે પરીક્ષણ કરવાનો સંદર્ભ આપે છે, જે અમુક વિશ્વાસની મર્યાદાને પહોંચી વળવા માટે જરૂરી છે, એવા કિસ્સાઓ માટે ગણતરીને ઝડપી બનાવે છે જ્યાં ઓબ્જેક્ટનો વર્ગ સરળતાથી નક્કી કરી શકાય છે. આવી જ એક યોજના વિઓલા અને જોન્સ દ્વારા રજૂ કરાયેલ ઓબ્જેક્ટ ડિટેક્શન ફ્રેમવર્ક છેઃ હકારાત્મક કરતાં નોંધપાત્ર રીતે વધુ નકારાત્મક નમૂનાઓ ધરાવતી એપ્લિકેશનમાં, અલગ બુસ્ટ ક્લાસિફાયર્સના કાસ્કેડને તાલીમ આપવામાં આવે છે, દરેક તબક્કાનું આઉટપુટ એવી રીતે પક્ષપાતી હોય છે કે હકારાત્મક નમૂનાઓના કેટલાક સ્વીકાર્ય નાના અપૂર્ણાંકને નકારાત્મક તરીકે ખોટી રીતે લેબલ કરવામાં આવે છે, અને દરેક તબક્કા પછી નકારાત્મક તરીકે ચિહ્નિત થયેલ તમામ નમૂનાઓ કાઢી નાખવામાં આવે છે. જો દરેક તબક્કા દ્વારા 50 ટકા નકારાત્મક નમૂનાઓને ફિલ્ટર કરવામાં આવે, તો ગણતરીના પ્રયાસને ઘટાડીને, માત્ર ખૂબ જ ઓછી સંખ્યામાં પદાર્થો સમગ્ર વર્ગીકરણમાંથી પસાર થશે. ત્યારથી આ પદ્ધતિને સામાન્ય બનાવવામાં આવી છે, જેમાં કેટલાક ઇચ્છિત ખોટા હકારાત્મક અને ખોટા નકારાત્મક દર હાંસલ કરવા માટે દરેક તબક્કે શ્રેષ્ઠ થ્રેશોલ્ડ પસંદ કરવા માટે સૂત્ર આપવામાં આવ્યું છે. આંકડાશાસ્ત્રના ક્ષેત્રમાં, જ્યાં એડાબૂસ્ટને સામાન્ય રીતે મધ્યમ પરિમાણની સમસ્યાઓ પર લાગુ કરવામાં આવે છે, ત્યાં વહેલા અટકાવવાનો ઉપયોગ ઓવરફિટિંગને ઘટાડવાની વ્યૂહરચના તરીકે થાય છે. નમૂનાઓના માન્યતા સમૂહને તાલીમ સમૂહથી અલગ કરવામાં આવે છે, તાલીમ માટે ઉપયોગમાં લેવાતા નમૂનાઓ પર વર્ગીકરણકર્તાની કામગીરીને માન્યતા નમૂનાઓ પરની કામગીરી સાથે સરખાવવામાં આવે છે, અને જો માન્યતા નમૂના પરની કામગીરીમાં ઘટાડો જોવા મળે તો તાલીમ સમાપ્ત કરવામાં આવે છે. સંપૂર્ણ રીતે સુધારાત્મક અલ્ગોરિધમ્સ એડેબૂસ્ટની સૌથી તીવ્ર ઉતરતી આવૃત્તિઓ માટે, જ્યાં પરીક્ષણની ભૂલને ઘટાડવા માટે દરેક સ્તર ટી પર પસંદ કરવામાં આવે છે, ત્યાં ઉમેરવામાં આવેલ આગળનું સ્તર સ્તર ટીથી મહત્તમ સ્વતંત્ર હોવાનું કહેવાય છેઃ તે નબળા શીખનાર ટી + 1 પસંદ કરવાની શક્યતા નથી જે શીખનાર ટી જેવું જ હોય. જો કે, એવી શક્યતા રહે છે કે ટી + 1 અગાઉના કોઈ અન્ય સ્તર જેવી જ માહિતી ઉત્પન્ન કરે. સંપૂર્ણપણે સુધારાત્મક અલ્ગોરિધમ્સ, જેમ કે એલ. પી. બૂસ્ટ, દરેક પગલા પછી દરેક ગુણાંકના મૂલ્યને શ્રેષ્ઠ બનાવે છે, જેથી ઉમેરવામાં આવેલા નવા સ્તરો હંમેશા અગાઉના દરેક સ્તરથી મહત્તમ રીતે સ્વતંત્ર હોય. આ બેકફિટિંગ, રેખીય પ્રોગ્રામિંગ અથવા અન્ય કોઈ પદ્ધતિ દ્વારા પરિપૂર્ણ કરી શકાય છે. કાપણી એ નબળા પ્રદર્શન કરતા નબળા વર્ગીકરણકર્તાઓને દૂર કરવાની પ્રક્રિયા છે, જેથી વૃદ્ધિ પામેલા વર્ગીકરણકર્તાની યાદશક્તિ અને અમલીકરણ-સમયની કિંમતમાં સુધારો થાય. સૌથી સરળ પદ્ધતિઓ, જે સંપૂર્ણપણે સુધારાત્મક તાલીમ સાથે જોડાણમાં ખાસ કરીને અસરકારક હોઈ શકે છે, તે વજન-અથવા માર્જિન-ટ્રીમિંગ છેઃ જ્યારે કેટલાક નબળા વર્ગીકરણકર્તાનો ગુણાંક, અથવા કુલ પરીક્ષણ ભૂલમાં યોગદાન, ચોક્કસ થ્રેશોલ્ડથી નીચે આવે છે, ત્યારે તે વર્ગીકરણકર્તાને પડતો મૂકવામાં આવે છે. માર્જિનેન્ટુ અને ડાયેટેરિચે કાપવા માટે વૈકલ્પિક માપદંડ સૂચવ્યો હતોઃ નબળા વર્ગીકરણોની પસંદગી એવી રીતે કરવી જોઈએ કે જે દાગીનાની વિવિધતા મહત્તમ હોય. જો બે નબળા શીખનારાઓ ખૂબ સમાન પરિણામો ઉત્પન્ન કરે છે, તો તેમાંથી એકને દૂર કરીને અને બાકીના નબળા શીખનારના ગુણાંકમાં વધારો કરીને કાર્યક્ષમતામાં સુધારો કરી શકાય છે. બૂટસ્ટ્રેપ એગ્રીગેટિંગ કોબૂસ્ટિંગ બ્રાઉનબૂસ્ટ ગ્રેડિયન્ટ બૂસ્ટિંગ રેફરન્સ પણ જુઓ વધુ વાંચન યોવ ફ્રોન્ડ અને રોબર્ટ E.Schapire નું મૂળ પેપર જ્યાં એડબૂસ્ટ પ્રથમ રજૂ કરવામાં આવ્યું છે. બૂસ્ટિંગ અલ્ગોરિધમનો માર્જિન સમજૂતી પર. માર્જિન વિશે શંકા પર બુસ્ટીંગની સમજૂતી. વર્ગીકરણ અલ્ગોરિધમ્સ એકત્રિત શિક્ષણ