Gradient boosting
ગ્રેડિયન્ટ બૂસ્ટિંગ એ મશીન લર્નિંગ તકનીક છે જેનો ઉપયોગ અન્ય લોકો વચ્ચે રીગ્રેસન અને વર્ગીકરણ કાર્યોમાં થાય છે. તે નબળા આગાહી મોડેલોના સમૂહના સ્વરૂપમાં આગાહી મોડેલ આપે છે, એટલે કે, એવા મોડેલો કે જે ડેટા વિશે બહુ ઓછી ધારણાઓ કરે છે, જે સામાન્ય રીતે સરળ નિર્ણય વૃક્ષો હોય છે. જ્યારે નિર્ણય વૃક્ષ નબળો શીખનાર હોય છે, ત્યારે પરિણામી અલ્ગોરિધમનોને ગ્રેડિયન્ટ-બૂસ્ટેડ વૃક્ષો કહેવામાં આવે છે; તે સામાન્ય રીતે રેન્ડમ જંગલને પાછળ છોડી દે છે. ગ્રેડિયન્ટ-બૂસ્ટેડ ટ્રીઝ મોડેલ અન્ય બુસ્ટીંગ પદ્ધતિઓની જેમ તબક્કાવાર રીતે બનાવવામાં આવે છે, પરંતુ તે મનસ્વી રીતે ડિફરન્શીયેબલ લોસ ફંક્શનના ઓપ્ટિમાઇઝેશનને મંજૂરી આપીને અન્ય પદ્ધતિઓને સામાન્ય બનાવે છે. ગ્રેડિયન્ટ બૂસ્ટિંગનો વિચાર લીઓ બ્રેમેનના નિરીક્ષણમાં ઉદ્દભવ્યો હતો કે બુસ્ટિંગને યોગ્ય ખર્ચ કાર્ય પર ઓપ્ટિમાઇઝેશન અલ્ગોરિધમ તરીકે અર્થઘટન કરી શકાય છે. ત્યારબાદ જેરોમ એચ. ફ્રીડમેન દ્વારા સ્પષ્ટ રીગ્રેસન ગ્રેડિયન્ટ બૂસ્ટિંગ એલ્ગોરિધમ્સ વિકસાવવામાં આવ્યા હતા, જે સાથે સાથે લીવ મેસન, જોનાથન બેક્સટર, પીટર બાર્ટલેટ અને માર્કસ ફ્રીનના વધુ સામાન્ય કાર્યાત્મક ગ્રેડિયન્ટ બૂસ્ટિંગ પરિપ્રેક્ષ્ય સાથે વિકસાવવામાં આવ્યા હતા. પછીના બે કાગળોએ પુનરાવર્તિત કાર્યાત્મક ગ્રેડિયન્ટ ડિસેન્ટ અલ્ગોરિધમ્સ તરીકે અલ્ગોરિધમ્સને વેગ આપવાનો દૃષ્ટિકોણ રજૂ કર્યો. એટલે કે, એલ્ગોરિધમ્સ કે જે નકારાત્મક ઢાળ દિશામાં નિર્દેશ કરતા કાર્ય (નબળી પૂર્વધારણા) ને પુનરાવર્તિત રીતે પસંદ કરીને કાર્ય જગ્યા પર ખર્ચ કાર્યને શ્રેષ્ઠ બનાવે છે. બુસ્ટીંગના આ કાર્યાત્મક ઢાળ દૃષ્ટિકોણથી મશીન લર્નિંગ અને સ્ટેટિસ્ટિક્સના ઘણા ક્ષેત્રોમાં રીગ્રેસન અને વર્ગીકરણની બહાર બુસ્ટીંગ એલ્ગોરિધમ્સનો વિકાસ થયો છે. અનૌપચારિક પરિચય (આ વિભાગ ચેંગ લી દ્વારા ગ્રેડિયન્ટ બૂસ્ટિંગના પ્રદર્શનને અનુસરે છે.) અન્ય બુસ્ટીંગ પદ્ધતિઓની જેમ, ગ્રેડિયન્ટ બુસ્ટીંગ નબળા "શીખનારાઓ" ને પુનરાવર્તિત રીતે એક જ મજબૂત શીખનારમાં જોડે છે. લીસ્ટ-સ્ક્વેર રીગ્રેસન સેટિંગમાં સમજાવવું સૌથી સરળ છે, જ્યાં ધ્યેય સરેરાશ સ્ક્વેર ભૂલને ઘટાડીને ફોર્મના મૂલ્યોની આગાહી કરવા માટે એક મોડેલને "શીખવવાનું" છે, જ્યાં આઉટપુટ વેરિયેબલના વાસ્તવિક મૂલ્યોના કદના કેટલાક તાલીમ સમૂહ પર અનુક્રમણિકા છેઃ અનુમાનિત મૂલ્ય અવલોકન કરેલ મૂલ્યમાં નમૂનાઓની સંખ્યા હવે, ચાલો તબક્કાઓ સાથે ગ્રેડિયન્ટ બૂસ્ટિંગ અલ્ગોરિધમનો વિચાર કરીએ. ગ્રેડિયન્ટ બૂસ્ટિંગના દરેક તબક્કે (), ધારો કે કેટલાક અપૂર્ણ મોડેલ (નીચા માટે, આ મોડેલ સરળતાથી પરત આવી શકે છે, જ્યાં આરએચએસ સરેરાશ છે). સુધારવા માટે, આપણા અલ્ગોરિધમે કેટલાક નવા અંદાજકર્તાને ઉમેરવા જોઈએ. આમ, અથવા, સમાનરૂપે,. તેથી, ગ્રેડિયન્ટ બૂસ્ટિંગ અવશેષ સાથે બંધબેસે છે. અન્ય બુસ્ટીંગ પ્રકારોની જેમ, દરેક તેના પુરોગામીની ભૂલોને સુધારવાનો પ્રયાસ કરે છે. સ્ક્વેર્ડ એરર સિવાયના લોસ ફંક્શન્સ માટે આ વિચારનું સામાન્યીકરણ, અને વર્ગીકરણ અને રેન્કિંગ સમસ્યાઓ, નિરીક્ષણ પરથી અનુસરે છે કે આપેલ મોડેલ માટેના અવશેષો મીન સ્ક્વેર્ડ એરર (MSE) લોસ ફંક્શન (સંદર્ભમાં) ના નકારાત્મક ઢાળના પ્રમાણસર હોય છેઃ તેથી, ગ્રેડિયન્ટ બૂસ્ટિંગ એ ગ્રેડિયન્ટ ડિસેન્ટ અલ્ગોરિધમ માટે વિશિષ્ટ હોઈ શકે છે, અને તેને સામાન્ય બનાવવું એ એક અલગ નુકસાન અને તેના ગ્રેડિયન્ટને "પ્લગ ઇન" કરે છે. એલ્ગોરિધમ ઘણી દેખરેખ હેઠળની શીખવાની સમસ્યાઓમાં આઉટપુટ વેરિયેબલ અને ઇનપુટ વેરિયેબલ્સનો વેક્ટર હોય છે, જે કેટલાક સંભવિત વિતરણ સાથે એકબીજા સાથે સંબંધિત હોય છે. ધ્યેય એવા કેટલાક કાર્યને શોધવાનું છે જે ઇનપુટ ચલોના મૂલ્યોમાંથી આઉટપુટ ચલને શ્રેષ્ઠ રીતે અંદાજ આપે છે. આને કેટલાક નુકસાન કાર્યની રજૂઆત કરીને અને અપેક્ષાએ તેને ઘટાડીને ઔપચારિક બનાવવામાં આવે છેઃ ગ્રેડિયન્ટ બૂસ્ટિંગ પદ્ધતિ વાસ્તવિક મૂલ્ય ધારણ કરે છે. તે અમુક વર્ગમાંથી કાર્યોના ભારિત સરવાળાના સ્વરૂપમાં અંદાજ માંગે છે, જેને આધાર (અથવા નબળા) શીખનારાઓ કહેવાય છેઃ આપણને સામાન્ય રીતે જાણીતા નમૂના મૂલ્યો અને તેના અનુરૂપ મૂલ્યોનો તાલીમ સમૂહ આપવામાં આવે છે. પ્રયોગમૂલક જોખમ ઘટાડવાના સિદ્ધાંત અનુસાર, પદ્ધતિ એક અંદાજ શોધવાનો પ્રયાસ કરે છે જે તાલીમ સમૂહ પર નુકસાન કાર્યના સરેરાશ મૂલ્યને ઘટાડે છે, એટલે કે, પ્રયોગમૂલક જોખમને ઘટાડે છે. તે એક મોડેલથી શરૂઆત કરીને આમ કરે છે, જેમાં સતત કાર્ય હોય છે, અને તેને લોભી રીતે વિસ્તૃત કરે છેઃ, માટે, મૂળભૂત શીખનાર કાર્ય ક્યાં છે. કમનસીબે, મનસ્વી નુકસાન કાર્ય માટે દરેક તબક્કે શ્રેષ્ઠ કાર્ય પસંદ કરવું એ સામાન્ય રીતે ગણતરીત્મક રીતે અશક્ય ઓપ્ટિમાઇઝેશન સમસ્યા છે. તેથી, અમે સમસ્યાના સરળીકૃત સંસ્કરણ સુધી અમારા અભિગમને મર્યાદિત કરીએ છીએ. આ લઘુતમ સમસ્યા (કાર્યાત્મક ઢાળ વંશ) માટે સૌથી તીવ્ર વંશના પગલાને લાગુ કરવાનો વિચાર છે. સૌથી તીવ્ર અવરોહણ પાછળનો મૂળભૂત વિચાર પુનરાવર્તન કરીને લોસ ફંક્શનનું સ્થાનિક લઘુત્તમ શોધવાનો છે. હકીકતમાં, લોસ ફંક્શનની સ્થાનિક મહત્તમ-વંશ દિશા એ નકારાત્મક ઢાળ છે. તેથી, નાની રકમને એવી રીતે ખસેડો કે જેથી રેખીય અંદાજ માન્ય રહેઃ જ્યાં. નાના માટે, આ તે સૂચવે છે. નીચેનાને સાબિત કરવા માટે, પ્રથમ ક્રમ સુધી નિશ્ચિત બિંદુની આસપાસ ટેલર વિસ્તરણ કરવાના ઉદ્દેશ્યને ધ્યાનમાં લો. આ સૌથી તીવ્ર આરોહણની દિશા છે અને તેથી આપણે સૌથી તીવ્ર અવરોહણની દિશામાં આગળ વધવા માટે વિરુદ્ધ (એટલે કે નકારાત્મક) દિશામાં આગળ વધવું જોઈએ. વધુમાં, આપણે એવા મૂલ્યને શોધીને ઓપ્ટિમાઇઝ કરી શકીએ છીએ કે જેના માટે લોસ ફંક્શન ઓછામાં ઓછું હોયઃ જો આપણે સતત કેસને ધ્યાનમાં લઈએ, એટલે કે, જ્યાં આર્બિટરી ડિફરન્સીએબલ ફંક્શન્સનો સમૂહ છે, તો આપણે નીચેના સમીકરણો અનુસાર મોડેલને અપડેટ કરીશું જ્યાં પગલાની લંબાઈ છે, જેને આ રીતે વ્યાખ્યાયિત કરવામાં આવે છે. જ્યારે સમૂહ મર્યાદિત હોય, ત્યારે આપણે ઢાળની સૌથી નજીકનું ઉમેદવાર કાર્ય પસંદ કરીએ છીએ, જેના માટે ગુણાંકની ગણતરી પછી ઉપરોક્ત સમીકરણો પર રેખા શોધની સહાયથી કરી શકાય છે. નોંધ લો કે આ અભિગમ એક સંશોધનાત્મક છે અને તેથી આપેલ સમસ્યાનો ચોક્કસ ઉકેલ આપતો નથી, પરંતુ એક અંદાજ આપે છે. સ્યુડોકોડમાં, સામાન્ય ગ્રેડિયન્ટ બુસ્ટીંગ પદ્ધતિ છેઃ ઇનપુટઃ તાલીમ પુનરાવર્તનોની ડિફરન્સિએબલ લોસ ફંક્શન નંબર સેટ કરે છે. અલ્ગોરિધમઃ સ્થિર મૂલ્ય સાથે મોડેલની શરૂઆત કરવીઃ માટે = 1 થીઃ કહેવાતા સ્યુડો-રેસિડ્યુઅલ્સની ગણતરી કરવીઃ મૂળભૂત શીખનાર (અથવા નબળા શીખનાર, દા. ત.) ને ફીટ કરો. વૃક્ષ) સ્યુડો-અવશેષો માટે સ્કેલિંગ હેઠળ બંધ, એટલે કે. તેને તાલીમ સમૂહનો ઉપયોગ કરીને તાલીમ આપો. નીચેની એક-પરિમાણીય ઓપ્ટિમાઇઝેશન સમસ્યાનું સમાધાન કરીને ગુણકની ગણતરી કરવીઃ મોડેલને અપડેટ કરવુંઃ આઉટપુટ ગ્રેડિયન્ટ ટ્રી બૂસ્ટિંગ ગ્રેડિયન્ટ બૂસ્ટિંગનો ઉપયોગ સામાન્ય રીતે બેઝ શીખનારાઓ તરીકે નિશ્ચિત કદના નિર્ણય વૃક્ષો (ખાસ કરીને CART) સાથે થાય છે. આ વિશેષ કેસ માટે, ફ્રીડમેન ઢાળ વધારવાની પદ્ધતિમાં ફેરફારની દરખાસ્ત કરે છે જે દરેક પાયાના શીખનારની યોગ્યતાની ગુણવત્તામાં સુધારો કરે છે. m-th પગલા પર સામાન્ય ઢાળ બુસ્ટીંગ સ્યુડો-અવશેષો માટે નિર્ણય વૃક્ષને બંધબેસે છે. તેના પાંદડાઓની સંખ્યા હોવી જોઈએ. વૃક્ષ ઇનપુટ જગ્યાને વિભાજીત પ્રદેશોમાં વિભાજીત કરે છે અને દરેક પ્રદેશમાં સતત મૂલ્યની આગાહી કરે છે. સૂચક સંકેતનો ઉપયોગ કરીને, ઇનપુટ x માટે આઉટપુટને સરવાળા તરીકે લખી શકાય છેઃ પ્રદેશમાં અનુમાનિત મૂલ્ય ક્યાં છે. પછી ગુણાંકને અમુક મૂલ્ય દ્વારા ગુણાકાર કરવામાં આવે છે, લાઇન સર્ચનો ઉપયોગ કરીને પસંદ કરવામાં આવે છે જેથી નુકસાન કાર્યને ઓછું કરી શકાય, અને મોડેલને નીચે પ્રમાણે અપડેટ કરવામાં આવે છેઃ ફ્રીડમેન આ અલ્ગોરિધમમાં ફેરફાર કરવાની દરખાસ્ત કરે છે જેથી તે વૃક્ષના દરેક પ્રદેશો માટે એક અલગ શ્રેષ્ઠ મૂલ્ય પસંદ કરે, તેના બદલે આખા વૃક્ષ માટે એક. તે સુધારેલા અલ્ગોરિધમને "ટ્રીબૂસ્ટ" કહે છે. ટ્રી-ફિટિંગ પ્રક્રિયાના ગુણાંક પછી સરળતાથી કાઢી શકાય છે અને મોડેલ અપડેટ નિયમ બની જાય છેઃ વૃક્ષોનું કદ, વૃક્ષોમાં અંતિમ ગાંઠોની સંખ્યા, એ પદ્ધતિનું પરિમાણ છે જે હાથમાં ડેટા સેટ માટે સમાયોજિત કરી શકાય છે. તે મોડેલમાં ચલ વચ્ચેની ક્રિયાપ્રતિક્રિયાના મહત્તમ માન્ય સ્તરને નિયંત્રિત કરે છે. (નિર્ણય સ્ટમ્પ્સ) સાથે, ચલ વચ્ચે કોઈ ક્રિયાપ્રતિક્રિયાને મંજૂરી નથી. મોડેલમાં બે ચલ વચ્ચેની ક્રિયાપ્રતિક્રિયાની અસરો શામેલ હોઈ શકે છે, અને તેથી વધુ. હેસ્ટી એટ અલ. ટિપ્પણી કે જે સામાન્ય રીતે બુસ્ટીંગ માટે સારી રીતે કામ કરે છે અને પરિણામો આ શ્રેણીની પસંદગી માટે એકદમ અસંવેદનશીલ હોય છે, તે ઘણી એપ્લિકેશનો માટે અપૂરતી છે, અને તેની જરૂર પડવાની શક્યતા નથી. નિયમિતકરણ તાલીમ સમૂહને ખૂબ નજીકથી ફીટ કરવાથી મોડેલની સામાન્યીકરણ ક્ષમતામાં ઘટાડો થઈ શકે છે. કેટલીક કહેવાતી નિયમિત તકનીકો ફિટિંગ પ્રક્રિયાને અવરોધિત કરીને આ ઓવરફિટિંગ અસરને ઘટાડે છે. એક કુદરતી નિયમિતકરણ પરિમાણ એ ઢાળ વધારતા પુનરાવર્તનોની સંખ્યા એમ (એટલે કે. જ્યારે આધાર શીખનાર નિર્ણય વૃક્ષ હોય ત્યારે મોડેલમાં વૃક્ષોની સંખ્યા). એમ વધારવાથી તાલીમ સેટ પરની ભૂલ ઓછી થાય છે, પરંતુ તેને ખૂબ ઊંચું ગોઠવવાથી ઓવરફિટિંગ થઈ શકે છે. M નું શ્રેષ્ઠ મૂલ્ય ઘણીવાર અલગ માન્યતા ડેટા સમૂહ પર આગાહી ભૂલનું નિરીક્ષણ કરીને પસંદ કરવામાં આવે છે. એમ ને નિયંત્રિત કરવા ઉપરાંત, અન્ય કેટલીક નિયમિત તકનીકોનો ઉપયોગ કરવામાં આવે છે. અન્ય નિયમિત માપદંડ વૃક્ષોની ઊંડાઈ છે. આ મૂલ્ય જેટલું ઊંચું હશે તેટલી જ વધુ સંભાવના છે કે મોડેલ તાલીમ ડેટાને ઓવરફિટ કરશે. સંકોચન ઢાળ વધારવાની પદ્ધતિનો એક મહત્વપૂર્ણ ભાગ સંકોચન દ્વારા નિયમિતકરણ છે જેમાં સુધારા નિયમમાં નીચે મુજબ ફેરફાર કરવામાં આવે છેઃ જ્યાં પરિમાણને "શીખવાનો દર" કહેવામાં આવે છે. પ્રાયોગિક રીતે એવું જાણવા મળ્યું છે કે નાના શીખવાના દર (જેમ કે) નો ઉપયોગ કરવાથી મોડેલની સામાન્યીકરણ ક્ષમતામાં નાટ્યાત્મક સુધારો થાય છે, જે સંકોચાઈ વગર ગ્રેડિયન્ટ બુસ્ટીંગ () કરતા વધારે છે. જો કે, તે તાલીમ અને ક્વેરીંગ બંને દરમિયાન વધતા કોમ્પ્યુટેશનલ સમયની કિંમત પર આવે છેઃ નીચા શિક્ષણ દર માટે વધુ પુનરાવર્તનની જરૂર પડે છે. ગ્રેડિયન્ટ બૂસ્ટિંગની રજૂઆત પછી તરત જ, ફ્રીડમેને બ્રેમેનની બૂટસ્ટ્રેપ એકત્રીકરણ ("બેગિંગ") પદ્ધતિ દ્વારા પ્રેરિત અલ્ગોરિધમમાં નાના ફેરફારની દરખાસ્ત કરી હતી. ખાસ કરીને, તેમણે પ્રસ્તાવ મૂક્યો હતો કે અલ્ગોરિધમનો દરેક પુનરાવર્તન સમયે, મૂળભૂત શીખનાર રિપ્લેસમેન્ટ વિના રેન્ડમ રીતે દોરેલા તાલીમ સમૂહના પેટા નમૂના પર ફિટ હોવો જોઈએ. ફ્રીડમેને આ ફેરફાર સાથે ગ્રેડિયન્ટ બૂસ્ટિંગની ચોકસાઈમાં નોંધપાત્ર સુધારો જોયો. પેટા નમૂનાનું કદ એ તાલીમ સમૂહના કદનો અમુક સ્થિર અપૂર્ણાંક છે. જ્યારે, અલ્ગોરિધમ નિર્ધારિત હોય છે અને ઉપર વર્ણવેલ સમાન હોય છે. અલ્ગોરિધમમાં અવ્યવસ્થિતતા દાખલ કરવાના નાના મૂલ્યો અને ઓવરફિટિંગને રોકવામાં મદદ કરે છે, જે એક પ્રકારનું નિયમિતકરણ તરીકે કામ કરે છે. અલ્ગોરિધમ પણ ઝડપી બને છે, કારણ કે દરેક પુનરાવર્તન સમયે રીગ્રેસન વૃક્ષો નાના ડેટાસેટ્સ માટે યોગ્ય હોવા જોઈએ. ફ્રીડમેને જે મેળવ્યું તે નાના અને મધ્યમ કદના તાલીમ સમૂહો માટે સારા પરિણામો તરફ દોરી જાય છે. તેથી, સામાન્ય રીતે 0.5 પર સેટ કરવામાં આવે છે, જેનો અર્થ છે કે તાલીમ સમૂહનો અડધો ભાગ દરેક પાયાના શીખનારને બનાવવા માટે વપરાય છે. ઉપરાંત, બેગિંગની જેમ, સબસેમ્પલિંગ વ્યક્તિને તે અવલોકનો પર આગાહીઓનું મૂલ્યાંકન કરીને આગાહી પ્રદર્શન સુધારણાની આઉટ-ઓફ-બેગ ભૂલને વ્યાખ્યાયિત કરવાની મંજૂરી આપે છે જેનો ઉપયોગ આગામી બેઝ લર્નરના નિર્માણમાં કરવામાં આવ્યો ન હતો. આઉટ-ઓફ-બેગ અંદાજો સ્વતંત્ર માન્યતા ડેટાસેટની જરૂરિયાતને ટાળવામાં મદદ કરે છે, પરંતુ ઘણીવાર વાસ્તવિક પ્રદર્શન સુધારણા અને પુનરાવર્તનની શ્રેષ્ઠ સંખ્યાને ઓછો અંદાજ આપે છે. પાંદડાઓમાં અવલોકનોની સંખ્યા ગ્રેડિયન્ટ ટ્રી બૂસ્ટિંગ અમલીકરણ ઘણીવાર વૃક્ષોના અંતિમ ગાંઠોમાં અવલોકનોની લઘુત્તમ સંખ્યાને મર્યાદિત કરીને નિયમિતકરણનો પણ ઉપયોગ કરે છે. તેનો ઉપયોગ વૃક્ષ નિર્માણની પ્રક્રિયામાં કોઈપણ વિભાજનને અવગણીને કરવામાં આવે છે જે આ સંખ્યા કરતા ઓછા તાલીમ સેટ ઉદાહરણો ધરાવતા ગાંઠો તરફ દોરી જાય છે. આ મર્યાદા લાદવાથી પાંદડાઓ પર આગાહીઓમાં તફાવત ઘટાડવામાં મદદ મળે છે. વૃક્ષની જટિલતાને દંડ કરો ગ્રેડિયન્ટ બૂસ્ટેડ વૃક્ષો માટેની અન્ય ઉપયોગી નિયમિતકરણ તકનીકો એ શીખ્યા મોડેલની જટિલતાને દંડ આપવાનું છે. નમૂનાની જટિલતાને શીખ્યા વૃક્ષોમાં પાંદડાઓની પ્રમાણસર સંખ્યા તરીકે વ્યાખ્યાયિત કરી શકાય છે. નુકસાન અને મોડેલ જટિલતાનું સંયુક્ત ઓપ્ટિમાઇઝેશન શાખાઓને દૂર કરવા માટે પોસ્ટ-પ્રૂનિંગ અલ્ગોરિધમને અનુરૂપ છે જે નુકસાનને થ્રેશોલ્ડ દ્વારા ઘટાડવામાં નિષ્ફળ જાય છે. ઓવરફિટિંગ ટાળવા માટે પાંદડાના મૂલ્યો પર દંડ જેવા અન્ય પ્રકારના નિયમિતકરણ પણ ઉમેરી શકાય છે. ઉપયોગ ગ્રેડિયન્ટ બૂસ્ટિંગનો ઉપયોગ ક્રમમાં શીખવાના ક્ષેત્રમાં થઈ શકે છે. વાણિજ્યિક વેબ સર્ચ એન્જિન યાહૂ અને યાન્ડેક્ષ તેમના મશીન-લર્ન રેન્કિંગ એન્જિનમાં ગ્રેડિયન્ટ બૂસ્ટિંગના વિવિધ પ્રકારોનો ઉપયોગ કરે છે. ડેટા વિશ્લેષણમાં ઉચ્ચ ઊર્જા ભૌતિકશાસ્ત્રમાં પણ ગ્રેડિયન્ટ બૂસ્ટિંગનો ઉપયોગ થાય છે. લાર્જ હેડ્રોન કોલાઇડર (એલ. એચ. સી.) ખાતે, ગ્રેડિયન્ટ બૂસ્ટિંગ ડીપ ન્યુરલ નેટવર્ક્સ (ડી. એન. એન.) ના પ્રકારો હિગ્સ બોસોનની શોધ માટે ઉપયોગમાં લેવાતા ડેટાસેટ્સ પર વિશ્લેષણની બિન-મશીન શીખવાની પદ્ધતિઓના પરિણામોનું પુનઃઉત્પાદન કરવામાં સફળ રહ્યા હતા. ગ્રેડિયન્ટ બૂસ્ટિંગ ડિસિઝન ટ્રીનો ઉપયોગ પૃથ્વી અને ભૂસ્તરશાસ્ત્રીય અભ્યાસોમાં પણ કરવામાં આવ્યો હતો-ઉદાહરણ તરીકે રેતીના પથ્થરના જળાશયની ગુણવત્તાનું મૂલ્યાંકન. નામો આ પદ્ધતિ વિવિધ નામો દ્વારા ચાલે છે. ફ્રીડમેને તેમની રીગ્રેસન તકનીકને "ગ્રેડિયન્ટ બૂસ્ટિંગ મશીન" (જી. બી. એમ.) તરીકે રજૂ કરી હતી. મેસન, બેક્સટર વગેરે. એલ્ગોરિધમ્સના સામાન્યીકૃત અમૂર્ત વર્ગને "કાર્યાત્મક ઢાળ બુસ્ટીંગ" તરીકે વર્ણવવામાં આવ્યો છે. ફ્રીડમેન એટ અલ. બહુવિધ એડિટિવ રીગ્રેસન ટ્રીઝ (MART); એલિથ એટ અલ તરીકે ગ્રેડિયન્ટ બૂસ્ટેડ મોડેલ્સની પ્રગતિનું વર્ણન કરો. તે અભિગમને "બુસ્ટેડ રીગ્રેસન ટ્રીઝ" (બી. આર. ટી.) તરીકે વર્ણવો. આર માટે લોકપ્રિય ઓપન-સોર્સ અમલીકરણ તેને "સામાન્યીકૃત બુસ્ટિંગ મોડેલ" કહે છે, જો કે આ કાર્યને વિસ્તૃત કરતા પેકેજો બીઆરટીનો ઉપયોગ કરે છે. વૃક્ષ-આધારિત પદ્ધતિઓના ઉપયોગની પહેલ કરનારા સંશોધકોમાંના એક, સૅલ્ફોર્ડ સિસ્ટમના ડેન સ્ટેઇનબર્ગના પ્રારંભિક વ્યાવસાયિક અમલીકરણ પછી, ટ્રીનેટ એ બીજું નામ છે. XGBoost એ સેકન્ડ-ઓર્ડર ઓપ્ટિમાઇઝેશન જેવા કેટલાક એક્સ્ટેન્શન્સ સાથે પદ્ધતિનું અન્ય એક લોકપ્રિય આધુનિક અમલીકરણ છે. ગેરફાયદા જ્યારે બુસ્ટીંગ બેઝ લર્નરની ચોકસાઈમાં વધારો કરી શકે છે, જેમ કે નિર્ણય વૃક્ષ અથવા રેખીય રીગ્રેસન, તે સમજશક્તિ અને અર્થઘટનક્ષમતાનો ત્યાગ કરે છે. ઉદાહરણ તરીકે, નિર્ણય વૃક્ષ પોતાનો નિર્ણય લેવા માટે જે માર્ગ અપનાવે છે તે તુચ્છ અને સ્વ-સમજાવે તેવું છે, પરંતુ સેંકડો અથવા હજારો વૃક્ષોના માર્ગને અનુસરવું ખૂબ મુશ્કેલ છે. કામગીરી અને અર્થઘટનક્ષમતા બંને હાંસલ કરવા માટે, કેટલીક મોડેલ સંકોચન તકનીકો XGBoost ને એક જ "બોર્ન-અગેન" નિર્ણય વૃક્ષમાં રૂપાંતરિત કરવાની મંજૂરી આપે છે જે સમાન નિર્ણય કાર્યને અંદાજિત કરે છે. વધુમાં, ઉચ્ચ કોમ્પ્યુટેશનલ માંગને કારણે તેનું અમલીકરણ વધુ મુશ્કેલ હોઈ શકે છે. એડાબૂસ્ટ રેન્ડમ ફોરેસ્ટ કેટબૂસ્ટ લાઇટજીબીએમ એક્સજીબીઓસ્ટ ડિસિઝન ટ્રી લર્નિંગ રેફરન્સ વધુ વાંચન બાહ્ય લિંક્સ કેવી રીતે સમજાવવું ગ્રેડિયન્ટ બૂસ્ટિંગ ગ્રેડિયન્ટ બૂસ્ટેડ રીગ્રેસન ટ્રીઝ લાઇટજીબીએમ ક્લાસિફિકેશન અલ્ગોરિધમ્સ ડિસિઝન ટ્રીઝ એન્સેમ્બલ લર્નિંગ