Gradient boosting
গ্রেডিয়েন্ট বুস্টিং হল একটি মেশিন লার্নিং কৌশল যা অন্যদের মধ্যে রিগ্রেশন এবং শ্রেণীবিভাগের কাজে ব্যবহৃত হয়। এটি দুর্বল ভবিষ্যদ্বাণী মডেলের সমন্বয়ের আকারে একটি ভবিষ্যদ্বাণী মডেল দেয়, অর্থাৎ, এমন মডেল যা তথ্য সম্পর্কে খুব কম অনুমান করে, যা সাধারণত সহজ সিদ্ধান্ত গাছ। যখন কোনও সিদ্ধান্ত বৃক্ষ দুর্বল শিক্ষার্থী হয়, তখন ফলস্বরূপ অ্যালগরিদমটিকে গ্রেডিয়েন্ট-বুস্টেড ট্রি বলা হয়; এটি সাধারণত এলোমেলো বনকে ছাড়িয়ে যায়। একটি গ্রেডিয়েন্ট-বুস্টেড ট্রি মডেল অন্যান্য বুস্টিং পদ্ধতির মতো পর্যায়ক্রমে তৈরি করা হয়, তবে এটি একটি নির্বিচারে ডিফারেনশিয়েবল লস ফাংশনের অপ্টিমাইজেশনের অনুমতি দিয়ে অন্যান্য পদ্ধতিগুলিকে সাধারণীকরণ করে। ইতিহাস গ্রেডিয়েন্ট বুস্টিংয়ের ধারণাটি লিও ব্রেইম্যানের পর্যবেক্ষণে উদ্ভূত হয়েছিল যে বুস্টিংকে একটি উপযুক্ত ব্যয় ফাংশনের উপর অপ্টিমাইজেশন অ্যালগরিদম হিসাবে ব্যাখ্যা করা যেতে পারে। জেরোম এইচ. ফ্রিডম্যান পরবর্তীকালে লিউ ম্যাসন, জোনাথন ব্যাক্সটার, পিটার বার্টলেট এবং মার্কাস ফ্রিয়ানের আরও সাধারণ কার্যকরী গ্রেডিয়েন্ট বুস্টিং দৃষ্টিকোণের সাথে একযোগে স্পষ্ট রিগ্রেশন গ্রেডিয়েন্ট বুস্টিং অ্যালগরিদম তৈরি করেছিলেন। পরবর্তী দুটি গবেষণাপত্রে অ্যালগরিদমগুলিকে পুনরাবৃত্তিমূলক কার্যকরী গ্রেডিয়েন্ট ডিসেন্ট অ্যালগরিদম হিসাবে বাড়ানোর দৃষ্টিভঙ্গি প্রবর্তন করা হয়েছে। অর্থাৎ, অ্যালগরিদমগুলি যা নেতিবাচক গ্রেডিয়েন্টের দিকে নির্দেশ করে এমন একটি ফাংশন (দুর্বল অনুমান) পুনরাবৃত্তভাবে বেছে নিয়ে ফাংশন স্পেসের উপর একটি ব্যয় ফাংশনকে অনুকূল করে তোলে। বুস্টিংয়ের এই কার্যকরী গ্রেডিয়েন্ট দৃষ্টিভঙ্গি মেশিন লার্নিং এবং পরিসংখ্যানের অনেক ক্ষেত্রে রিগ্রেশন এবং শ্রেণিবিন্যাসের বাইরে বুস্টিং অ্যালগরিদমের বিকাশের দিকে পরিচালিত করেছে। অনানুষ্ঠানিক ভূমিকা (এই বিভাগটি চেং লি দ্বারা গ্রেডিয়েন্ট বুস্টিংয়ের ব্যাখ্যা অনুসরণ করে।) অন্যান্য বুস্টিং পদ্ধতির মতো, গ্রেডিয়েন্ট বুস্টিং দুর্বল "শিক্ষার্থীদের" একটি পুনরাবৃত্তিমূলক পদ্ধতিতে একক শক্তিশালী শিক্ষার্থীতে একত্রিত করে। ন্যূনতম-বর্গ রিগ্রেশন সেটিং-এ ব্যাখ্যা করা সবচেয়ে সহজ, যেখানে লক্ষ্য হল গড় বর্গ ত্রুটি হ্রাস করে ফর্মের মানগুলির পূর্বাভাস দেওয়ার জন্য একটি মডেলকে "শেখানো", যেখানে আউটপুট ভেরিয়েবলের প্রকৃত মানগুলির আকারের কিছু প্রশিক্ষণ সেটের উপর সূচী করা হয়ঃ পূর্বাভাসকৃত মান পর্যবেক্ষণ করা মানটি নমুনার সংখ্যা। গ্রেডিয়েন্ট বুস্টিংয়ের প্রতিটি পর্যায়ে (), ধরুন কিছু অসম্পূর্ণ মডেল (কমের জন্য, এই মডেলটি কেবল ফিরে আসতে পারে, যেখানে আরএইচএস এর গড়)। উন্নতির জন্য, আমাদের অ্যালগরিদমের কিছু নতুন প্রাক্কলনকারী যুক্ত করা উচিত। সুতরাং, বা, সমতুল্যভাবে,। অতএব, গ্রেডিয়েন্ট বুস্টিং অবশিষ্টাংশের সাথে মানানসই হবে। অন্যান্য বুস্টিং রূপগুলির মতো, প্রতিটি তার পূর্বসূরীর ত্রুটিগুলি সংশোধন করার চেষ্টা করে। বর্গ ত্রুটি ব্যতীত ক্ষতি ফাংশনগুলির জন্য এই ধারণার একটি সাধারণীকরণ, এবং শ্রেণীবিভাগ এবং র্যাঙ্কিং সমস্যাগুলির জন্য, পর্যবেক্ষণ থেকে অনুসরণ করা হয় যে প্রদত্ত মডেলের অবশিষ্টাংশগুলি গড় বর্গ ত্রুটি (এম. এস. ই) ক্ষতি ফাংশনের (সাপেক্ষে) নেতিবাচক গ্রেডিয়েন্টের সাথে আনুপাতিকঃ সুতরাং, গ্রেডিয়েন্ট বুস্টিং একটি গ্রেডিয়েন্ট ডিসেন্ট অ্যালগরিদমের জন্য বিশেষায়িত হতে পারে, এবং এটিকে সাধারণীকরণ করার জন্য একটি ভিন্ন ক্ষতি এবং এর গ্রেডিয়েন্টকে "প্লাগ ইন" করতে হয়। অ্যালগরিদম অনেক তত্ত্বাবধানে শেখার সমস্যায় একটি আউটপুট ভেরিয়েবল এবং ইনপুট ভেরিয়েবলের একটি ভেক্টর থাকে, যা কিছু সম্ভাব্য বিতরণের সাথে একে অপরের সাথে সম্পর্কিত। লক্ষ্য হল এমন কিছু ফাংশন খুঁজে বের করা যা ইনপুট ভেরিয়েবলের মান থেকে আউটপুট ভেরিয়েবলকে সর্বোত্তমভাবে অনুমান করে। এটি কিছু ক্ষতি ফাংশন প্রবর্তন এবং প্রত্যাশার মধ্যে এটি হ্রাস করে আনুষ্ঠানিক করা হয়ঃ গ্রেডিয়েন্ট বুস্টিং পদ্ধতিটি একটি বাস্তব-মূল্যবান অনুমান করে। এটি কিছু শ্রেণী থেকে ফাংশনের একটি ওজনযুক্ত যোগফলের আকারে একটি আনুমানিক হিসাব চায়, যাকে বেস (বা দুর্বল) শিক্ষার্থী বলা হয়ঃ আমাদের সাধারণত পরিচিত নমুনা মান এবং সংশ্লিষ্ট মানগুলির একটি প্রশিক্ষণ সেট দেওয়া হয়। অভিজ্ঞতাগত ঝুঁকি হ্রাস নীতি অনুসারে, পদ্ধতিটি এমন একটি অনুমান খুঁজে বের করার চেষ্টা করে যা প্রশিক্ষণ সেটের ক্ষতি ফাংশনের গড় মানকে হ্রাস করে, অর্থাৎ অভিজ্ঞতাগত ঝুঁকি হ্রাস করে। এটি একটি স্থির ফাংশন নিয়ে গঠিত একটি মডেল দিয়ে শুরু করে এবং ক্রমবর্ধমানভাবে এটিকে একটি লোভী পদ্ধতিতে প্রসারিত করেঃ,, জন্য, যেখানে একটি মৌলিক শিক্ষার্থী ফাংশন। দুর্ভাগ্যবশত, একটি নির্বিচারে ক্ষতি ফাংশনের জন্য প্রতিটি ধাপে সেরা ফাংশন নির্বাচন করা সাধারণভাবে একটি গণনামূলকভাবে অসম্ভব অপ্টিমাইজেশান সমস্যা। অতএব, আমরা সমস্যার একটি সরলীকৃত সংস্করণে আমাদের পদ্ধতিকে সীমাবদ্ধ করি। ধারণাটি হল এই ন্যূনতম সমস্যা (কার্যকরী গ্রেডিয়েন্ট ডিসেন্ট)-এ একটি খাড়া অবতরণ পদক্ষেপ প্রয়োগ করা। সবচেয়ে খাড়া অবতরণের পিছনে মূল ধারণাটি হল পুনরাবৃত্তি করে ক্ষতির ফাংশনের একটি স্থানীয় ন্যূনতম খুঁজে বের করা। প্রকৃতপক্ষে, লস ফাংশনের স্থানীয় সর্বাধিক-বংশোদ্ভূত দিক হল ঋণাত্মক গ্রেডিয়েন্ট। অতএব, একটি ছোট পরিমাণ এমনভাবে সরানো যাতে রৈখিক আনুমানিক বৈধ থাকেঃ যেখানে। ছোট ক্ষেত্রে, এটি বোঝায়। নিম্নলিখিতগুলি প্রমাণ করার জন্য, প্রথম ক্রম পর্যন্ত নির্দিষ্ট বিন্দুর চারপাশে একটি টেলর সম্প্রসারণ করার উদ্দেশ্যটি বিবেচনা করুন। এটি সবচেয়ে খাড়া আরোহণের দিক এবং তাই সবচেয়ে খাড়া অবতরণের দিকে অগ্রসর হওয়ার জন্য আমাদের অবশ্যই বিপরীত (অর্থাৎ ঋণাত্মক) দিকে অগ্রসর হতে হবে। উপরন্তু, আমরা অপ্টিমাইজ করতে পারি সেই মানটি খুঁজে বের করে যার জন্য লস ফাংশনের সর্বনিম্ন মান রয়েছেঃ যদি আমরা কন্টিনিউয়াস কেসটি বিবেচনা করি, অর্থাৎ, যেখানে নির্বিচারে ডিফারেনশিয়েবল ফাংশনের সেট রয়েছে, আমরা নিম্নলিখিত সমীকরণ অনুসারে মডেলটি আপডেট করব যেখানে ধাপের দৈর্ঘ্য, হিসাবে সংজ্ঞায়িত করা হয়েছে। যখন সেটটি সীমাবদ্ধ হয়, তখন আমরা গ্রেডিয়েন্টের নিকটতম প্রার্থী ফাংশনটি বেছে নিই যার জন্য উপরের সমীকরণগুলিতে লাইন অনুসন্ধানের সাহায্যে সহগ গণনা করা যেতে পারে। লক্ষ্য করুন যে এই পদ্ধতিটি একটি অনুসন্ধানমূলক এবং তাই প্রদত্ত সমস্যার সঠিক সমাধান দেয় না, বরং একটি আনুমানিক সমাধান দেয়। সিউডোকোডে, জেনেরিক গ্রেডিয়েন্ট বুস্টিং পদ্ধতিটি হলঃ ইনপুটঃ প্রশিক্ষণ পুনরাবৃত্তির একটি ডিফারেনশিয়েবল লস ফাংশন সেট করে। অ্যালগরিদমঃ একটি ধ্রুবক মান সহ মডেল শুরু করুনঃ এর জন্য = 1 থেকেঃ তথাকথিত ছদ্ম-অবশিষ্টাংশ গণনা করুনঃ একজন মৌলিক শিক্ষার্থীকে (বা দুর্বল শিক্ষার্থীকে, উদাহরণস্বরূপ। গাছ) ছদ্ম-অবশিষ্টাংশের স্কেলিংয়ের অধীনে বন্ধ, অর্থাৎ। প্রশিক্ষণ সেট ব্যবহার করে এটি প্রশিক্ষণ দিন। নিম্নলিখিত এক-মাত্রিক অপ্টিমাইজেশান সমস্যাটি সমাধান করে গুণক গণনা করুনঃ মডেলটি হালনাগাদ করুনঃ আউটপুট গ্রেডিয়েন্ট ট্রি বুস্টিং গ্রেডিয়েন্ট বুস্টিং সাধারণত মূল শিক্ষার্থী হিসাবে একটি নির্দিষ্ট আকারের ডিসিশন ট্রি (বিশেষত CARTs) এর সাথে ব্যবহৃত হয়। এই বিশেষ ক্ষেত্রে, ফ্রিডম্যান গ্রেডিয়েন্ট বুস্টিং পদ্ধতিতে একটি পরিবর্তনের প্রস্তাব দেন যা প্রতিটি মৌলিক শিক্ষার্থীর যোগ্যতার মান উন্নত করে। এম-থ ধাপে জেনেরিক গ্রেডিয়েন্ট বুস্টিং ছদ্ম-অবশিষ্টাংশের জন্য একটি সিদ্ধান্ত গাছের সাথে মানানসই হবে। এর পাতার সংখ্যা ধরা যাক। গাছটি ইনপুট স্থানটিকে বিচ্ছিন্ন অঞ্চলে বিভক্ত করে এবং প্রতিটি অঞ্চলে একটি ধ্রুবক মান পূর্বাভাস দেয়। সূচক স্বরলিপি ব্যবহার করে, ইনপুট x-এর আউটপুট যোগফল হিসাবে লেখা যেতে পারেঃ এই অঞ্চলে পূর্বাভাসকৃত মান কোথায়। তারপরে সহগগুলিকে কিছু মান দ্বারা গুণ করা হয়, লাইন অনুসন্ধান ব্যবহার করে বেছে নেওয়া হয় যাতে ক্ষতির কার্যকারিতা হ্রাস করা যায় এবং মডেলটি নিম্নরূপ আপডেট করা হয়ঃ ফ্রিডম্যান এই অ্যালগরিদমটি সংশোধন করার প্রস্তাব দিয়েছেন যাতে এটি পুরো গাছের জন্য একটির পরিবর্তে গাছের প্রতিটি অঞ্চলের জন্য একটি পৃথক অনুকূল মান বেছে নেয়। তিনি পরিবর্তিত অ্যালগরিদমটিকে "ট্রীবুস্ট" বলে অভিহিত করেন। ট্রি-ফিটিং পদ্ধতির সহগগুলি তখন সহজভাবে বাতিল করা যেতে পারে এবং মডেল আপডেটের নিয়মটি হয়ে যায়ঃ গাছের আকার, গাছগুলিতে টার্মিনাল নোডের সংখ্যা, পদ্ধতির পরামিতি যা হাতে থাকা ডেটা সেটের জন্য সামঞ্জস্য করা যেতে পারে। এটি মডেলের ভেরিয়েবলগুলির মধ্যে সর্বাধিক অনুমোদিত স্তরের মিথস্ক্রিয়া নিয়ন্ত্রণ করে। (সিদ্ধান্ত স্টাম্প) সহ, ভেরিয়েবলগুলির মধ্যে কোনও মিথস্ক্রিয়া অনুমোদিত নয়। মডেলের সাথে দুটি ভেরিয়েবলের মধ্যে মিথস্ক্রিয়ার প্রভাব ইত্যাদি অন্তর্ভুক্ত থাকতে পারে। হ্যাস্টি এবং অন্যান্য। মন্তব্য যা সাধারণত বুস্টিংয়ের জন্য ভাল কাজ করে এবং ফলাফলগুলি এই পরিসরের পছন্দের প্রতি মোটামুটি সংবেদনশীল নয়, অনেক অ্যাপ্লিকেশনের জন্য অপর্যাপ্ত, এবং প্রয়োজন হওয়ার সম্ভাবনা নেই। নিয়মিতকরণ প্রশিক্ষণ সেটকে খুব ঘনিষ্ঠভাবে মানিয়ে নেওয়ার ফলে মডেলের সাধারণীকরণ ক্ষমতা হ্রাস পেতে পারে। বেশ কয়েকটি তথাকথিত নিয়মিতকরণ কৌশল ফিটিং পদ্ধতিকে সীমাবদ্ধ করে এই অতিরিক্ত ফিটিং প্রভাবকে হ্রাস করে। একটি প্রাকৃতিক নিয়মিতকরণ পরামিতি হল গ্রেডিয়েন্ট বুস্টিং পুনরাবৃত্তির সংখ্যা এম (অর্থাৎ। মডেলের গাছের সংখ্যা যখন বেস লার্নার একটি সিদ্ধান্ত গাছ)। এম বৃদ্ধি প্রশিক্ষণ সেটের ত্রুটি হ্রাস করে, তবে এটি খুব বেশি সেট করার ফলে অতিরিক্ত ফিটিং হতে পারে। এম-এর একটি সর্বোত্তম মান প্রায়শই একটি পৃথক বৈধতা ডেটা সেটে পূর্বাভাস ত্রুটি পর্যবেক্ষণ করে নির্বাচন করা হয়। এম নিয়ন্ত্রণের পাশাপাশি আরও বেশ কয়েকটি নিয়মিতকরণ কৌশল ব্যবহার করা হয়। আরেকটি নিয়মিতকরণের মাপকাঠি হল গাছের গভীরতা। এই মান যত বেশি হবে, মডেলটি প্রশিক্ষণের তথ্যের সঙ্গে তত বেশি মানানসই হবে। সংকোচন গ্রেডিয়েন্ট বুস্টিং পদ্ধতির একটি গুরুত্বপূর্ণ অংশ হল সংকোচন দ্বারা নিয়মিতকরণ যা আপডেট নিয়মকে নিম্নরূপ পরিবর্তন করেঃ যেখানে পরামিতিটিকে "শেখার হার" বলা হয়। পরীক্ষামূলকভাবে দেখা গেছে যে, ছোট শিক্ষার হার (যেমন) ব্যবহার করলে মডেলের সাধারণীকরণের দক্ষতায় নাটকীয় উন্নতি ঘটে, সঙ্কুচিত না হয়ে গ্রেডিয়েন্ট বুস্টিং-এর তুলনায়। যাইহোক, এটি প্রশিক্ষণ এবং অনুসন্ধানের সময় গণনামূলক সময় বৃদ্ধির মূল্যে আসেঃ নিম্ন শিক্ষার হারের জন্য আরও পুনরাবৃত্তির প্রয়োজন হয়। গ্রেডিয়েন্ট বুস্টিং প্রবর্তনের পরপরই, ফ্রিডম্যান ব্রেইম্যানের বুটস্ট্র্যাপ একত্রীকরণ ("ব্যাগিং") পদ্ধতি দ্বারা অনুপ্রাণিত হয়ে অ্যালগরিদমে একটি ছোটখাটো পরিবর্তনের প্রস্তাব দেন। বিশেষত, তিনি প্রস্তাব করেছিলেন যে অ্যালগরিদমের প্রতিটি পুনরাবৃত্তিতে, একজন মূল শিক্ষার্থীকে প্রতিস্থাপন ছাড়াই এলোমেলোভাবে টানা প্রশিক্ষণ সেটের একটি উপ-নমুনার সাথে মানানসই হওয়া উচিত। ফ্রিডম্যান এই পরিবর্তনের সাথে গ্রেডিয়েন্ট বুস্টিংয়ের নির্ভুলতার যথেষ্ট উন্নতি লক্ষ্য করেছেন। সাবসাম্পেলের আকার হল প্রশিক্ষণ সেটের আকারের কিছু ধ্রুবক ভগ্নাংশ। কখন, অ্যালগরিদমটি নির্ধারক এবং উপরে বর্ণিত অ্যালগরিদমের অনুরূপ। অ্যালগরিদমের মধ্যে এলোমেলোতা প্রবর্তনের ছোট মান এবং ওভারফিটিং প্রতিরোধে সহায়তা করে, যা এক ধরনের নিয়মিতকরণ হিসাবে কাজ করে। অ্যালগরিদমটিও দ্রুততর হয়ে ওঠে, কারণ প্রতিটি পুনরাবৃত্তিতে রিগ্রেশন ট্রিগুলিকে ছোট ডেটাসেটের সাথে মানানসই হতে হয়। ফ্রিডম্যান যা অর্জন করেছিলেন তা ছোট এবং মাঝারি আকারের প্রশিক্ষণ সেটগুলির জন্য ভাল ফলাফলের দিকে পরিচালিত করে। অতএব, সাধারণত 0.50-এ সেট করা হয়, যার অর্থ প্রশিক্ষণ সেটের অর্ধেক প্রতিটি মূল শিক্ষার্থী তৈরি করতে ব্যবহৃত হয়। এছাড়াও, ব্যাগিংয়ের মতো, সাব-স্যাম্পলিং একজনকে ভবিষ্যদ্বাণী কর্মক্ষমতা উন্নতির একটি আউট-অফ-ব্যাগ ত্রুটি সংজ্ঞায়িত করার অনুমতি দেয় সেই পর্যবেক্ষণগুলির উপর ভবিষ্যদ্বাণীগুলি মূল্যায়ন করে যা পরবর্তী বেস লার্নারের গঠনে ব্যবহৃত হয়নি। ব্যাগের বাইরে অনুমানগুলি একটি স্বাধীন বৈধতা ডেটাসেটের প্রয়োজনীয়তা এড়াতে সহায়তা করে, তবে প্রায়শই প্রকৃত কর্মক্ষমতা উন্নতি এবং পুনরাবৃত্তির সর্বোত্তম সংখ্যাকে অবমূল্যায়ন করে। পাতায় পর্যবেক্ষণের সংখ্যা গ্রেডিয়েন্ট ট্রি বুস্টিং বাস্তবায়নগুলি প্রায়শই গাছের টার্মিনাল নোডে ন্যূনতম পর্যবেক্ষণের সংখ্যা সীমিত করে নিয়মিতকরণ ব্যবহার করে। এটি বৃক্ষ নির্মাণ প্রক্রিয়ায় এমন কোনও বিভাজনকে উপেক্ষা করে ব্যবহার করা হয় যা এই সংখ্যক প্রশিক্ষণ সেট দৃষ্টান্তের চেয়ে কম নোড ধারণ করে। এই সীমা আরোপ করা পাতার পূর্বাভাসের বৈচিত্র্য কমাতে সাহায্য করে। গাছের জটিলতাকে শাস্তি দেওয়া গ্রেডিয়েন্ট বুস্টেড গাছের জন্য আরেকটি দরকারী নিয়মিতকরণ কৌশল হল শেখা মডেলের মডেল জটিলতাকে শাস্তি দেওয়া। মডেলের জটিলতাকে শেখা গাছে পাতার আনুপাতিক সংখ্যা হিসাবে সংজ্ঞায়িত করা যেতে পারে। ক্ষতি এবং মডেল জটিলতার যৌথ অপ্টিমাইজেশন একটি পোস্ট-ছাঁটাই অ্যালগরিদমের সাথে মিলে যায় যা শাখা অপসারণ করতে পারে যা একটি প্রান্তিক দ্বারা ক্ষতি হ্রাস করতে ব্যর্থ হয়। অতিরিক্ত ফিটিং এড়াতে অন্যান্য ধরনের নিয়মিতকরণ যেমন পাতার মানের উপর জরিমানাও যোগ করা যেতে পারে। ব্যবহার গ্রেডিয়েন্ট বুস্টিং শেখার ক্ষেত্রে র্যাঙ্ক করার জন্য ব্যবহার করা যেতে পারে। বাণিজ্যিক ওয়েব সার্চ ইঞ্জিন ইয়াহু এবং ইয়ানডেক্স তাদের মেশিন-লার্নড র্যাঙ্কিং ইঞ্জিনগুলিতে গ্রেডিয়েন্ট বুস্টিংয়ের বিভিন্ন রূপ ব্যবহার করে। ডেটা বিশ্লেষণে উচ্চ শক্তি পদার্থবিজ্ঞানেও গ্রেডিয়েন্ট বুস্টিং ব্যবহার করা হয়। লার্জ হ্যাড্রন কোলাইডার (এল. এইচ. সি)-এ, গভীর স্নায়বিক নেটওয়ার্ক (ডি. এন. এন) বৃদ্ধিকারী গ্রেডিয়েন্টের রূপগুলি হিগস বোসন আবিষ্কার করতে ব্যবহৃত ডেটাসেটগুলিতে বিশ্লেষণের অ-মেশিন শেখার পদ্ধতির ফলাফল পুনরুত্পাদন করতে সফল হয়েছিল। মাটি এবং ভূতাত্ত্বিক গবেষণায় গ্রেডিয়েন্ট বুস্টিং ডিসিশন ট্রি প্রয়োগ করা হয়েছিল-উদাহরণস্বরূপ বেলেপাথর জলাধারের গুণমান মূল্যায়ন। নাম পদ্ধতিটি বিভিন্ন নামে চলে। ফ্রিডম্যান তাঁর রিগ্রেশন কৌশলটি "গ্রেডিয়েন্ট বুস্টিং মেশিন" (জিবিএম) হিসাবে চালু করেছিলেন। ম্যাসন, ব্যাক্সটার এবং অন্যান্যরা। অ্যালগরিদমের সাধারণীকৃত বিমূর্ত শ্রেণীকে "কার্যকরী গ্রেডিয়েন্ট বুস্টিং" হিসাবে বর্ণনা করা হয়েছে। ফ্রিডম্যান এবং অন্যান্য। গ্রেডিয়েন্ট বুস্টেড মডেলগুলির অগ্রগতিকে মাল্টিপল অ্যাডিটিভ রিগ্রেশন ট্রি (এম. এ. আর. টি) হিসাবে বর্ণনা করুন; এলিথ এবং অন্যান্য। এই পদ্ধতিকে "বুস্টেড রিগ্রেশন ট্রি" (বি. আর. টি) হিসাবে বর্ণনা করুন। আর-এর জন্য একটি জনপ্রিয় ওপেন-সোর্স বাস্তবায়ন এটিকে "জেনারেলাইজড বুস্টিং মডেল" বলে অভিহিত করে, তবে এই কাজের সম্প্রসারণকারী প্যাকেজগুলি বিআরটি ব্যবহার করে। আরেকটি নাম হল ট্রিনেট, সালফোর্ড সিস্টেমের ড্যান স্টেইনবার্গের প্রাথমিক বাণিজ্যিক বাস্তবায়নের পরে, যিনি গাছ-ভিত্তিক পদ্ধতির ব্যবহারের পথপ্রদর্শক গবেষকদের মধ্যে একজন। এক্সজিবিউস্ট হল দ্বিতীয়-ক্রম অপ্টিমাইজেশনের মতো কিছু এক্সটেনশন সহ পদ্ধতির আরেকটি জনপ্রিয় আধুনিক বাস্তবায়ন। অসুবিধাগুলি যদিও বুস্টিং একজন মৌলিক শিক্ষার্থীর নির্ভুলতা বৃদ্ধি করতে পারে, যেমন একটি সিদ্ধান্ত বৃক্ষ বা রৈখিক প্রতিগমন, এটি বোধগম্যতা এবং ব্যাখ্যার ক্ষমতাকে ত্যাগ করে। উদাহরণস্বরূপ, একটি সিদ্ধান্ত গাছ তার সিদ্ধান্ত নেওয়ার জন্য যে পথ অবলম্বন করে তা তুচ্ছ এবং স্ব-ব্যাখ্যামূলক, তবে শত শত বা হাজার হাজার গাছের পথ অনুসরণ করা অনেক কঠিন। কর্মক্ষমতা এবং ব্যাখ্যাযোগ্যতা উভয়ই অর্জনের জন্য, কিছু মডেল সংকোচন কৌশল একটি এক্সজিবিওস্টকে একক "বার্ন-এগেইন" ডিসিশন ট্রি-তে রূপান্তরিত করার অনুমতি দেয় যা একই সিদ্ধান্তের কার্যকারিতা আনুমানিক করে। উপরন্তু, উচ্চ গণনামূলক চাহিদার কারণে এর বাস্তবায়ন আরও কঠিন হতে পারে। আরও দেখুন অ্যাডা বুস্ট র্যান্ডম ফরেস্ট ক্যাটবুস্ট লাইটজিবিএম এক্সজিবিওস্ট ডিসিশন ট্রি লার্নিং রেফারেন্স আরও পড়া বাহ্যিক লিঙ্ক কিভাবে ব্যাখ্যা করা যায় গ্রেডিয়েন্ট বুস্টিং গ্রেডিয়েন্ট বুস্টেড রিগ্রেশন ট্রি লাইটজিবিএম ক্লাসিফিকেশন অ্যালগরিদম ডিসিশন ট্রি এনসেম্বল লার্নিং