Backtracking line search
(अनियंत्रित) गणितीय अनुकूलन में, एक बैकट्रैकिंग लाइन खोज एक दी गई खोज दिशा के साथ आगे बढ़ने के लिए राशि निर्धारित करने के लिए एक रेखा खोज विधि है। इसके उपयोग के लिए आवश्यक है कि वस्तुनिष्ठ कार्य अवकलनीय हो और इसका प्रवणता ज्ञात हो। विधि में रेखा खोज दिशा के साथ आंदोलन के लिए चरण के आकार के अपेक्षाकृत बड़े अनुमान के साथ शुरू करना, और चरण के आकार को बार-बार सिकोड़ना (यानी, "बैकट्रैकिंग") शामिल है जब तक कि वस्तुनिष्ठ कार्य में कमी नहीं देखी जाती है जो पर्याप्त रूप से अपेक्षित कमी की मात्रा से मेल खाती है, जो चरण के आकार और वस्तुनिष्ठ कार्य के स्थानीय ढाल पर आधारित है। रुकने का एक सामान्य मानदंड आर्मिजो-गोल्डस्टीन स्थिति है। बैकट्रैकिंग लाइन सर्च का उपयोग आमतौर पर ग्रेडिएंट डिसेंट (जी. डी.) के लिए किया जाता है, लेकिन इसका उपयोग अन्य संदर्भों में भी किया जा सकता है। उदाहरण के लिए, इसका उपयोग न्यूटन की विधि के साथ किया जा सकता है यदि हेसियन मैट्रिक्स सकारात्मक निश्चित है। प्रेरणा एक प्रारंभिक स्थिति और एक खोज दिशा को देखते हुए, एक पंक्ति खोज का कार्य एक चरण आकार का निर्धारण करना है जो वस्तुनिष्ठ कार्य को पर्याप्त रूप से कम कर देता है (माना जाता है कि अर्थात। निरंतर अवकलनीय), अर्थात, जिसका मूल्य इसके सापेक्ष कम हो जाता है। हालांकि, यह आमतौर पर अवांछनीय है कि सटीक रूप से कम करने के लिए मूल्य खोजने के लिए पर्याप्त संसाधनों को समर्पित किया जाए। ऐसा इसलिए है क्योंकि एक विशेष दिशा के साथ अधिक सटीक न्यूनतम खोजने के लिए आवश्यक कंप्यूटिंग संसाधनों को बेहतर खोज दिशा की पहचान करने के लिए नियोजित किया जा सकता है। एक बार लाइन खोज द्वारा एक बेहतर प्रारंभिक बिंदु की पहचान हो जाने के बाद, एक और बाद की लाइन खोज आमतौर पर एक नई दिशा में की जाएगी। फिर, लक्ष्य केवल उस मूल्य की पहचान करना है जो वास्तविक न्यूनतम मूल्य का पता लगाने के बजाय वस्तुनिष्ठ कार्य में उचित मात्रा में सुधार प्रदान करता है। बैकट्रैकिंग लाइन खोज एक बड़े अनुमान के साथ शुरू होती है और इसे बार-बार सिकोड़ती है। सिकुड़ना तब तक जारी रहता है जब तक कि एक ऐसा मान नहीं पाया जाता है जो उद्देश्य कार्य में कमी प्रदान करने के लिए पर्याप्त रूप से छोटा है जो स्थानीय कार्य प्रवणता के आधार पर प्राप्त होने की उम्मीद की गई कमी से पर्याप्त रूप से मेल खाता है। यह माना जाता है कि यह एक वेक्टर है जिसके लिए कुछ स्थानीय कमी संभव है, यानी, यह माना जाता है। एक चयनित नियंत्रण पैरामीटर के आधार पर, आर्मिजो-गोल्डस्टीन स्थिति परीक्षण करती है कि क्या वर्तमान स्थिति से संशोधित स्थिति में एक चरण-वार गति उद्देश्य कार्य में पर्याप्त रूप से संबंधित कमी प्राप्त करती है। शर्त पूरी हो गई है, देखें कि क्या यह शर्त, जब एक पंक्ति खोज के हिस्से के रूप में उचित रूप से उपयोग की जाती है, तो यह सुनिश्चित कर सकती है कि कदम का आकार अत्यधिक बड़ा नहीं है। हालाँकि, यह स्थिति अपने आप में यह सुनिश्चित करने के लिए पर्याप्त नहीं है कि कदम का आकार लगभग इष्टतम है, क्योंकि इसका कोई भी मूल्य पर्याप्त रूप से छोटा है जो स्थिति को संतुष्ट करेगा। इस प्रकार, बैकट्रैकिंग लाइन खोज रणनीति अपेक्षाकृत बड़े चरण के आकार के साथ शुरू होती है, और बार-बार इसे एक कारक से सिकोड़ती है जब तक कि आर्मिजो-गोल्डस्टीन स्थिति पूरी नहीं हो जाती। 1 से कम के किसी भी सकारात्मक मान के लिए खोज एक सीमित संख्या में चरणों के बाद समाप्त हो जाएगी। उदाहरण के लिए, आर्मिजो और इन दोनों के लिए उपयोग किया जाता है। एल्गोरिदम यह स्थिति से है। अधिकतम उम्मीदवार चरण आकार मूल्य से शुरू करते हुए, खोज नियंत्रण मापदंडों का उपयोग करके और, बैकट्रैकिंग लाइन खोज एल्गोरिदम को निम्नानुसार व्यक्त किया जा सकता हैः सेट और पुनरावृत्ति काउंटर। जब तक शर्त पूरी नहीं हो जाती है कि बार-बार वृद्धि करें और समाधान के रूप में रिटर्न सेट करें। दूसरे शब्दों में, प्रत्येक पुनरावृत्ति में एक कारक से कम करें जब तक कि आर्मिजो-गोल्डस्टीन स्थिति पूरी नहीं हो जाती। व्यवहार में बैकट्रैकिंग लाइन खोज का उपयोग करके फंक्शन मिनिमाइजेशन व्यवहार में, उपरोक्त एल्गोरिथ्म को आम तौर पर एक अनुक्रम का उत्पादन करने के लिए दोहराया जाता है, न्यूनतम में अभिसरण करने के लिए, बशर्ते कि ऐसा न्यूनतम मौजूद हो और प्रत्येक चरण में उचित रूप से चुना जाए। ढाल वंश के लिए, के रूप में चुना जाता है। आर्मिजो-गोल्डस्टीन शर्त को पूरा करने वाले का मूल्य और पर निर्भर करता है, और इस प्रकार इसे नीचे द्वारा दर्शाया गया है। यह इस पर भी निर्भर करता है, और निश्चित रूप से, हालांकि इन निर्भरताओं को अंतर्निहित छोड़ दिया जा सकता है यदि उन्हें अनुकूलन समस्या के संबंध में तय माना जाता है। विस्तृत चरण इस प्रकार हैंः एक प्रारंभिक प्रारंभिक बिंदु चुनें और पुनरावृत्ति काउंटर सेट करें। जब तक कुछ रुकने की स्थिति पूरी नहीं हो जाती, तब तक उतरने की दिशा चुनें, स्थिति को अद्यतन करें और वृद्धि करें। न्यूनतम स्थिति के रूप में और न्यूनतम कार्य के रूप में लौटें। अच्छे व्यवहार को सुनिश्चित करने के लिए, यह आवश्यक है कि कुछ शर्तों को पूरा किया जाना चाहिए। मोटे तौर पर कहें तो बहुत दूर नहीं होना चाहिए। एक सटीक संस्करण इस प्रकार है (उदाहरण के लिए देखें। )। स्थिरांक हैं ताकि निम्नलिखित दो शर्तों को पूरा किया जा सकेः सभी n के लिए। यहाँ, यूक्लिडियन मानक है। (यह आश्वस्त करता है कि यदि, तो भी। अधिक सामान्य रूप से, यदि, तो भी।) एक अधिक सख्त संस्करण के लिए विपरीत असमानता की भी आवश्यकता होती हैः एक सकारात्मक स्थिरांक के लिए। सभी एन के लिए,। (यह शर्त यह सुनिश्चित करती है कि और की दिशाएँ समान हैं।) यह इस सवाल को संबोधित करता है कि क्या एक सकारात्मक संख्या खोजने का एक व्यवस्थित तरीका है-फलन f, बिंदु और अवरोहण दिशा के आधार पर-ताकि सभी सीखने की दरें आर्मिजो की स्थिति को संतुष्ट कर सकें। हम कब के क्रम में चुन सकते हैं, जहां बिंदु के पास ढाल के लिए एक स्थानीय लिप्सिट्ज़ स्थिरांक है (लिप्सिट्ज़ निरंतरता देखें)। यदि फलन है, तो बिंदु पर फलन के हेसियन के करीब है। अधिक विस्तार के लिए देखें। सीखने की दर के लिए ऊपरी सीमा उसी स्थिति में जहां, एक दिलचस्प सवाल यह है कि आर्मिजो की स्थिति में बड़ी सीखने की दर को कैसे चुना जा सकता है (यानी, जब किसी की कोई सीमा नहीं है जैसा कि "व्यवहार में बैकट्रैकिंग लाइन खोज का उपयोग करके कार्य न्यूनतमकरण" खंड में परिभाषित किया गया है), क्योंकि बड़ी सीखने की दर जब सीमा बिंदु के करीब होती है (यदि मौजूद हो) तो अभिसरण को तेजी से किया जा सकता है। उदाहरण के लिए, वोल्फ स्थितियों में, इसका कोई उल्लेख नहीं है, लेकिन वक्रता स्थिति नामक एक अन्य स्थिति पेश की गई है। सीखने की दर के लिए एक ऊपरी सीमा मौजूद दिखाई देती है यदि कोई चाहता है कि निर्मित अनुक्रम एक गैर-अपक्षयी महत्वपूर्ण बिंदु में परिवर्तित हो जाए, तो देखें किः सीखने की दर को मोटे तौर पर ऊपर से सीमित किया जाना चाहिए। यहाँ H सीमा बिंदु पर फलन का हेसियन है, इसका व्युत्क्रम है, और एक रैखिक प्रचालक का मानक है। इस प्रकार, यह परिणाम उदाहरण के लिए तब लागू होता है जब कोई मोर्स कार्यों के लिए बैकट्रैकिंग लाइन खोज का उपयोग करता है। ध्यान दें कि आयाम 1 में, एक संख्या है और इसलिए यह ऊपरी सीमा "सीखने की दर के लिए निचली सीमा" खंड में निचली सीमा के समान आकार की है। दूसरी ओर, यदि सीमा बिंदु पतित है, तो सीखने की दर असीमित हो सकती है। उदाहरण के लिए, बैकट्रैकिंग लाइन खोज का एक संशोधन जिसे अनबाउंडेड बैकट्रैकिंग ग्रेडिएंट डिसेंट के रूप में जाना जाता है (देखें) सीखने की दर को आधे आकार की अनुमति देता है, जहां एक स्थिरांक है। सरल कार्यों के साथ प्रयोग जैसे कि यह दिखाता है कि अनबाउंडेड बैकट्रैकिंग ग्रेडिएंट डिसेंट "अभ्यास में बैकट्रैकिंग लाइन खोज का उपयोग करके फंक्शन मिनिमाइजेशन" अनुभाग में वर्णित मूल संस्करण की तुलना में बहुत तेजी से अभिसरण करता है। समय दक्षता बैकट्रैकिंग लाइन खोज के उपयोग के खिलाफ एक तर्क, विशेष रूप से बड़े पैमाने पर अनुकूलन में, यह है कि आर्मिजो की स्थिति को संतुष्ट करना महंगा है। अच्छी सैद्धांतिक गारंटी के साथ घूमने का एक तरीका (तथाकथित टू-वे बैकट्रैकिंग) है और गहरे तंत्रिका नेटवर्क पर अच्छे परिणामों के साथ परीक्षण किया गया है, देखें। (वहाँ, कोई भी Cifar10 और Cifar100 जैसे डेटासेट पर आर्मिजो की स्थिति और कुछ लोकप्रिय एल्गोरिदम जैसे मोमेंटम और NAG के साथ इसके संयोजन के अच्छे/स्थिर कार्यान्वयन भी पा सकता है।) एक ने देखा कि यदि अनुक्रम अभिसरण करता है (जैसा कि इच्छा होती है जब कोई पुनरावृत्ति अनुकूलन विधि का उपयोग करता है), तो सीखने की दर का अनुक्रम थोड़ा भिन्न होना चाहिए जब n काफी बड़ा हो। इसलिए, खोज में, यदि कोई हमेशा शुरू करता है, तो कोई बहुत समय बर्बाद करेगा यदि यह पता चलता है कि अनुक्रम बहुत दूर रहता है। इसके बजाय, किसी को शुरू करके खोजना चाहिए। दूसरा अवलोकन यह है कि यह उससे बड़ा हो सकता है, और इसलिए किसी को सीखने की दर बढ़ाने की अनुमति देनी चाहिए (और केवल खंड एल्गोरिदम में कमी नहीं होनी चाहिए)। यहाँ दो-तरफा बैकट्रैकिंग के लिए विस्तृत एल्गोरिथ्म हैः चरण एन सेट पर। सेट और पुनरावृत्ति काउंटर। (यदि आर्मिजो की स्थिति संतुष्ट है तो सीखने की दर बढ़ाएँ।) यदि, तब जब यह शर्त और संतुष्ट होने वाली शर्त, बार-बार सेट करें और जे बढ़ाएं। (अन्यथा, यदि आर्मिजो की स्थिति संतुष्ट नहीं है तो सीखने की दर को कम करें।) यदि इसके विपरीत, तब तक जब तक शर्त पूरी नहीं हो जाती है कि बार-बार वृद्धि करें और सीखने की दर के लिए रिटर्न निर्धारित करें। (एक में ऊपर 1), 3) और 4 के साथ एक एल्गोरिथ्म का विवरण मिल सकता है, जिसका उद्धृत पेपर से पहले गहरे तंत्रिका नेटवर्क में परीक्षण नहीं किया गया था।) टू-वे बैकट्रैकिंग और बुनियादी मानक ग्रेडिएंट डिसेंट एल्गोरिदम के बीच एक संकर मिश्रण द्वारा समय की और बचत की जा सकती है। इस प्रक्रिया में अच्छी सैद्धांतिक गारंटी और अच्छा परीक्षण प्रदर्शन भी है। मोटे तौर पर, हम कुछ बार दो-तरफा बैकट्रैकिंग करते हैं, फिर उस समय से हमें मिलने वाली सीखने की दर का उपयोग करते हैं, सिवाय इसके कि कार्य मूल्य बढ़ जाए। यहाँ ठीक-ठीक बताया गया है कि यह कैसे किया जाता है। पहले से ही एक संख्या और एक संख्या चुनें। पुनरावृत्ति काउंटर जे = 0 निर्धारित करें। चरणों में, टू-वे बैकट्रैकिंग का उपयोग करें। सेट में प्रत्येक चरण k: सेट करें। यदि, तो और चुनें। (इसलिए, इस मामले में, अपरिवर्तित सीखने की दर का उपयोग करें।) अन्यथा, यदि, टू-वे बैकट्रैकिंग का उपयोग करें। k को 1 से बढ़ाएँ और दोहराएँ। जे को 1 से बढ़ाएँ। सैद्धांतिक गारंटी (ढाल वंश के लिए) वोल्फ की स्थितियों की तुलना में, जो अधिक जटिल है, आर्मिजो की स्थिति में एक बेहतर सैद्धांतिक गारंटी है। वास्तव में, अब तक बैकट्रैकिंग लाइन खोज और इसके संशोधन सभी संख्यात्मक अनुकूलन एल्गोरिदम के बीच सबसे सैद्धांतिक रूप से गारंटीकृत तरीके हैं जो महत्वपूर्ण बिंदुओं के अभिसरण और काठी बिंदुओं से बचने से संबंधित हैं, नीचे देखें। महत्वपूर्ण बिंदु वे बिंदु हैं जहाँ वस्तुनिष्ठ फलन का प्रवणता 0 है। स्थानीय मिनीमा महत्वपूर्ण बिंदु हैं, लेकिन कुछ महत्वपूर्ण बिंदु हैं जो स्थानीय मिनीमा नहीं हैं। एक उदाहरण काठी बिंदु है। सैडल बिंदु महत्वपूर्ण बिंदु होते हैं, जिन पर कम से कम एक दिशा होती है जहां कार्य (स्थानीय) अधिकतम होता है। इसलिए, ये बिंदु स्थानीय मिनीमा होने से बहुत दूर हैं। उदाहरण के लिए, यदि किसी फलन में कम से कम एक काठी बिंदु है, तो वह उत्तल नहीं हो सकता है। अनुकूलन एल्गोरिदम के लिए काठी की प्रासंगिकता यह है कि बड़े पैमाने पर (यानी। उच्च-आयामी) अनुकूलन, कोई भी संभवतः मिनीमा की तुलना में अधिक काठी बिंदु देखता है, देखें। इसलिए, एक अच्छा अनुकूलन एल्गोरिदम काठी बिंदुओं से बचने में सक्षम होना चाहिए। गहन शिक्षण की सेटिंग में, काठी बिंदु भी प्रचलित हैं, देखें। इस प्रकार, गहन शिक्षण में लागू करने के लिए, गैर-उत्तल कार्यों के लिए परिणामों की आवश्यकता होती है। महत्वपूर्ण बिंदुओं के अभिसरण के लिएः उदाहरण के लिए, यदि लागत कार्य एक वास्तविक विश्लेषणात्मक कार्य है, तो यह दिखाया जाता है कि अभिसरण की गारंटी है। मुख्य विचार लोजासिविक्ज़ असमानता का उपयोग करना है जो एक वास्तविक विश्लेषणात्मक कार्य द्वारा आनंद लिया जाता है। लोजासिविक्ज़ असमानता को संतुष्ट करने वाले गैर-चिकने कार्यों के लिए, उपरोक्त अभिसरण गारंटी को बढ़ाया गया है, देखें। में, एक प्रमाण है कि बैकट्रैकिंग लाइन खोज द्वारा निर्मित प्रत्येक अनुक्रम के लिए, एक समूह बिंदु (यानी। एक अनुक्रम की सीमा, यदि अनुक्रम अभिसरण करता है) एक महत्वपूर्ण बिंदु है। अधिक से अधिक गणना योग्य रूप से कई महत्वपूर्ण बिंदुओं (जैसे कि एक मोर्स फ़ंक्शन) और कॉम्पैक्ट उप-स्तरों के साथ-साथ लिप्सिट्ज़ निरंतर प्रवणता के मामले में जहां कोई सीखने की दर <1/L के साथ मानक जी. डी. का उपयोग करता है (खंड "यादृच्छिक प्रवणता अवरोहण" देखें), तो अभिसरण की गारंटी है, उदाहरण के लिए अध्याय 12 में देखें। यहाँ कॉम्पैक्ट उप-स्तरों के बारे में धारणा यह सुनिश्चित करने के लिए है कि कोई केवल यूक्लिडियन स्थान के कॉम्पैक्ट सेटों से संबंधित है। सामान्य मामले में, जहां केवल माना जाता है और अधिक से अधिक गणना योग्य रूप से कई महत्वपूर्ण बिंदु हैं, अभिसरण की गारंटी है, देखें। उसी संदर्भ में, बैकट्रैकिंग लाइन खोज के अन्य संशोधनों के लिए समान रूप से अभिसरण की गारंटी है (जैसे कि "सीखने की दर के लिए ऊपरी सीमा" खंड में उल्लिखित अनबाउंडेड बैकट्रैकिंग ग्रेडिएंट डिसेंट), और भले ही फ़ंक्शन में अनगिनत महत्वपूर्ण बिंदु हों, फिर भी अभिसरण व्यवहार के बारे में कुछ गैर-तुच्छ तथ्यों का पता लगाया जा सकता है। स्टोकेस्टिक सेटिंग में, उसी धारणा के तहत कि ग्रेडिएंट लिपशिट्ज़ निरंतर है और एक अधिक प्रतिबंधात्मक संस्करण का उपयोग करता है (इसके अलावा सीखने की दर का योग अनंत है और सीखने की दर के वर्गों का योग सीमित है) घटती सीखने की दर योजना (खंड "स्टोकेस्टिक ग्रेडिएंट डिसेंट" देखें) और इसके अलावा कार्य सख्ती से उत्तल है, फिर अभिसरण प्रसिद्ध परिणाम में स्थापित किया जाता है, एक घटती सीखने की दर योजना के कम प्रतिबंधात्मक संस्करणों के लिए सामान्यीकरण देखें। इनमें से कोई भी परिणाम (गैर-उत्तल कार्यों के लिए) अब तक किसी अन्य अनुकूलन एल्गोरिथ्म के लिए सिद्ध नहीं हुआ है। काठी बिंदुओं से बचने के लिएः उदाहरण के लिए, यदि लागत फलन का ढाल निरंतर लिपशिट्ज़ है और कोई व्यक्ति सीखने की दर <1/एल के साथ मानक जी. डी. का चयन करता है, तो प्रारंभिक बिंदु के यादृच्छिक विकल्प के साथ (अधिक सटीक रूप से, लेबस्ग्यू माप शून्य के एक सेट के बाहर), निर्मित अनुक्रम एक गैर-अपक्षयी काठी बिंदु (सिद्ध) में अभिसरण नहीं करेगा, और अधिक सामान्य रूप से यह भी सच है कि निर्मित अनुक्रम एक अपक्षयी काठी बिंदु (सिद्ध) में अभिसरण नहीं करेगा। इसी धारणा के तहत कि ढाल लिपशिट्ज़ निरंतर है और एक घटती हुई सीखने की दर योजना का उपयोग करता है (खंड "स्टोकेस्टिक ग्रेडिएंट डिसेंट" देखें), फिर काठी बिंदुओं से बचना स्थापित किया जाता है। एक विशेष मामलाः (मानक) स्टोकेस्टिक ग्रेडिएंट डिसेंट (एस. जी. डी.) हालांकि यह उल्लेख करना तुच्छ है, यदि किसी लागत फलन का ग्रेडिएंट लिप्सिट्ज़ निरंतर है, जिसमें लिप्सिट्ज़ स्थिरांक एल है, तो सीखने की दर को स्थिर और आकार का चुनने के साथ, बैकट्रैकिंग लाइन खोज (ग्रेडिएंट डिसेंट के लिए) का एक विशेष मामला है। इसका उपयोग कम से कम किया गया है। हालाँकि इस योजना के लिए आवश्यक है कि एल के लिए एक अच्छा अनुमान होना चाहिए, अन्यथा यदि सीखने की दर बहुत बड़ी है (1/एल के सापेक्ष) तो योजना में अभिसरण की कोई गारंटी नहीं है। यह देखा जा सकता है कि क्या गलत होगा यदि लागत फलन फलन f (t) = |t। का स्मूथिंग (बिंदु 0 के पास) है। हालाँकि, इस तरह का एक अच्छा अनुमान बड़े आयामों में कठिन और श्रमसाध्य है। इसके अलावा, यदि फलन का ढाल वैश्विक रूप से लिप्सचिट्ज़ निरंतर नहीं है, तो इस योजना की कोई अभिसरण गारंटी नहीं है। उदाहरण के लिए, यह लागत कार्य के लिए एक अभ्यास के समान है और जो भी निरंतर सीखने की दर कोई भी चुनता है, एक यादृच्छिक प्रारंभिक बिंदु के साथ इस विशेष योजना द्वारा निर्मित अनुक्रम वैश्विक न्यूनतम 0 में परिवर्तित नहीं होता है। यदि कोई इस शर्त की परवाह नहीं करता है कि सीखने की दर 1/एल से सीमित होनी चाहिए, तो इस विशेष योजना का उपयोग बहुत पुराना है, कम से कम 1847 से कौची द्वारा, जिसे मानक जी. डी. कहा जा सकता है (स्टोकेस्टिक ग्रेडिएंट डिसेंट के साथ भ्रमित नहीं होना चाहिए, जिसे यहाँ एस. जी. डी. के रूप में संक्षिप्त किया गया है)। स्टोकेस्टिक सेटिंग में (जैसे कि गहन शिक्षा में मिनी-बैच सेटिंग में), मानक जी. डी. को स्टोकेस्टिक ग्रेडिएंट डिसेंट या एस. जी. डी. कहा जाता है। भले ही लागत कार्य में विश्व स्तर पर निरंतर प्रवणता हो, गहरे तंत्रिका नेटवर्क के बहुत उच्च आयामों को देखते हुए, गहन शिक्षण में लागत कार्यों के लिए लिप्सिट्ज़ स्थिरांक का अच्छा अनुमान संभव या वांछनीय नहीं हो सकता है। इसलिए, मानक जी. डी. या एस. जी. डी. को लागू करने में सीखने की दरों को ठीक करने की एक तकनीक है। एक तरीका यह है कि ग्रिड खोज से कई सीखने की दरों का चयन किया जाए, इस उम्मीद के साथ कि कुछ सीखने की दरें अच्छे परिणाम दे सकती हैं। (हालाँकि, यदि लॉस फ़ंक्शन में वैश्विक लिप्सिट्ज़ निरंतर प्रवणता नहीं है, तो उपरोक्त उदाहरण से पता चलता है कि ग्रिड खोज मदद नहीं कर सकती है।) एक अन्य तरीका तथाकथित अनुकूली मानक जीडी या एसजीडी है, कुछ प्रतिनिधि एडम, एडडेल्टा, आरएमएसप्रॉप आदि हैं, स्टोकेस्टिक ग्रेडिएंट डिसेंट पर लेख देखें। अनुकूली मानक जी. डी. या एस. जी. डी. में, सीखने की दर प्रत्येक पुनरावृत्ति चरण एन पर भिन्न होने की अनुमति है, लेकिन ढाल वंश के लिए बैकट्रैकिंग लाइन खोज से अलग तरीके से। जाहिरा तौर पर, ग्रेडिएंट डिसेंट के लिए बैकट्रैकिंग लाइन खोज का उपयोग करना अधिक महंगा होगा, क्योंकि किसी को तब तक लूप खोज करने की आवश्यकता होती है जब तक कि आर्मिजो की स्थिति संतुष्ट न हो जाए, जबकि अनुकूली मानक जीडी या एसजीडी के लिए किसी लूप खोज की आवश्यकता नहीं होती है। इनमें से अधिकांश अनुकूली मानक जी. डी. या एस. जी. डी. में वंश संपत्ति नहीं है, सभी एन के लिए, ग्रेडिएंट वंश के लिए बैकट्रैकिंग लाइन खोज के रूप में। केवल कुछ ही लोगों के पास यह गुण है, और जिनके पास अच्छे सैद्धांतिक गुण हैं, लेकिन वे बैकट्रैकिंग लाइन खोज या आम तौर पर आर्मिजो की स्थिति के विशेष मामले साबित होते हैं। पहला तब होता है जब कोई व्यक्ति सीखने की दर को एक स्थिरांक <1/L के रूप में चुनता है, जैसा कि ऊपर उल्लेख किया गया है, यदि कोई L का अच्छा अनुमान लगा सकता है तो दूसरा तथाकथित घटती हुई सीखने की दर है, जिसका उपयोग प्रसिद्ध पेपर में किया जाता है, यदि फिर से कार्य में वैश्विक स्तर पर लिप्सिट्ज़ निरंतर प्रवणता है (लेकिन लिप्सिट्ज़ स्थिरांक अज्ञात हो सकता है) और सीखने की दर 0 में परिवर्तित हो जाती है। सारांश संक्षेप में, बैकट्रैकिंग लाइन खोज (और इसके संशोधन) एक ऐसी विधि है जिसे लागू करना आसान है, बहुत सामान्य कार्यों के लिए लागू होता है, जिसमें बहुत अच्छी सैद्धांतिक गारंटी होती है (महत्वपूर्ण बिंदुओं के अभिसरण और काठी बिंदुओं से बचने दोनों के लिए) और व्यवहार में अच्छी तरह से काम करती है। कई अन्य विधियाँ जिनमें अच्छी सैद्धांतिक गारंटी होती है, जैसे कि सीखने की दर में कमी या सीखने की दर <1/एल के साथ मानक जी. डी.-दोनों के लिए वस्तुनिष्ठ कार्य के प्रवणता को लिपशिट्ज़ निरंतर होने की आवश्यकता होती है, जो बैकट्रैकिंग लाइन खोज का एक विशेष मामला साबित होता है या आर्मिजो की स्थिति को संतुष्ट करता है। भले ही एक प्राथमिकता वाले व्यक्ति को इस विधि को लागू करने के लिए लागत कार्य को लगातार अवकलनीय होने की आवश्यकता होती है, व्यवहार में कोई भी इस विधि को उन कार्यों के लिए भी सफलतापूर्वक लागू कर सकता है जो या जैसे घने खुले सबसेट पर लगातार अवकलनीय हैं। ग्रेडिएंट डिसेंट स्टोकेस्टिक ग्रेडिएंट डिसेंट वोल्फ कंडीशन भी देखें संदर्भ गणितीय अनुकूलन अनुकूलन एल्गोरिदम और विधियाँ