Derivation of the conjugate gradient method
આંકડાકીય રેખીય બીજગણિતમાં, સંયુગ્મિત ઢાળ પદ્ધતિ એ આંકડાકીય રીતે રેખીય પ્રણાલીને ઉકેલવા માટેની પુનરાવર્તિત પદ્ધતિ છે જ્યાં સપ્રમાણ હકારાત્મક-નિશ્ચિત હોય છે. કોન્જ્યુગેટ ગ્રેડિયન્ટ પદ્ધતિ વિવિધ દ્રષ્ટિકોણોમાંથી મેળવી શકાય છે, જેમાં ઓપ્ટિમાઇઝેશન માટે કોન્જ્યુગેટ દિશા પદ્ધતિની વિશેષતા અને આઈગનવેલ્યુ સમસ્યાઓ માટે આર્નોલ્ડી/લેન્ઝોસ પુનરાવર્તનની વિવિધતા સામેલ છે. આ લેખનો ઉદ્દેશ આ વ્યુત્પત્તિઓના મહત્વપૂર્ણ પગલાઓનું દસ્તાવેજીકરણ કરવાનો છે. સંયુગ્મિત દિશા પદ્ધતિમાંથી વ્યુત્પત્તિ સંયુગ્મિત ઢાળ પદ્ધતિને દ્વિઘાત કાર્યને લઘુત્તમ કરવા માટે લાગુ કરવામાં આવતી સંયુગ્મિત દિશા પદ્ધતિના એક વિશેષ કેસ તરીકે જોઈ શકાય છે સંયુગ્મિત દિશા પદ્ધતિ સંયુગ્મિત દિશા પદ્ધતિમાં લઘુત્તમ કરવા માટે એક પ્રારંભિક અનુમાન અને અનુરૂપ શેષ સાથે શરૂ થાય છે, અને સૂત્રો દ્વારા પુનરાવર્તન અને શેષની ગણતરી કરે છે જ્યાં પરસ્પર સંયુગ્મિત દિશાઓની શ્રેણી હોય છે, એટલે કે, કોઈપણ માટે. સંયુગ્મ દિશા પદ્ધતિ એ અર્થમાં અચોક્કસ છે કે દિશાઓની પસંદગી માટે કોઈ સૂત્ર આપવામાં આવ્યાં નથી. ચોક્કસ પસંદગીઓ સંયુગ્મિત ઢાળ પદ્ધતિ અને ગૌસીયન નાબૂદી સહિત વિવિધ પદ્ધતિઓ તરફ દોરી જાય છે. આર્નોલ્ડી/લેન્ક્ઝોસ પુનરાવર્તનમાંથી વ્યુત્પત્તિ સંયુગ્મ ઢાળ પદ્ધતિને રેખીય પ્રણાલીઓને ઉકેલવા માટે લાગુ કરાયેલ આર્નોલ્ડી/લેન્ક્ઝોસ પુનરાવર્તનના એક પ્રકાર તરીકે પણ જોઈ શકાય છે. સામાન્ય આર્નોલ્ડી પદ્ધતિ આર્નોલ્ડી પુનરાવર્તનમાં, એક વેક્ટરથી શરૂ થાય છે અને ધીમે ધીમે ક્રાયલોવ સબસ્પેસનો ઓર્થોનોર્મલ આધાર બનાવે છે જ્યાં વ્યાખ્યાયિત કરીને બીજા શબ્દોમાં કહીએ તો, ગ્રામ-શ્મિટ દ્વારા સામાન્યીકરણની વિરુદ્ધમાં ઓર્થોગોનલાઇઝિંગ દ્વારા જોવા મળે છે. મેટ્રિક્સ સ્વરૂપમાં મૂકો, પુનરાવર્તન સમીકરણ દ્વારા કબજે કરવામાં આવે છે જ્યાં સાથે જ્યારે રેખીય પ્રણાલીઓને ઉકેલવા માટે આર્નોલ્ડી પુનરાવર્તન લાગુ કરવામાં આવે છે, ત્યારે એક પ્રારંભિક અનુમાનને અનુરૂપ અવશેષ સાથે શરૂ થાય છે. પુનરાવર્તનના દરેક પગલા પછી, એક ગણતરી કરે છે અને નવું પુનરાવર્તન કરે છે. સીધી લેન્ક્ઝોસ પદ્ધતિ બાકીની ચર્ચા માટે, આપણે ધારીએ છીએ કે તે સપ્રમાણ હકારાત્મક-નિશ્ચિત છે. ની સમપ્રમાણતા સાથે, ઉપલા હેસેનબર્ગ મેટ્રિક્સ સમપ્રમાણ બને છે અને આમ ત્રિકોણીય બને છે. તે પછી તેને વધુ સ્પષ્ટ રીતે દ્વારા સૂચવી શકાય છે આ પુનરાવર્તન માટે ટૂંકા ત્રણ-ગાળાના પુનરાવર્તનને સક્ષમ કરે છે, અને આર્નોલ્ડી પુનરાવર્તનને લેન્સઝોસ પુનરાવર્તનમાં ઘટાડવામાં આવે છે. કારણ કે તે સપ્રમાણ હકારાત્મક-નિશ્ચિત છે, તેથી છે. તેથી, અને માટે અનુકૂળ પુનરાવર્તનો સાથે આંશિક પિવોટિંગ વિના એલયુને ફેક્ટરાઇઝ કરી શકાય છેઃ હવે તે અવલોકન કરવું મહત્વપૂર્ણ છે કે હકીકતમાં, અને માટે ટૂંકા પુનરાવર્તનો પણ છેઃ આ રચના સાથે, આપણે એક સરળ પુનરાવર્તન પર પહોંચીએ છીએઃ ઉપરના સંબંધો સીધા લેન્ઝોસ પદ્ધતિ તરફ દોરી જાય છે, જે થોડી વધુ જટિલ બની જાય છે. જો આપણે સ્થિર પરિબળમાં સ્કેલિંગને માપવા અને સરભર કરવાની મંજૂરી આપીએ, તો આપણે સંભવિત રીતે સ્વરૂપની સરળ પુનરાવર્તનો મેળવી શકીએ છીએઃ સરળીકરણ માટેના પરિસર તરીકે, હવે આપણે તેની ઓર્થોગોનાલિટી અને કોન્જુગેસી મેળવીએ છીએ, એટલે કે, માટે, અવશેષો પરસ્પર ઓર્થોગોનલ છે કારણ કે તે આવશ્યકપણે બહુવિધ છે કારણ કે, માટે, ની કોન્જુગેસી જોવા માટે, તે બતાવવા માટે પૂરતું છે કે તે ત્રાંસા છેઃ સમપ્રમાણ અને નીચલા ત્રિકોણાકાર છે અને તેથી તે ત્રાંસા હોવા જોઈએ. હવે આપણે સ્થિર પરિબળો મેળવી શકીએ છીએ અને માત્ર ની ઓર્થોગોનાલિટી અને કોન્જ્યુગેસીને લાદીને સ્કેલના સંદર્ભમાં મેળવી શકીએ છીએ. ની ઓર્થોગોનાલિટીને કારણે, તે જરૂરી છે. પરિણામે, એ જ રીતે, તેની સંયોગને કારણે, તે જરૂરી છે. પરિણામે, આ વ્યુત્પત્તિને પૂર્ણ કરે છે. સંદર્ભો આંકડાકીય રેખીય બીજગણિત ઓપ્ટિમાઇઝેશન અલ્ગોરિધમ્સ અને પદ્ધતિઓ ગ્રેડિયન્ટ પદ્ધતિઓ પુરાવા ધરાવતા લેખો