Mathematical optimization
ગાણિતિક ઓપ્ટિમાઇઝેશન (વૈકલ્પિક રીતે જોડણી ઓપ્ટિમાઇઝેશન) અથવા ગાણિતિક પ્રોગ્રામિંગ એ ઉપલબ્ધ વિકલ્પોના કેટલાક સમૂહમાંથી કેટલાક માપદંડના સંદર્ભમાં શ્રેષ્ઠ તત્વની પસંદગી છે. તે સામાન્ય રીતે બે પેટા ક્ષેત્રોમાં વહેંચાયેલું છેઃ અલગ ઓપ્ટિમાઇઝેશન અને સતત ઓપ્ટિમાઇઝેશન. કોમ્પ્યુટર વિજ્ઞાન અને ઇજનેરીથી માંડીને કામગીરી સંશોધન અને અર્થશાસ્ત્ર સુધીની તમામ માત્રાત્મક શાખાઓમાં ઓપ્ટિમાઇઝેશનની સમસ્યાઓ ઊભી થાય છે અને ઉકેલ પદ્ધતિઓનો વિકાસ સદીઓથી ગણિતમાં રસ ધરાવે છે. વધુ સામાન્ય અભિગમમાં, ઓપ્ટિમાઇઝેશન સમસ્યામાં માન્ય સમૂહમાંથી ઇનપુટ મૂલ્યોને વ્યવસ્થિત રીતે પસંદ કરીને અને કાર્યના મૂલ્યની ગણતરી કરીને વાસ્તવિક કાર્યને મહત્તમ અથવા ન્યૂનતમ કરવાનો સમાવેશ થાય છે. અન્ય ફોર્મ્યુલેશન માટે ઓપ્ટિમાઇઝેશન થિયરી અને તકનીકોનું સામાન્યીકરણ લાગુ ગણિતના મોટા ક્ષેત્રની રચના કરે છે. વધુ સામાન્ય રીતે, ઓપ્ટિમાઇઝેશનમાં વ્યાખ્યાયિત ડોમેન (અથવા ઇનપુટ) આપવામાં આવેલા કેટલાક ઉદ્દેશ્ય કાર્યના "શ્રેષ્ઠ ઉપલબ્ધ" મૂલ્યો શોધવાનો સમાવેશ થાય છે, જેમાં વિવિધ પ્રકારના ઉદ્દેશ્ય કાર્યો અને વિવિધ પ્રકારના ડોમેન્સનો સમાવેશ થાય છે. ઓપ્ટિમાઇઝેશન સમસ્યાઓ ઓપ્ટિમાઇઝેશન સમસ્યાઓને બે વર્ગોમાં વહેંચી શકાય છે, તેના આધારે કે ચલ સતત છે કે અલગઃ અલગ ચલ સાથેની ઓપ્ટિમાઇઝેશન સમસ્યાને અલગ ઓપ્ટિમાઇઝેશન તરીકે ઓળખવામાં આવે છે, જેમાં પૂર્ણાંક, ક્રમચય અથવા આલેખ જેવી વસ્તુ ગણતરીપાત્ર સમૂહમાંથી મળવી આવશ્યક છે. સતત ચલ સાથેની સમસ્યાને સતત ઓપ્ટિમાઇઝેશન તરીકે ઓળખવામાં આવે છે, જેમાં સતત સમૂહમાંથી શ્રેષ્ઠ દલીલો શોધવી આવશ્યક છે. તેમાં મર્યાદિત સમસ્યાઓ અને બહુઆયામી સમસ્યાઓનો સમાવેશ થઈ શકે છે. ઓપ્ટિમાઇઝેશન સમસ્યાને નીચેની રીતે રજૂ કરી શકાય છેઃ આપેલઃ અમુક સમૂહમાંથી માંગેલી વાસ્તવિક સંખ્યાઓ માટેનું વિધેયઃ એક તત્વ કે જે બધા માટે ("લઘુત્તમ") અથવા બધા માટે ("મહત્તમકરણ") હોય. આવી રચનાને ઓપ્ટિમાઇઝેશન સમસ્યા અથવા ગાણિતિક પ્રોગ્રામિંગ સમસ્યા કહેવામાં આવે છે (આ શબ્દ કમ્પ્યુટર પ્રોગ્રામિંગ સાથે સીધો સંબંધ ધરાવતો નથી, પરંતુ હજુ પણ ઉપયોગમાં છે, ઉદાહરણ તરીકે રેખીય પ્રોગ્રામિંગમાં-નીચે ઇતિહાસ જુઓ). ઘણી વાસ્તવિક દુનિયા અને સૈદ્ધાંતિક સમસ્યાઓ આ સામાન્ય માળખામાં તૈયાર થઈ શકે છે. નીચેના માન્ય હોવાથી તે માત્ર લઘુતમ સમસ્યાઓ ઉકેલવા માટે પૂરતું છે. જો કે, માત્ર મહત્તમ સમસ્યાઓને ધ્યાનમાં લેવાનો વિપરીત પરિપ્રેક્ષ્ય પણ માન્ય રહેશે. ભૌતિકશાસ્ત્રના ક્ષેત્રોમાં આ તકનીકનો ઉપયોગ કરીને ઘડવામાં આવેલી સમસ્યાઓ આ તકનીકને ઊર્જા લઘુતમ તરીકે સંદર્ભિત કરી શકે છે, જે કાર્યના મૂલ્યની વાત કરે છે જે પ્રણાલીની ઊર્જાને રજૂ કરે છે. મશીન લર્નિંગમાં, કોસ્ટ ફંક્શનનો ઉપયોગ કરીને ડેટા મોડેલની ગુણવત્તાનું સતત મૂલ્યાંકન કરવું હંમેશા જરૂરી છે જ્યાં મિનિમમ એ શ્રેષ્ઠ (સૌથી ઓછી) ભૂલ સાથે સંભવતઃ શ્રેષ્ઠ પરિમાણોનો સમૂહ સૂચવે છે. લાક્ષણિક રીતે, તે યુક્લિડિયન અવકાશનો અમુક ઉપગણ છે, જે ઘણીવાર અવરોધો, સમાનતાઓ અથવા અસમાનતાઓના સમૂહ દ્વારા નિર્દિષ્ટ કરવામાં આવે છે જેને તેના સભ્યોએ સંતોષવા પડે છે. ના ડોમેનને સર્ચ સ્પેસ અથવા પસંદગી સમૂહ કહેવામાં આવે છે, જ્યારે ના તત્વોને ઉમેદવાર ઉકેલો અથવા શક્ય ઉકેલો કહેવામાં આવે છે. કાર્યને, વિવિધ રીતે, એક ઉદ્દેશ્ય કાર્ય, નુકસાન કાર્ય અથવા ખર્ચ કાર્ય (લઘુતમ), ઉપયોગિતા કાર્ય અથવા તંદુરસ્તી કાર્ય (મહત્તમકરણ), અથવા અમુક ક્ષેત્રોમાં, ઊર્જા કાર્ય અથવા ઊર્જા કાર્યાત્મક કહેવામાં આવે છે. એક શક્ય ઉકેલ જે ઉદ્દેશ્ય કાર્યને ઘટાડે છે (અથવા મહત્તમ કરે છે, જો તે લક્ષ્ય હોય તો) તેને શ્રેષ્ઠ ઉકેલ કહેવામાં આવે છે. ગણિતમાં, પરંપરાગત ઓપ્ટિમાઇઝેશન સમસ્યાઓ સામાન્ય રીતે લઘુતમકરણની દ્રષ્ટિએ દર્શાવવામાં આવે છે. સ્થાનિક લઘુત્તમને એવા તત્વ તરીકે વ્યાખ્યાયિત કરવામાં આવે છે કે જેના માટે કેટલાક એવા અસ્તિત્વ ધરાવે છે કે જે અભિવ્યક્તિ ધરાવે છે; એટલે કે, બધા કાર્ય મૂલ્યોની આસપાસના કેટલાક પ્રદેશો પર તે તત્વના મૂલ્ય કરતા વધારે અથવા સમાન હોય છે. સ્થાનિક મહત્તમ સમાન રીતે વ્યાખ્યાયિત કરવામાં આવે છે. જ્યારે સ્થાનિક લઘુત્તમ ઓછામાં ઓછું નજીકના કોઈપણ ઘટકો જેટલું સારું હોય છે, ત્યારે વૈશ્વિક લઘુત્તમ ઓછામાં ઓછું દરેક શક્ય તત્વ જેટલું સારું હોય છે. સામાન્ય રીતે, જ્યાં સુધી લઘુતમ સમસ્યામાં ઉદ્દેશ્ય કાર્ય બહિર્મુખ ન હોય ત્યાં સુધી, ત્યાં ઘણા સ્થાનિક મિનિમા હોઈ શકે છે. બહિર્મુખ સમસ્યામાં, જો સ્થાનિક લઘુત્તમ આંતરિક હોય (શક્ય તત્વોના સમૂહની ધાર પર નહીં), તો તે વૈશ્વિક લઘુત્તમ પણ છે, પરંતુ બિન-બહિર્મુખ સમસ્યામાં એક કરતાં વધુ સ્થાનિક લઘુત્તમ હોઈ શકે છે, જે તમામ વૈશ્વિક લઘુત્તમ હોવાની જરૂર નથી. બિન-બહિર્મુખ સમસ્યાઓ ઉકેલવા માટે પ્રસ્તાવિત એલ્ગોરિધમ્સની મોટી સંખ્યા-જેમાં મોટાભાગના વ્યાપારી રીતે ઉપલબ્ધ ઉકેલો-સ્થાનિક રીતે શ્રેષ્ઠ ઉકેલો અને વૈશ્વિક સ્તરે શ્રેષ્ઠ ઉકેલો વચ્ચે તફાવત કરવામાં સક્ષમ નથી, અને તે પહેલાને મૂળ સમસ્યાના વાસ્તવિક ઉકેલો તરીકે ગણશે. વૈશ્વિક ઓપ્ટિમાઇઝેશન એ લાગુ કરેલ ગણિત અને આંકડાકીય વિશ્લેષણની શાખા છે જે નિર્ધારિત અલ્ગોરિધમ્સના વિકાસ સાથે સંબંધિત છે જે બિન-બહિર્મુખ સમસ્યાના વાસ્તવિક શ્રેષ્ઠ ઉકેલ માટે મર્યાદિત સમયમાં અભિસરણની બાંયધરી આપવા માટે સક્ષમ છે. નોટેશન ઓપ્ટિમાઇઝેશન સમસ્યાઓ ઘણીવાર વિશેષ નોટેશન સાથે વ્યક્ત કરવામાં આવે છે. અહીં કેટલાક ઉદાહરણો છેઃ વિધેયનું લઘુતમ અને મહત્તમ મૂલ્ય નીચેના સંકેતને ધ્યાનમાં લોઃ વાસ્તવિક સંખ્યાઓના સમૂહમાંથી પસંદ કરતી વખતે આ ઉદ્દેશ્ય વિધેયનું લઘુતમ મૂલ્ય સૂચવે છે. આ કિસ્સામાં લઘુત્તમ મૂલ્ય 1 છે, જે અહીં થાય છે. તેવી જ રીતે, નોટેશન ઓબ્જેક્ટિવ ફંક્શનનું મહત્તમ મૂલ્ય પૂછે છે, જ્યાં કોઈ વાસ્તવિક સંખ્યા હોઈ શકે છે. આ કિસ્સામાં, ઉદ્દેશ્ય કાર્ય અમર્યાદિત હોય તેવું કોઈ મહત્તમ નથી, તેથી જવાબ "અનંત" અથવા "અવ્યાખ્યાયિત" છે. શ્રેષ્ઠ ઇનપુટ દલીલો નીચેના સંકેતોને ધ્યાનમાં લોઃ અથવા સમકક્ષ આ અંતરાલમાં દલીલના મૂલ્ય (અથવા મૂલ્યો) ને રજૂ કરે છે જે ઉદ્દેશ્ય કાર્યને ઘટાડે છે (અથવા ઘટાડે છે) (તે કાર્યનું વાસ્તવિક લઘુત્તમ મૂલ્ય તે નથી જે સમસ્યા પૂછે છે). આ કિસ્સામાં, જવાબ છે, કારણ કે તે અવ્યવહારુ છે, એટલે કે, તે શક્ય સમૂહ સાથે સંબંધિત નથી. તેવી જ રીતે, અથવા સમકક્ષ જોડી (અથવા જોડી) નું પ્રતિનિધિત્વ કરે છે જે ઉદ્દેશ્ય કાર્યના મૂલ્યને મહત્તમ કરે છે (અથવા મહત્તમ કરે છે), અંતરાલમાં રહેલા વધારાના અવરોધ સાથે (ફરીથી, અભિવ્યક્તિનું વાસ્તવિક મહત્તમ મૂલ્ય વાંધો નથી). આ કિસ્સામાં, ઉકેલો એ સ્વરૂપની જોડી છે અને, જ્યાં તમામ પૂર્ણાંકોની શ્રેણી હોય છે. ઓપરેટર્સ અને કેટલીકવાર અને તરીકે પણ લખવામાં આવે છે, અને લઘુત્તમ દલીલ અને મહત્તમ દલીલ માટે ઊભા છે. ઇતિહાસ ફર્મેટ અને લેગ્રાન્જે ઓપ્ટિમાને ઓળખવા માટે કલન-આધારિત સૂત્રો શોધી કાઢ્યા હતા, જ્યારે ન્યૂટન અને ગૌસે ઓપ્ટિમમ તરફ આગળ વધવા માટે પુનરાવર્તિત પદ્ધતિઓનો પ્રસ્તાવ મૂક્યો હતો. ચોક્કસ ઓપ્ટિમાઇઝેશન કેસો માટે "રેખીય પ્રોગ્રામિંગ" શબ્દ જ્યોર્જ બી. ડેન્ટઝિગને કારણે હતો, જોકે મોટાભાગનો સિદ્ધાંત 1939માં લિયોનીદ કેન્ટોરોવિચ દ્વારા રજૂ કરવામાં આવ્યો હતો. (આ સંદર્ભમાં પ્રોગ્રામિંગ કોમ્પ્યુટર પ્રોગ્રામિંગનો સંદર્ભ આપતું નથી, પરંતુ પ્રસ્તાવિત તાલીમ અને લોજિસ્ટિક્સ સમયપત્રકનો સંદર્ભ આપવા માટે યુનાઇટેડ સ્ટેટ્સ સૈન્ય દ્વારા પ્રોગ્રામના ઉપયોગમાંથી આવે છે, જે તે સમયે ડેન્ટઝિગ દ્વારા અભ્યાસ કરવામાં આવતી સમસ્યાઓ હતી.) ડેન્ટઝિગે 1947માં સિમ્પ્લેક્સ અલ્ગોરિધમ પ્રકાશિત કર્યું હતું અને તે જ વર્ષે જ્હોન વોન ન્યુમેને દ્વૈતનો સિદ્ધાંત વિકસાવ્યો હતો. ગાણિતિક ઓપ્ટિમાઇઝેશનના અન્ય નોંધપાત્ર સંશોધકોમાં નીચેનાનો સમાવેશ થાય છેઃ રિચાર્ડ બેલમેન દિમિત્રી બર્ટસેકાસ મિશેલ બિર્લેયર રોજર ફ્લેચર રોનાલ્ડ એ. હોવર્ડ ફ્રિટ્ઝ જ્હોન નરેન્દ્ર કર્મારકર વિલિયમ કારુશ લિયોનીદ ખાચીયન બર્નાર્ડ કૂપમેન હેરોલ્ડ કુહ્ન લેઝલો લવઝ ડેવિડ લુએનબર્ગર અર્કાડી નેમિરોવસ્કી યુરી નેસ્ટરોવ લેવ પોન્ટ્રીગિન આર. ટાયરેલ રોકફેલ્લર નૌમ ઝેડ. શોર આલ્બર્ટ ટકર મુખ્ય પેટાક્ષેત્રો કન્વેક્સ પ્રોગ્રામિંગ કેસનો અભ્યાસ કરે છે જ્યારે ઉદ્દેશ્ય કાર્ય બહિર્મુખ (લઘુતમકરણ) અથવા અંતર્મુખ (મહત્તમકરણ) હોય છે અને અવરોધ સમૂહ બહિર્મુખ હોય છે. આને બિનરેખીય પ્રોગ્રામિંગના ચોક્કસ કેસ તરીકે અથવા રેખીય અથવા બહિર્મુખ દ્વિઘાત પ્રોગ્રામિંગના સામાન્યીકરણ તરીકે જોઈ શકાય છે. લીનિયર પ્રોગ્રામિંગ (એલ. પી.), બહિર્મુખ પ્રોગ્રામિંગનો એક પ્રકાર, તે કેસનો અભ્યાસ કરે છે જેમાં ઉદ્દેશ્ય કાર્ય f રેખીય હોય છે અને અવરોધો માત્ર રેખીય સમાનતાઓ અને અસમાનતાનો ઉપયોગ કરીને સ્પષ્ટ કરવામાં આવે છે. આવા અવરોધ સમૂહને પોલીહેડ્રોન અથવા પોલીટોપ કહેવામાં આવે છે જો તે બંધાયેલ હોય. સેકન્ડ ઓર્ડર કોન પ્રોગ્રામિંગ (એસ. ઓ. સી. પી.) એક બહિર્મુખ પ્રોગ્રામ છે, અને તેમાં ચોક્કસ પ્રકારના દ્વિઘાત પ્રોગ્રામનો સમાવેશ થાય છે. સેમિડિફાઇનાઇટ પ્રોગ્રામિંગ (એસ. ડી. પી.) એ બહિર્મુખ ઓપ્ટિમાઇઝેશનનું પેટાક્ષેત્ર છે જ્યાં અંતર્ગત ચલ અર્ધ-અનંત મેટ્રિસીસ છે. તે રેખીય અને બહિર્મુખ દ્વિઘાત પ્રોગ્રામિંગનું સામાન્યીકરણ છે. કોનિક પ્રોગ્રામિંગ એ બહિર્મુખ પ્રોગ્રામિંગનું સામાન્ય સ્વરૂપ છે. એલ. પી., એસ. ઓ. સી. પી. અને એસ. ડી. પી. બધાને યોગ્ય પ્રકારના શંકુ સાથે શંકુ કાર્યક્રમો તરીકે જોઈ શકાય છે. ભૌમિતિક પ્રોગ્રામિંગ એ એક એવી તકનીક છે જેમાં ઉદ્દેશ્ય અને અસમાનતાના અવરોધોને બહુપદી તરીકે વ્યક્ત કરવામાં આવે છે અને સમાનતાના અવરોધોને એકવિધ તરીકે બહિર્મુખ કાર્યક્રમમાં રૂપાંતરિત કરી શકાય છે. પૂર્ણાંક પ્રોગ્રામિંગ રેખીય કાર્યક્રમોનો અભ્યાસ કરે છે જેમાં કેટલાક અથવા બધા ચલો પૂર્ણાંક મૂલ્યો લેવા માટે મર્યાદિત હોય છે. આ બહિર્મુખ નથી, અને સામાન્ય રીતે નિયમિત રેખીય પ્રોગ્રામિંગ કરતાં વધુ મુશ્કેલ છે. ચતુર્ભુજ પ્રોગ્રામિંગ ઉદ્દેશ્ય કાર્યને ચતુર્ભુજ શરતો રાખવાની મંજૂરી આપે છે, જ્યારે શક્ય સમૂહને રેખીય સમાનતાઓ અને અસમાનતાઓ સાથે નિર્દિષ્ટ કરવો આવશ્યક છે. દ્વિઘાત શબ્દના ચોક્કસ સ્વરૂપો માટે, આ બહિર્મુખ પ્રોગ્રામિંગનો એક પ્રકાર છે. ફ્રેક્શનલ પ્રોગ્રામિંગ બે બિનરેખીય કાર્યોના ગુણોત્તરના ઓપ્ટિમાઇઝેશનનો અભ્યાસ કરે છે. અંતર્મુખ અપૂર્ણાંક કાર્યક્રમોના વિશેષ વર્ગને બહિર્મુખ ઓપ્ટિમાઇઝેશન સમસ્યામાં રૂપાંતરિત કરી શકાય છે. બિનરેખીય પ્રોગ્રામિંગ સામાન્ય કેસનો અભ્યાસ કરે છે જેમાં ઉદ્દેશ્ય કાર્ય અથવા અવરોધો અથવા બંને બિનરેખીય ભાગો ધરાવે છે. આ બહિર્મુખ કાર્યક્રમ હોઈ શકે છે અથવા ન પણ હોઈ શકે. સામાન્ય રીતે, પ્રોગ્રામ બહિર્મુખ છે કે કેમ તે તેને હલ કરવામાં મુશ્કેલીને અસર કરે છે. સ્ટોકેસ્ટિક પ્રોગ્રામિંગ એવા કેસનો અભ્યાસ કરે છે જેમાં કેટલીક મર્યાદાઓ અથવા પરિમાણો રેન્ડમ વેરિયેબલ્સ પર આધાર રાખે છે. મજબૂત ઓપ્ટિમાઇઝેશન એ સ્ટોકેસ્ટિક પ્રોગ્રામિંગની જેમ, ઓપ્ટિમાઇઝેશન સમસ્યાની અંતર્ગત ડેટામાં અનિશ્ચિતતા મેળવવાનો પ્રયાસ છે. મજબૂત ઓપ્ટિમાઇઝેશનનો ઉદ્દેશ એવા ઉકેલો શોધવાનો છે જે અનિશ્ચિતતા સમૂહ દ્વારા વ્યાખ્યાયિત અનિશ્ચિતતાની તમામ સંભવિત અનુભૂતિઓ હેઠળ માન્ય હોય. સંયુક્ત ઓપ્ટિમાઇઝેશન એ સમસ્યાઓ સાથે સંબંધિત છે જ્યાં શક્ય ઉકેલોનો સમૂહ અલગ છે અથવા તેને અલગ કરી શકાય છે. સ્ટોકેસ્ટિક ઓપ્ટિમાઇઝેશનનો ઉપયોગ શોધ પ્રક્રિયામાં રેન્ડમ (ઘોંઘાટીયા) કાર્ય માપન અથવા રેન્ડમ ઇનપુટ્સ સાથે થાય છે. અનંત-પરિમાણીય ઓપ્ટિમાઇઝેશન એ કેસનો અભ્યાસ કરે છે જ્યારે શક્ય ઉકેલોનો સમૂહ અનંત-પરિમાણીય જગ્યાનો સબસેટ હોય છે, જેમ કે કાર્યોની જગ્યા. હ્યુરિસ્ટિક્સ અને મેટા હ્યુરિસ્ટિક્સ સમસ્યાને ઓપ્ટિમાઇઝ કરવામાં આવી રહી છે તે વિશે થોડી અથવા કોઈ ધારણાઓ નથી કરતા. સામાન્ય રીતે, હ્યુરિસ્ટિક્સ બાંહેધરી આપતું નથી કે કોઈ શ્રેષ્ઠ ઉકેલ શોધવાની જરૂર છે. બીજી બાજુ, હ્યુરિસ્ટિક્સનો ઉપયોગ ઘણી જટિલ ઓપ્ટિમાઇઝેશન સમસ્યાઓ માટે અંદાજિત ઉકેલો શોધવા માટે થાય છે. અવરોધ સંતોષ એ કેસનો અભ્યાસ કરે છે જેમાં ઉદ્દેશ્ય કાર્ય f સ્થિર હોય છે (આનો ઉપયોગ કૃત્રિમ બુદ્ધિમાં થાય છે, ખાસ કરીને સ્વચાલિત તર્કમાં). કન્સ્ટ્રેન્ટ પ્રોગ્રામિંગ એ એક પ્રોગ્રામિંગ નમૂનારૂપ છે જેમાં ચલ વચ્ચેના સંબંધો અવરોધોના સ્વરૂપમાં દર્શાવવામાં આવે છે. ડિસજેક્ટિવ પ્રોગ્રામિંગનો ઉપયોગ થાય છે જ્યાં ઓછામાં ઓછી એક મર્યાદા સંતોષવી આવશ્યક છે પરંતુ તમામ નહીં. તે સમયપત્રકમાં ખાસ ઉપયોગી છે. સ્પેસ મેપિંગ એ યોગ્ય શારીરિક રીતે અર્થપૂર્ણ બરછટ અથવા સરોગેટ મોડેલનો ઉપયોગ કરીને ઉચ્ચ-વફાદારી (દંડ) મોડેલ ચોકસાઈ માટે ઇજનેરી પ્રણાલીના મોડેલિંગ અને ઓપ્ટિમાઇઝેશન માટેનો એક ખ્યાલ છે. સંખ્યાબંધ પેટા ક્ષેત્રોમાં, તકનીકો મુખ્યત્વે ગતિશીલ સંદર્ભોમાં ઓપ્ટિમાઇઝેશન માટે તૈયાર કરવામાં આવી છે (એટલે કે, સમય જતાં નિર્ણય લેવો): વિવિધતાની ગણતરી કોઈ લક્ષ્ય હાંસલ કરવાની શ્રેષ્ઠ રીત શોધવા સાથે સંબંધિત છે, જેમ કે એવી સપાટી શોધવી કે જેની સીમા ચોક્કસ વળાંક હોય, પરંતુ ઓછામાં ઓછા શક્ય વિસ્તાર સાથે હોય. શ્રેષ્ઠ નિયંત્રણ સિદ્ધાંત એ વિવિધતાની ગણતરીનું સામાન્યીકરણ છે જે નિયંત્રણ નીતિઓ રજૂ કરે છે. ડાયનેમિક પ્રોગ્રામિંગ એ સ્ટોકેસ્ટિક, રેન્ડમનેસ અને અજ્ઞાત મોડેલ પરિમાણો સાથે સ્ટોકેસ્ટિક ઓપ્ટિમાઇઝેશન સમસ્યાને હલ કરવાનો અભિગમ છે. તે એવા કેસનો અભ્યાસ કરે છે જેમાં ઓપ્ટિમાઇઝેશન વ્યૂહરચના સમસ્યાને નાની પેટા સમસ્યાઓમાં વિભાજિત કરવા પર આધારિત છે. આ પેટા સમસ્યાઓ વચ્ચેના સંબંધનું વર્ણન કરતું સમીકરણ બેલમેન સમીકરણ કહેવાય છે. સંતુલન અવરોધો સાથે ગાણિતિક પ્રોગ્રામિંગ એ છે કે જ્યાં અવરોધોમાં વૈવિધ્યપૂર્ણ અસમાનતાઓ અથવા પૂરકતાઓનો સમાવેશ થાય છે. બહુ-ઉદ્દેશ્ય ઓપ્ટિમાઇઝેશન ઓપ્ટિમાઇઝેશન સમસ્યામાં એક કરતાં વધુ ઉદ્દેશ ઉમેરવાથી જટિલતા વધે છે. ઉદાહરણ તરીકે, માળખાકીય ડિઝાઇનને શ્રેષ્ઠ બનાવવા માટે, કોઈ એવી ડિઝાઇન ઇચ્છે છે જે હળવી અને કઠોર બંને હોય. જ્યારે બે ઉદ્દેશો વિરોધાભાસી હોય, ત્યારે એક ટ્રેડ-ઓફ બનાવવો આવશ્યક છે. ત્યાં એક સૌથી હળવી ડિઝાઇન, એક સૌથી સખત ડિઝાઇન અને અનંત સંખ્યામાં ડિઝાઇન હોઈ શકે છે જે વજન અને કઠોરતાના કેટલાક સમાધાન છે. ટ્રેડ-ઓફ ડિઝાઇનનો સમૂહ કે જે એક માપદંડ પર બીજાના ભોગે સુધારો કરે છે તે પેરેટો સમૂહ તરીકે ઓળખાય છે. શ્રેષ્ઠ ડિઝાઇનની કઠોરતા સામે રચાયેલા વળાંકને પેરેટો ફ્રન્ટિયર તરીકે ઓળખવામાં આવે છે. ડિઝાઇનને "પેરેટો ઓપ્ટિમલ" (સમકક્ષ રીતે, "પેરેટો કાર્યક્ષમ" અથવા પેરેટો સેટમાં) ગણવામાં આવે છે જો તે અન્ય કોઈ ડિઝાઇન દ્વારા પ્રભુત્વ ધરાવતું નથીઃ જો તે કેટલીક બાબતોમાં અન્ય ડિઝાઇન કરતાં વધુ ખરાબ હોય અને કોઈ પણ બાબતમાં વધુ સારી ન હોય, તો તે પ્રભુત્વ ધરાવે છે અને પેરેટો ઓપ્ટિમલ નથી. "મનપસંદ ઉકેલ" નક્કી કરવા માટે "પેરેટો ઓપ્ટિમલ" ઉકેલોમાંથી પસંદગી નિર્ણય લેનારને સોંપવામાં આવે છે. બીજા શબ્દોમાં કહીએ તો, સમસ્યાને બહુ-ઉદ્દેશ્ય ઓપ્ટિમાઇઝેશન સંકેતો તરીકે વ્યાખ્યાયિત કરવી કે કેટલીક માહિતી ખૂટે છેઃ ઇચ્છનીય ઉદ્દેશો આપવામાં આવે છે પરંતુ તેમના સંયોજનોને એકબીજાના સાપેક્ષ મૂલ્યાંકન કરવામાં આવતા નથી. કેટલાક કિસ્સાઓમાં, ગુમ થયેલ માહિતી નિર્ણય લેનાર સાથે સંવાદાત્મક સત્રો દ્વારા મેળવી શકાય છે. મલ્ટી-ઓબ્જેક્ટિવ ઓપ્ટિમાઇઝેશન સમસ્યાઓને વેક્ટર ઓપ્ટિમાઇઝેશન સમસ્યાઓમાં વધુ સામાન્ય બનાવવામાં આવી છે જ્યાં (આંશિક) ક્રમ હવે પેરેટો ક્રમ દ્વારા આપવામાં આવતો નથી. મલ્ટી-મોડલ અથવા વૈશ્વિક ઓપ્ટિમાઇઝેશન ઓપ્ટિમાઇઝેશન સમસ્યાઓ ઘણીવાર મલ્ટી-મોડલ હોય છે; એટલે કે, તેમની પાસે બહુવિધ સારા ઉકેલો હોય છે. તે બધા વૈશ્વિક સ્તરે સારા હોઈ શકે છે (સમાન કિંમત કાર્ય મૂલ્ય) અથવા વૈશ્વિક સ્તરે સારા અને સ્થાનિક રીતે સારા ઉકેલોનું મિશ્રણ હોઈ શકે છે. બધા (અથવા ઓછામાં ઓછા કેટલાક) બહુવિધ ઉકેલો મેળવવાનું એ મલ્ટિ-મોડલ ઓપ્ટિમાઇઝરનું લક્ષ્ય છે. જ્યારે તેઓ બહુવિધ ઉકેલો મેળવવા માટે ઉપયોગમાં લેવાય છે ત્યારે તેમના પુનરાવર્તિત અભિગમને કારણે શાસ્ત્રીય ઓપ્ટિમાઇઝેશન તકનીકો સંતોષકારક રીતે પ્રદર્શન કરતી નથી, કારણ કે તે ખાતરી આપતું નથી કે અલ્ગોરિધમનો બહુવિધ રનમાં વિવિધ પ્રારંભિક બિંદુઓ સાથે પણ વિવિધ ઉકેલો પ્રાપ્ત થશે. વૈશ્વિક ઓપ્ટિમાઇઝેશન સમસ્યાઓ માટે સામાન્ય અભિગમો, જ્યાં બહુવિધ સ્થાનિક ચરમસીમાઓ હાજર હોઈ શકે છે તેમાં ઉત્ક્રાંતિ અલ્ગોરિધમ્સ, બાયેસિયન ઓપ્ટિમાઇઝેશન અને સિમ્યુલેટેડ એનિલિંગનો સમાવેશ થાય છે. નિર્ણાયક મુદ્દાઓ અને ચરમ શક્યતા સમસ્યાનું વર્ગીકરણ સંતોષકારક સમસ્યા, જેને શક્યતા સમસ્યા પણ કહેવામાં આવે છે, તે માત્ર ઉદ્દેશ્ય મૂલ્યને ધ્યાનમાં લીધા વિના કોઈપણ શક્ય ઉકેલ શોધવાની સમસ્યા છે. આને ગાણિતિક ઓપ્ટિમાઇઝેશનના વિશેષ કેસ તરીકે ગણી શકાય જ્યાં દરેક ઉકેલ માટે ઉદ્દેશ્ય મૂલ્ય સમાન હોય છે, અને આમ કોઈપણ ઉકેલ શ્રેષ્ઠ હોય છે. ઘણા ઓપ્ટિમાઇઝેશન અલ્ગોરિધમ્સને શક્ય બિંદુથી શરૂ કરવાની જરૂર છે. આવા બિંદુને પ્રાપ્ત કરવાની એક રીત એ છે કે સ્લેક વેરિયેબલનો ઉપયોગ કરીને શક્યતા શરતોને હળવી કરવી; પૂરતી સુસ્તી સાથે, કોઈપણ પ્રારંભિક બિંદુ શક્ય છે. પછી, જ્યાં સુધી સ્લેક નલ અથવા નેગેટિવ ન હોય ત્યાં સુધી તે સ્લેક વેરિયેબલને ઓછું કરો. અસ્તિત્વ કાર્લ વેઇઅરસ્ટ્રાસનું આત્યંતિક મૂલ્ય પ્રમેય જણાવે છે કે સઘન સમૂહ પર સતત વાસ્તવિક મૂલ્ય ધરાવતું વિધેય તેના મહત્તમ અને લઘુત્તમ મૂલ્યને પ્રાપ્ત કરે છે. વધુ સામાન્ય રીતે, કોમ્પેક્ટ સેટ પર નીચલા અર્ધ-સતત કાર્ય તેના લઘુત્તમ પ્રાપ્ત કરે છે; કોમ્પેક્ટ સેટ પર ઉપલા અર્ધ-સતત કાર્ય તેના મહત્તમ બિંદુ અથવા દૃશ્ય પ્રાપ્ત કરે છે. ઓપ્ટિમાલિટી માટે જરૂરી શરતો ફર્માટના એક પ્રમેય જણાવે છે કે અનિયંત્રિત સમસ્યાઓનો ઓપ્ટિમા સ્થિર બિંદુઓ પર જોવા મળે છે, જ્યાં ઉદ્દેશ્ય કાર્યનું પ્રથમ વ્યુત્પન્ન અથવા ઢાળ શૂન્ય હોય છે (પ્રથમ વ્યુત્પન્ન પરીક્ષણ જુઓ). વધુ સામાન્ય રીતે, તેઓ નિર્ણાયક બિંદુઓ પર મળી શકે છે, જ્યાં ઉદ્દેશ્ય કાર્યનું પ્રથમ વ્યુત્પન્ન અથવા ઢાળ શૂન્ય હોય અથવા અવ્યાખ્યાયિત હોય, અથવા પસંદગી સમૂહની સીમા પર હોય. આંતરિક મહત્તમ પર પ્રથમ વ્યુત્પન્ન (ઓ) સમાન (ઓ) શૂન્ય હોવાનું દર્શાવતું સમીકરણ (અથવા સમીકરણોનો સમૂહ) ને 'પ્રથમ ક્રમની સ્થિતિ' અથવા પ્રથમ ક્રમની શરતોનો સમૂહ કહેવામાં આવે છે. સમાનતા-મર્યાદિત સમસ્યાઓની શ્રેષ્ઠતા લેગ્રેન્જ ગુણક પદ્ધતિ દ્વારા શોધી શકાય છે. સમાનતા અને/અથવા અસમાનતાના અવરોધો સાથેની સમસ્યાઓનું ઓપ્ટિમા 'કરુશ-કુહ્ન-ટકર શરતો' નો ઉપયોગ કરીને શોધી શકાય છે. શ્રેષ્ઠતા માટે પૂરતી શરતો જ્યારે પ્રથમ વ્યુત્પન્ન પરીક્ષણ એવા બિંદુઓને ઓળખે છે જે ચરમસીમા હોઈ શકે છે, ત્યારે આ પરીક્ષણ એવા બિંદુને અલગ પાડતું નથી જે લઘુત્તમ હોય અને જે મહત્તમ હોય અથવા જે ન હોય. જ્યારે ઉદ્દેશ્ય કાર્ય બે વાર વિકલનક્ષમ હોય, ત્યારે આ કિસ્સાઓમાં અનિયંત્રિત સમસ્યાઓમાં બીજા વ્યુત્પન્ન અથવા બીજા વ્યુત્પન્ન (જેને હેસિયન મેટ્રિક્સ કહેવાય છે) ના મેટ્રિક્સ અથવા ઉદ્દેશ્ય કાર્યના બીજા વ્યુત્પન્નના મેટ્રિક્સ અને મર્યાદિત સમસ્યાઓમાં સરહદી હેસિયન તરીકે ઓળખાતા અવરોધોને ચકાસીને અલગ કરી શકાય છે. જે શરતો મેક્સિમા અથવા મિનિમાને અન્ય સ્થિર બિંદુઓથી અલગ પાડે છે તેને 'સેકન્ડ ઓર્ડર શરતો' કહેવામાં આવે છે ('સેકન્ડ ડેરિવેટિવ્ઝ ટેસ્ટ' જુઓ). જો ઉમેદવાર ઉકેલ પ્રથમ ક્રમની શરતોને સંતોષે છે, તો પછી બીજા ક્રમની શરતોની સંતોષ પણ ઓછામાં ઓછી સ્થાનિક શ્રેષ્ઠતા સ્થાપિત કરવા માટે પૂરતી છે. ઓપ્ટિમાની સંવેદનશીલતા અને સાતત્ય પરબિડીયું પ્રમેય વર્ણવે છે કે જ્યારે અંતર્ગત પરિમાણ બદલાય છે ત્યારે ઓપ્ટિમલ સોલ્યુશનનું મૂલ્ય કેવી રીતે બદલાય છે. આ પરિવર્તનની ગણતરી કરવાની પ્રક્રિયાને તુલનાત્મક સ્થિતિશાસ્ત્ર કહેવામાં આવે છે. ક્લાઉડ બર્જ (1963) નો મહત્તમ પ્રમેય અંતર્ગત પરિમાણોના કાર્ય તરીકે શ્રેષ્ઠ ઉકેલની સાતત્યને વર્ણવે છે. ઓપ્ટિમાઇઝેશનની ગણતરી બે વાર-વિભેદક કાર્યો સાથે અનિયંત્રિત સમસ્યાઓ માટે, કેટલાક નિર્ણાયક મુદ્દાઓ એવા બિંદુઓ શોધીને શોધી શકાય છે જ્યાં ઉદ્દેશ્ય કાર્યનો ઢાળ શૂન્ય છે (એટલે કે, સ્થિર બિંદુઓ). વધુ સામાન્ય રીતે, શૂન્ય સબગ્રેડિયન્ટ પ્રમાણિત કરે છે કે બહિર્મુખ કાર્યો અને અન્ય સ્થાનિક લિપશિટ્ઝ કાર્યો સાથે લઘુતમ સમસ્યાઓ માટે સ્થાનિક લઘુત્તમ મળી આવ્યું છે. વધુમાં, નિર્ણાયક બિંદુઓને હેસિયન મેટ્રિક્સની નિશ્ચિતતાનો ઉપયોગ કરીને વર્ગીકૃત કરી શકાય છેઃ જો નિર્ણાયક બિંદુ પર હેસિયન હકારાત્મક નિશ્ચિત હોય, તો બિંદુ સ્થાનિક લઘુત્તમ છે; જો હેસિયન મેટ્રિક્સ નકારાત્મક નિશ્ચિત હોય, તો બિંદુ સ્થાનિક મહત્તમ છે; છેવટે, જો અનિશ્ચિત હોય, તો બિંદુ અમુક પ્રકારનો કાઠી બિંદુ છે. મર્યાદિત સમસ્યાઓને ઘણીવાર લેગ્રેન્જ મલ્ટિપ્લાયરની મદદથી અનિયંત્રિત સમસ્યાઓમાં રૂપાંતરિત કરી શકાય છે. લગ્રેન્જિયન છૂટછાટ મુશ્કેલ અવરોધિત સમસ્યાઓના અંદાજિત ઉકેલો પણ પ્રદાન કરી શકે છે. જ્યારે ઉદ્દેશ્ય કાર્ય બહિર્મુખ કાર્ય હોય, ત્યારે કોઈપણ સ્થાનિક લઘુત્તમ પણ વૈશ્વિક લઘુત્તમ હશે. બહિર્મુખ કાર્યોને ઘટાડવા માટે કાર્યક્ષમ આંકડાકીય તકનીકો અસ્તિત્વમાં છે, જેમ કે આંતરિક-બિંદુ પદ્ધતિઓ. વૈશ્વિક અભિસરણ વધુ સામાન્ય રીતે, જો ઉદ્દેશ્ય કાર્ય દ્વિઘાત કાર્ય ન હોય, તો ઘણી ઓપ્ટિમાઇઝેશન પદ્ધતિઓ અન્ય પદ્ધતિઓનો ઉપયોગ કરે છે તેની ખાતરી કરવા માટે કે પુનરાવર્તનના કેટલાક અનુગામીઓ શ્રેષ્ઠ ઉકેલમાં એકરૂપ થાય છે. અભિસરણની ખાતરી કરવા માટેની પ્રથમ અને હજુ પણ લોકપ્રિય પદ્ધતિ રેખા શોધ પર આધાર રાખે છે, જે એક પરિમાણ સાથે કાર્યને શ્રેષ્ઠ બનાવે છે. અભિસરણની ખાતરી કરવા માટેની બીજી અને વધુને વધુ લોકપ્રિય પદ્ધતિ વિશ્વાસ ક્ષેત્રોનો ઉપયોગ કરે છે. બિન-વિભેદક ઓપ્ટિમાઇઝેશનની આધુનિક પદ્ધતિઓમાં રેખા શોધ અને વિશ્વાસ ક્ષેત્રો બંનેનો ઉપયોગ થાય છે. સામાન્ય રીતે, વૈશ્વિક ઓપ્ટિમાઇઝર અદ્યતન સ્થાનિક ઓપ્ટિમાઇઝર્સ (જેમ કે બી. એફ. જી. એસ.) કરતા ઘણું ધીમું હોય છે, તેથી ઘણીવાર સ્થાનિક ઓપ્ટિમાઇઝરને વિવિધ પ્રારંભિક બિંદુઓથી શરૂ કરીને કાર્યક્ષમ વૈશ્વિક ઓપ્ટિમાઇઝરનું નિર્માણ કરી શકાય છે. કોમ્પ્યુટેશનલ ઓપ્ટિમાઇઝેશન તકનીકો સમસ્યાઓને ઉકેલવા માટે, સંશોધકો એલ્ગોરિધમ્સનો ઉપયોગ કરી શકે છે જે મર્યાદિત સંખ્યામાં પગલાંઓમાં સમાપ્ત થાય છે, અથવા પુનરાવર્તિત પદ્ધતિઓ કે જે ઉકેલ (સમસ્યાઓના અમુક ચોક્કસ વર્ગ પર), અથવા હ્યુરિસ્ટિક્સ કે જે કેટલીક સમસ્યાઓના અંદાજિત ઉકેલો પ્રદાન કરી શકે છે (જો કે તેમના પુનરાવર્તનોને એકરૂપ કરવાની જરૂર નથી). જ્યોર્જ ડેન્ટઝિગના ઓપ્ટિમાઇઝેશન અલ્ગોરિધમ્સ સિમ્પ્લેક્સ અલ્ગોરિધમ, જે સિમ્પ્લેક્સ અલ્ગોરિધમના રેખીય પ્રોગ્રામિંગ એક્સ્ટેન્શન્સ માટે રચાયેલ છે, જે ચતુર્ભુજ પ્રોગ્રામિંગ માટે અને સિમ્પ્લેક્સ અલ્ગોરિધમના રેખીય-અપૂર્ણાંક પ્રોગ્રામિંગ ચલો માટે રચાયેલ છે જે ખાસ કરીને નેટવર્ક ઓપ્ટિમાઇઝેશન માટે યોગ્ય છે. હેસિયન્સ (એચ) અને ગ્રેડિયન્ટ્સ (જી) નું મૂલ્યાંકન કરતી વખતે અભિસરણના દરમાં સુધારો થાય છે, જે કાર્યો માટે આ જથ્થાઓ અસ્તિત્વમાં છે અને પૂરતા પ્રમાણમાં સરળતાથી બદલાય છે, આવા મૂલ્યાંકન દરેક પુનરાવર્તનની ગણતરીની જટિલતા (અથવા ગણતરીની કિંમત) માં વધારો કરે છે. કેટલાક કિસ્સાઓમાં, ગણતરીની જટિલતા વધુ પડતી હોઈ શકે છે. ઓપ્ટિમાઇઝર્સ માટેનો એક મુખ્ય માપદંડ માત્ર જરૂરી કાર્ય મૂલ્યાંકનની સંખ્યા છે કારણ કે આ ઘણીવાર પહેલેથી જ એક મોટો કોમ્પ્યુટેશનલ પ્રયાસ હોય છે, સામાન્ય રીતે ઓપ્ટિમાઇઝરની સરખામણીમાં ઘણો વધુ પ્રયાસ હોય છે, જેને મુખ્યત્વે એન ચલ પર કામ કરવું પડે છે. ડેરિવેટિવ્ઝ આવા ઓપ્ટિમાઇઝર્સ માટે વિગતવાર માહિતી પ્રદાન કરે છે, પરંતુ તેની ગણતરી કરવી વધુ મુશ્કેલ છે, દા. ત. ઢાળનો અંદાજ લગાવવા માટે ઓછામાં ઓછા N + 1 કાર્યનું મૂલ્યાંકન કરવું પડે છે. બીજા વ્યુત્પન્ન (હેસિયન મેટ્રિક્સમાં એકત્રિત) ના અંદાજો માટે, કાર્ય મૂલ્યાંકનની સંખ્યા N2 ના ક્રમમાં છે. ન્યૂટનની પદ્ધતિ માટે બીજા ક્રમના વ્યુત્પન્નની જરૂર પડે છે, તેથી દરેક પુનરાવર્તન માટે, કાર્ય કૉલની સંખ્યા એન 2 ના ક્રમમાં હોય છે, પરંતુ સરળ શુદ્ધ ગ્રેડિયન્ટ ઓપ્ટિમાઇઝર માટે તે માત્ર એન હોય છે. જો કે, ગ્રેડિયન્ટ ઓપ્ટિમાઇઝર્સને સામાન્ય રીતે ન્યૂટનના અલ્ગોરિધમ કરતાં વધુ પુનરાવર્તનની જરૂર હોય છે. ફંક્શન કૉલ્સની સંખ્યાના સંદર્ભમાં કયું શ્રેષ્ઠ છે તે સમસ્યા પર જ આધાર રાખે છે. પદ્ધતિઓ કે જે હેસિયનનું મૂલ્યાંકન કરે છે (અથવા મર્યાદિત તફાવતોનો ઉપયોગ કરીને અંદાજિત હેસિયન): ન્યૂટનની પદ્ધતિ ક્રમિક દ્વિઘાત પ્રોગ્રામિંગઃ નાના-મધ્યમ સ્કેલની મર્યાદિત સમસ્યાઓ માટે ન્યૂટન આધારિત પદ્ધતિ. કેટલીક આવૃત્તિઓ મોટા-પરિમાણીય સમસ્યાઓનું સંચાલન કરી શકે છે. આંતરિક બિંદુ પદ્ધતિઓઃ મર્યાદિત ઓપ્ટિમાઇઝેશન માટેની પદ્ધતિઓનો આ એક મોટો વર્ગ છે, જેમાંથી કેટલીક માત્ર (પેટા) ઢાળ માહિતીનો ઉપયોગ કરે છે અને અન્યને હેસિયન્સના મૂલ્યાંકનની જરૂર પડે છે. પદ્ધતિઓ કે જે કોઈ રીતે ઢાળ અથવા અંદાજિત ઢાળનું મૂલ્યાંકન કરે છે (અથવા તો પેટા ઢાળ પણ): વંશ પદ્ધતિઓનું સંકલન કરેઃ એલ્ગોરિધમ્સ કે જે દરેક પુનરાવર્તનમાં એક સંકલનને અપડેટ કરે છે. (સિદ્ધાંતમાં, આ પદ્ધતિઓ વર્ગાત્મક ઉદ્દેશ્ય કાર્યો સાથે મર્યાદિત સંખ્યામાં પગલાંઓમાં સમાપ્ત થાય છે, પરંતુ આ મર્યાદિત સમાપ્તિ મર્યાદિત-ચોકસાઇવાળા કમ્પ્યુટર્સ પર વ્યવહારમાં જોવા મળતી નથી.) ઢાળ વંશ (વૈકલ્પિક રીતે, "સૌથી તીવ્ર વંશ" અથવા "સૌથી તીવ્ર આરોહણ"): ઐતિહાસિક અને સૈદ્ધાંતિક રસની એક (ધીમી) પદ્ધતિ, જેણે પ્રચંડ સમસ્યાઓના અંદાજિત ઉકેલો શોધવા માટે નવેસરથી રસ દાખવ્યો છે. સબગ્રેડિયન્ટ પદ્ધતિઓઃ સામાન્યીકૃત ગ્રેડિયન્ટનો ઉપયોગ કરીને સ્થાનિક રીતે મોટા લિપ્સચિટ્ઝ કાર્યો માટે પુનરાવર્તિત પદ્ધતિ. બોરિસ ટી. પોલિયાકને અનુસરીને, સબગ્રેડિએન્ટ-પ્રોજેક્શન પદ્ધતિઓ કોન્જુગેટ-ગ્રેડિએન્ટ પદ્ધતિઓ જેવી જ છે. વંશની બંડલ પદ્ધતિઃ સ્થાનિક રીતે લિપ્સચિટ્ઝ કાર્યો સાથે નાના-મધ્યમ-કદની સમસ્યાઓ માટે એક પુનરાવર્તિત પદ્ધતિ, ખાસ કરીને બહિર્મુખ લઘુતમ સમસ્યાઓ માટે (સંયુક્ત ઢાળ પદ્ધતિઓ જેવી જ). એલિપ્સૉઇડ પદ્ધતિઃ ક્વાસીકોનવેક્સ ઉદ્દેશ્ય કાર્યો સાથેની નાની સમસ્યાઓ માટે એક પુનરાવર્તિત પદ્ધતિ અને મહાન સૈદ્ધાંતિક રસ ધરાવતી, ખાસ કરીને કેટલીક સંયુક્ત ઓપ્ટિમાઇઝેશન સમસ્યાઓની બહુપદી સમય જટિલતા સ્થાપિત કરવામાં. તે અર્ધ-ન્યુટન પદ્ધતિઓ સાથે સમાનતા ધરાવે છે. રેખીય અવરોધો સાથે ખાસ કરીને ટ્રાફિક નેટવર્ક સાથે ખાસ સંરચિત સમસ્યાઓના અંદાજિત લઘુતમ માટે શરતી ઢાળ પદ્ધતિ (ફ્રેન્ક-વોલ્ફ). સામાન્ય અનિયંત્રિત સમસ્યાઓ માટે, આ પદ્ધતિ ગ્રેડિયન્ટ પદ્ધતિમાં ઘટાડો કરે છે, જેને અપ્રચલિત (લગભગ તમામ સમસ્યાઓ માટે) ગણવામાં આવે છે. અર્ધ-ન્યુટન પદ્ધતિઓઃ મધ્યમ-મોટી સમસ્યાઓ માટે પુનરાવર્તિત પદ્ધતિઓ (દા. ત. એન <1000). સ્ટોકેસ્ટિક ઓપ્ટિમાઇઝેશન માટે એક સાથે વિક્ષેપ સ્ટોકેસ્ટિક અંદાજ (એસ. પી. એસ. એ.) પદ્ધતિ; રેન્ડમ (કાર્યક્ષમ) ઢાળ અંદાજનો ઉપયોગ કરે છે. પદ્ધતિઓ કે જે ફક્ત કાર્ય મૂલ્યોનું મૂલ્યાંકન કરે છેઃ જો સમસ્યા સતત વિકલનક્ષમ હોય, તો પછી મર્યાદિત તફાવતોનો ઉપયોગ કરીને ઢાળનો અંદાજ લગાવી શકાય છે, આ કિસ્સામાં ઢાળ આધારિત પદ્ધતિનો ઉપયોગ કરી શકાય છે. ઇન્ટરપોલેશન પદ્ધતિઓ પેટર્ન શોધ પદ્ધતિઓ, જે નેલ્ડર-મેડ હ્યુરિસ્ટિક (સરળતા સાથે) કરતાં વધુ સારી કન્વર્જન્સ ગુણધર્મો ધરાવે છે, જે નીચે સૂચિબદ્ધ છે. મિરર ડિસેન્ટ હ્યુરિસ્ટિક્સ (મર્યાદિત રીતે સમાપ્ત) અલ્ગોરિધમ્સ અને (કન્વર્જન્ટ) પુનરાવર્તિત પદ્ધતિઓ ઉપરાંત, હ્યુરિસ્ટિક્સ છે. હ્યુરિસ્ટિક એ કોઈપણ અલ્ગોરિધમ છે જે ઉકેલ શોધવા માટે (ગાણિતિક રીતે) બાંયધરી આપતું નથી, પરંતુ તેમ છતાં તે અમુક વ્યવહારુ પરિસ્થિતિઓમાં ઉપયોગી છે. કેટલાક જાણીતા હ્યુરિસ્ટિક્સની સૂચિઃ વિભેદક ઉત્ક્રાંતિ ગતિશીલ છૂટછાટ ઉત્ક્રાંતિ અલ્ગોરિધમ્સ આનુવંશિક અલ્ગોરિધમ્સ રેન્ડમ રીસ્ટાર્ટ સાથે હિલ ક્લાઇમ્બિંગ મેમેટિક અલ્ગોરિધમ નેલ્ડર-મેડ સરળ હ્યુરિસ્ટિકઃ અંદાજિત લઘુતમકરણ માટે એક લોકપ્રિય હ્યુરિસ્ટિક (ઢાળને બોલાવ્યા વિના) કણ ઝુંડ ઓપ્ટિમાઇઝેશન સિમ્યુલેટેડ એનીલિંગ સ્ટોકેસ્ટિક ટનલિંગ તબુ શોધ એપ્લિકેશન્સ મિકેનિક્સ કઠોર શરીરની ગતિશીલતામાં સમસ્યાઓ (ખાસ કરીને સ્પષ્ટ કઠોર શરીરની ગતિશીલતા) ને ઘણીવાર ગાણિતિક પ્રોગ્રામિંગ તકનીકોની જરૂર પડે છે, કારણ કે તમે કઠોર શરીરની ગતિશીલતાને અવરોધ મેનીફોલ્ડ પર સામાન્ય વિભેદક સમીકરણને હલ કરવાના પ્રયાસ તરીકે જોઈ શકો છો; અવરોધો વિવિધ બિનરેખીય ભૌમિતિક અવરોધો છે જેમ કે "આ બે બિંદુઓ હંમેશા એક સાથે હોવા જોઈએ", "આ સપાટીએ અન્ય કોઈમાં પ્રવેશ કરવો જોઈએ નહીં. ઉપરાંત, સંપર્ક બળોની ગણતરીની સમસ્યા રેખીય પૂરકતાની સમસ્યાને હલ કરીને કરી શકાય છે, જેને ક્યુ. પી. (ચતુર્ભુજ પ્રોગ્રામિંગ) સમસ્યા તરીકે પણ જોઈ શકાય છે. ડિઝાઇનની ઘણી સમસ્યાઓ ઓપ્ટિમાઇઝેશન પ્રોગ્રામ્સ તરીકે પણ વ્યક્ત કરી શકાય છે. આ એપ્લિકેશનને ડિઝાઇન ઓપ્ટિમાઇઝેશન કહેવામાં આવે છે. એક પેટા સમૂહ ઇજનેરી ઓપ્ટિમાઇઝેશન છે, અને આ ક્ષેત્રનો બીજો તાજેતરનો અને વિકસતા પેટા સમૂહ બહુશાખાકીય ડિઝાઇન ઓપ્ટિમાઇઝેશન છે, જે ઘણી સમસ્યાઓમાં ઉપયોગી હોવા છતાં, ખાસ કરીને એરોસ્પેસ ઇજનેરી સમસ્યાઓ પર લાગુ કરવામાં આવ્યો છે. આ અભિગમ બ્રહ્માંડશાસ્ત્ર અને ખગોળીય ભૌતિકશાસ્ત્રમાં લાગુ થઈ શકે છે. અર્થશાસ્ત્ર અને નાણાં અર્થશાસ્ત્ર એજન્ટોના ઓપ્ટિમાઇઝેશન સાથે નજીકથી જોડાયેલું છે જે એક પ્રભાવશાળી વ્યાખ્યા સંબંધિત રીતે અર્થશાસ્ત્ર અને વિજ્ઞાનને વૈકલ્પિક ઉપયોગો સાથે "અંત અને દુર્લભ માધ્યમો વચ્ચેના સંબંધ તરીકે માનવ વર્તનનો અભ્યાસ" તરીકે વર્ણવે છે. આધુનિક ઓપ્ટિમાઇઝેશન સિદ્ધાંતમાં પરંપરાગત ઓપ્ટિમાઇઝેશન સિદ્ધાંતનો સમાવેશ થાય છે પરંતુ તે રમત સિદ્ધાંત અને આર્થિક સંતુલનના અભ્યાસ સાથે પણ ઓવરલેપ થાય છે. જર્નલ ઓફ ઇકોનોમિક લિટરેચર કોડ્સ JEL: C61-C63 હેઠળ ગાણિતિક પ્રોગ્રામિંગ, ઓપ્ટિમાઇઝેશન તકનીકો અને સંબંધિત વિષયોને વર્ગીકૃત કરે છે. સૂક્ષ્મ અર્થશાસ્ત્રમાં, ઉપયોગિતા મહત્તમકરણ સમસ્યા અને તેની બેવડી સમસ્યા, ખર્ચ ઘટાડવાની સમસ્યા, આર્થિક ઓપ્ટિમાઇઝેશન સમસ્યાઓ છે. જ્યાં સુધી તેઓ સતત વર્તે છે, ત્યાં સુધી ગ્રાહકો તેમની ઉપયોગિતા મહત્તમ કરે તેવું માનવામાં આવે છે, જ્યારે પેઢીઓ સામાન્ય રીતે તેમનો નફો મહત્તમ કરે તેવું માનવામાં આવે છે. ઉપરાંત, એજન્ટોને ઘણીવાર જોખમ-પ્રતિકૂળ તરીકે રજૂ કરવામાં આવે છે, જેથી તેઓ જોખમ ટાળવાનું પસંદ કરે છે. અસ્કયામતોની કિંમતો પણ ઓપ્ટિમાઇઝેશન થિયરીનો ઉપયોગ કરીને તૈયાર કરવામાં આવે છે, જોકે અંતર્ગત ગણિત સ્થિર ઓપ્ટિમાઇઝેશનને બદલે સ્ટોકેસ્ટિક પ્રક્રિયાઓને ઓપ્ટિમાઇઝ કરવા પર આધાર રાખે છે. આંતરરાષ્ટ્રીય વેપાર સિદ્ધાંત રાષ્ટ્રો વચ્ચે વેપારની રીતને સમજાવવા માટે ઓપ્ટિમાઇઝેશનનો પણ ઉપયોગ કરે છે. પોર્ટફોલિયોઓનું ઓપ્ટિમાઇઝેશન એ અર્થશાસ્ત્રમાં બહુ-ઉદ્દેશ્ય ઓપ્ટિમાઇઝેશનનું ઉદાહરણ છે. 1970ના દાયકાથી, અર્થશાસ્ત્રીઓએ નિયંત્રણ સિદ્ધાંતનો ઉપયોગ કરીને સમય જતાં ગતિશીલ નિર્ણયોની રચના કરી છે. ઉદાહરણ તરીકે, ગતિશીલ શોધ મોડેલોનો ઉપયોગ શ્રમ-બજારના વર્તનનો અભ્યાસ કરવા માટે થાય છે. એક નિર્ણાયક તફાવત નિર્ધારક અને સ્ટોકેસ્ટિક મોડેલો વચ્ચે છે. મેક્રોઇકોનોમિસ્ટ્સ ડાયનેમિક સ્ટોકેસ્ટિક જનરલ ઇક્વિલિબ્રિયમ (DSGE) મોડેલ્સ બનાવે છે જે કામદારો, ગ્રાહકો, રોકાણકારો અને સરકારોના પરસ્પર નિર્ભર ઓપ્ટિમાઇઝિંગ નિર્ણયોના પરિણામે સમગ્ર અર્થતંત્રની ગતિશીલતાને વર્ણવે છે. ઇલેક્ટ્રિકલ એન્જિનિયરિંગ ઇલેક્ટ્રિકલ એન્જિનિયરિંગમાં ઓપ્ટિમાઇઝેશન તકનીકોની કેટલીક સામાન્ય એપ્લિકેશનોમાં સક્રિય ફિલ્ટર ડિઝાઇન, સુપરકન્ડક્ટિંગ મેગ્નેટિક એનર્જી સ્ટોરેજ સિસ્ટમ્સમાં સ્ટ્રે ફિલ્ડ ઘટાડો, માઇક્રોવેવ સ્ટ્રક્ચર્સની સ્પેસ મેપિંગ ડિઝાઇન, હેન્ડસેટ એન્ટેના, ઇલેક્ટ્રોમેગ્નેટિક્સ-આધારિત ડિઝાઇનનો સમાવેશ થાય છે. માઇક્રોવેવ ઘટકો અને એન્ટેનાના ઇલેક્ટ્રોમેગ્નેટિકલી માન્ય ડિઝાઇન ઓપ્ટિમાઇઝેશનએ 1993 માં સ્પેસ મેપિંગની શોધ થઈ ત્યારથી યોગ્ય ભૌતિકશાસ્ત્ર આધારિત અથવા પ્રયોગમૂલક સરોગેટ મોડેલ અને સ્પેસ મેપિંગ પધ્ધતિનો વ્યાપક ઉપયોગ કર્યો છે. સિવિલ એન્જિનિયરિંગમાં સિવિલ એન્જિનિયરિંગ ઓપ્ટિમાઇઝેશનનો વ્યાપકપણે ઉપયોગ કરવામાં આવે છે. બાંધકામ વ્યવસ્થાપન અને પરિવહન ઇજનેરી એ સિવિલ ઇજનેરીની મુખ્ય શાખાઓમાંની એક છે જે ઓપ્ટિમાઇઝેશન પર ભારે આધાર રાખે છે. સૌથી સામાન્ય સિવિલ ઇજનેરી સમસ્યાઓ કે જે ઓપ્ટિમાઇઝેશન દ્વારા હલ કરવામાં આવે છે તેમાં રસ્તાઓનું કાપવું અને ભરવું, માળખા અને માળખાગત સુવિધાઓનું જીવન-ચક્ર વિશ્લેષણ, સંસાધનોનું સમતુલન, જળ સંસાધનની ફાળવણી, ટ્રાફિક વ્યવસ્થાપન અને સમયપત્રક ઓપ્ટિમાઇઝેશનનો સમાવેશ થાય છે. ઓપરેશન્સ રિસર્ચ અન્ય ક્ષેત્ર કે જે ઓપ્ટિમાઇઝેશન તકનીકોનો વ્યાપક ઉપયોગ કરે છે તે ઓપરેશન્સ રિસર્ચ છે. ઓપરેશન્સ રિસર્ચ સુધારેલા નિર્ણયને ટેકો આપવા માટે સ્ટોકેસ્ટિક મોડેલિંગ અને સિમ્યુલેશનનો પણ ઉપયોગ કરે છે. વધુને વધુ, કામગીરી સંશોધન ઘટનાઓને અનુરૂપ ગતિશીલ નિર્ણયોના નમૂના બનાવવા માટે સ્ટોકેસ્ટિક પ્રોગ્રામિંગનો ઉપયોગ કરે છે; આવી સમસ્યાઓને મોટા પાયે ઓપ્ટિમાઇઝેશન અને સ્ટોકેસ્ટિક ઓપ્ટિમાઇઝેશન પદ્ધતિઓ દ્વારા ઉકેલી શકાય છે. કંટ્રોલ એન્જિનિયરિંગ મેથેમેટિકલ ઓપ્ટિમાઇઝેશનનો ઉપયોગ ઘણા આધુનિક નિયંત્રક ડિઝાઇનમાં થાય છે. મોડેલ પ્રેડિક્ટિવ કંટ્રોલ (એમપીસી) અથવા રીઅલ-ટાઇમ ઓપ્ટિમાઇઝેશન (આરટીઓ) જેવા ઉચ્ચ-સ્તરના નિયંત્રકો ગાણિતિક ઓપ્ટિમાઇઝેશનનો ઉપયોગ કરે છે. આ અલ્ગોરિધમ્સ ઓનલાઇન ચાલે છે અને વારંવાર નિર્ણય ચલ માટેના મૂલ્યો નક્કી કરે છે, જેમ કે પ્રક્રિયા પ્લાન્ટમાં ચોક ઓપનિંગ્સ, અવરોધો અને નિયંત્રિત કરવા માટેના સિસ્ટમના મોડેલ સહિત ગાણિતિક ઓપ્ટિમાઇઝેશન સમસ્યાને પુનરાવર્તિત રીતે હલ કરીને. ભૂભૌતિકીય પરિમાણ અંદાજની સમસ્યાઓમાં ભૂભૌતિકીય ઓપ્ટિમાઇઝેશન તકનીકોનો નિયમિતપણે ઉપયોગ થાય છે. ભૂભૌતિકીય માપનો સમૂહ જોતાં, દા. ત. ધરતીકંપના રેકોર્ડિંગ્સ, અંતર્ગત ખડકો અને પ્રવાહીના ભૌતિક ગુણધર્મો અને ભૌમિતિક આકારો માટે ઉકેલ લાવવો સામાન્ય છે. ભૂભૌતિકશાસ્ત્રમાં મોટાભાગની સમસ્યાઓ બિનરેખીય છે, જેમાં નિર્ધારક અને સ્ટોકેસ્ટિક બંને પદ્ધતિઓનો વ્યાપકપણે ઉપયોગ કરવામાં આવે છે. મોલેક્યુલર મોડેલિંગ બિનરેખીય ઓપ્ટિમાઇઝેશન પદ્ધતિઓનો વ્યાપકપણે રચનાત્મક વિશ્લેષણમાં ઉપયોગ થાય છે. કોમ્પ્યુટેશનલ સિસ્ટમ્સ બાયોલોજી ઓપ્ટિમાઇઝેશન તકનીકોનો ઉપયોગ કોમ્પ્યુટેશનલ સિસ્ટમ્સ બાયોલોજીના ઘણા પાસાઓમાં થાય છે જેમ કે મોડેલ નિર્માણ, શ્રેષ્ઠ પ્રાયોગિક ડિઝાઇન, મેટાબોલિક એન્જિનિયરિંગ અને કૃત્રિમ જીવવિજ્ઞાન. આથો લાવવાના ઉત્પાદનોની મહત્તમ સંભવિત ઉપજની ગણતરી કરવા અને બહુવિધ માઇક્રોએરે ડેટાસેટ્સ તેમજ ઉચ્ચ-થ્રુપુટ ડેટામાંથી ટ્રાન્સક્રિપ્શનલ રેગ્યુલેટરી નેટવર્ક્સમાંથી જનીન નિયમનકારી નેટવર્કનું અનુમાન કરવા માટે રેખીય પ્રોગ્રામિંગ લાગુ કરવામાં આવ્યું છે. બિનરેખીય પ્રોગ્રામિંગનો ઉપયોગ ઊર્જા ચયાપચયનું વિશ્લેષણ કરવા માટે કરવામાં આવે છે અને તે ચયાપચય ઇજનેરી અને બાયોકેમિકલ માર્ગોમાં પરિમાણ અંદાજ માટે લાગુ કરવામાં આવે છે. મશીન લર્નિંગ સોલ્વર્સ પણ જુઓ બ્રેચિસ્ટોક્રોન કર્વ કર્વ ફિટિંગ નિર્ધારક વૈશ્વિક ઓપ્ટિમાઇઝેશન ગોલ પ્રોગ્રામિંગ ઓપ્ટિમાઇઝેશનમાં મહત્વપૂર્ણ પ્રકાશનો ઓછામાં ઓછા ચોરસ મેથેમેટિકલ ઓપ્ટિમાઇઝેશન સોસાયટી (અગાઉ મેથેમેટિકલ પ્રોગ્રામિંગ સોસાયટી) મેથેમેટિકલ ઓપ્ટિમાઇઝેશન અલ્ગોરિધમ્સ મેથેમેટિકલ ઓપ્ટિમાઇઝેશન સોફ્ટવેર પ્રોસેસ ઓપ્ટિમાઇઝેશન સિમ્યુલેશન-આધારિત ઓપ્ટિમાઇઝેશન ઓપ્ટિમાઇઝેશન માટે પરીક્ષણ કાર્યો વિવિધતા કલન વાહન રૂટીંગ સમસ્યા નોંધો વધુ વાંચન બાહ્ય લિંક્સ ઓપ્ટિમાઇઝેશન સોર્સ કોડ્સ ઓપરેશન્સ રિસર્ચ ઓપ્ટિમાઇઝેશનની લિંક્સ