Hyperparameter (machine learning)
મશીન લર્નિંગમાં, હાયપરપેરામીટર એ એક પરિમાણ છે જેનું મૂલ્ય શીખવાની પ્રક્રિયાને નિયંત્રિત કરવા માટે વપરાય છે. તેનાથી વિપરીત, અન્ય પરિમાણોના મૂલ્યો (સામાન્ય રીતે નોડ વજન) તાલીમ દ્વારા મેળવવામાં આવે છે. હાયપરપેરામીટર્સને મોડેલ હાયપરપેરામીટર્સ તરીકે વર્ગીકૃત કરી શકાય છે, જે તાલીમ સમૂહમાં મશીનને ફીટ કરતી વખતે અનુમાનિત કરી શકાતા નથી કારણ કે તેઓ મોડેલ પસંદગી કાર્ય અથવા અલ્ગોરિધમ હાયપરપેરામીટર્સનો સંદર્ભ આપે છે, જે સિદ્ધાંતમાં મોડેલની કામગીરી પર કોઈ પ્રભાવ પાડતા નથી પરંતુ ઝડપ અને ગુણવત્તાને અસર કરે છે. મોડલ હાયપરપેરામીટરનું ઉદાહરણ ન્યુરલ નેટવર્કનું ટોપોલોજી અને કદ છે. અલ્ગોરિધમ હાયપરપેરામેટર્સના ઉદાહરણો શીખવાનો દર અને બૅચનું કદ તેમજ મિની-બૅચનું કદ છે. બૅચનું કદ સંપૂર્ણ ડેટા નમૂનાનો સંદર્ભ આપી શકે છે જ્યાં મિની-બૅચનું કદ નાના નમૂનાનો સમૂહ હશે. વિવિધ મોડેલ તાલીમ અલ્ગોરિધમ્સને વિવિધ હાયપરપેરામેટર્સની જરૂર પડે છે, કેટલાક સરળ અલ્ગોરિધમ્સને (જેમ કે સામાન્ય લઘુત્તમ ચોરસ રીગ્રેસન) કોઈની જરૂર નથી. આ હાયપરપેરામીટર્સને જોતાં, તાલીમ અલ્ગોરિધમ ડેટામાંથી પરિમાણો શીખે છે. દાખલા તરીકે, એલ. એ. એસ. એસ. ઓ. એ એક અલ્ગોરિધમ છે જે સામાન્ય લઘુત્તમ ચોરસ રીગ્રેસનમાં નિયમિત હાયપરપેરામીટર ઉમેરે છે, જેને તાલીમ અલ્ગોરિધમ દ્વારા પરિમાણોનો અંદાજ કાઢતાં પહેલાં સેટ કરવું પડે છે. વિચારણાઓ મોડેલને તાલીમ આપવા અને તેનું પરીક્ષણ કરવા માટેનો સમય તેના હાયપરપેરામીટર્સની પસંદગી પર આધારિત હોઈ શકે છે. હાયપરપેરામીટર સામાન્ય રીતે સતત અથવા પૂર્ણાંક પ્રકારનો હોય છે, જે મિશ્ર-પ્રકાર ઓપ્ટિમાઇઝેશન સમસ્યાઓ તરફ દોરી જાય છે. કેટલાક હાયપરપેરામીટર્સનું અસ્તિત્વ અન્યના મૂલ્ય પર શરતી છે, દા. ત. ન્યુરલ નેટવર્કમાં દરેક છુપાયેલા સ્તરનું કદ સ્તરોની સંખ્યા પર શરતી હોઈ શકે છે. મુશ્કેલી શીખવા યોગ્ય પરિમાણો સામાન્ય રીતે, પરંતુ હંમેશા નહીં, હાયપરપેરામીટર્સ જાણીતા ગ્રેડિયન્ટ આધારિત પદ્ધતિઓ (જેમ કે ગ્રેડિયન્ટ ડિસેન્ટ, એલબીએફજીએસ) નો ઉપયોગ કરીને શીખી શકાતા નથી-જે સામાન્ય રીતે પરિમાણો શીખવા માટે ઉપયોગમાં લેવાય છે. આ હાયપરપેરામીટર્સ એ એવા પરિમાણો છે જે મોડેલની રજૂઆતનું વર્ણન કરે છે જે સામાન્ય ઓપ્ટિમાઇઝેશન પદ્ધતિઓ દ્વારા શીખી શકાતા નથી પરંતુ તેમ છતાં લોસ ફંક્શનને અસર કરે છે. સહાયક વેક્ટર મશીનોમાં ભૂલો માટે સહિષ્ણુતા હાયપરપેરામીટર એક ઉદાહરણ હશે. કેટલીકવાર, હાયપરપેરામીટર્સ તાલીમ ડેટામાંથી શીખી શકાતા નથી કારણ કે તેઓ આક્રમક રીતે મોડેલની ક્ષમતામાં વધારો કરે છે અને ડેટામાં માળખાની સમૃદ્ધિને યોગ્ય રીતે મેપિંગ કરવાને બદલે, લોસ ફંક્શનને અનિચ્છનીય લઘુત્તમ (ડેટામાં ઓવરફિટિંગ અને અવાજ ઉઠાવવો) તરફ ધકેલી શકે છે. ઉદાહરણ તરીકે, જો આપણે રીગ્રેસન મોડેલને ફીટ કરતા બહુપદી સમીકરણની માત્રાને તાલીમક્ષમ પરિમાણ તરીકે ગણીએ, તો જ્યાં સુધી મોડેલ ડેટાને સંપૂર્ણપણે ફિટ ન કરે ત્યાં સુધી ડિગ્રી વધશે, જે ઓછી તાલીમ ભૂલ આપે છે, પરંતુ સામાન્યીકરણનું નબળું પ્રદર્શન આપે છે. ટ્યુનબિલિટી મોટાભાગની કામગીરીની વિવિધતાને માત્ર થોડા હાયપરપેરામીટર્સને આભારી હોઈ શકે છે. અલ્ગોરિધમ, હાયપરપેરામીટર અથવા ઇન્ટરેક્ટિંગ હાયપરપેરામીટર્સની ટ્યુનબિલિટી એ એક માપ છે કે તેને ટ્યુનિંગ કરીને કેટલી કામગીરી મેળવી શકાય છે. એલ. એસ. ટી. એમ. માટે, જ્યારે નેટવર્કના કદ પછીનો શીખવાનો દર તેના સૌથી નિર્ણાયક હાયપરપેરામેટર્સ છે, ત્યારે બેચિંગ અને મોમેન્ટમની તેની કામગીરી પર કોઈ નોંધપાત્ર અસર થતી નથી. જો કે કેટલાક સંશોધનોએ હજારોમાં નાની-બેચના કદના ઉપયોગની હિમાયત કરી છે, અન્ય કાર્યોમાં 2 થી 32 ની વચ્ચેની નાની-બેચના કદ સાથે શ્રેષ્ઠ પ્રદર્શન જોવા મળ્યું છે. ટકાઉપણું શીખવામાં સહજ સ્ટોકેસ્ટિસિટી એ સીધી રીતે સૂચવે છે કે પ્રયોગમૂલક હાયપરપેરામીટર પ્રદર્શન એ તેનું સાચું પ્રદર્શન હોવું જરૂરી નથી. પદ્ધતિઓ કે જે હાયપરપેરામીટર્સ, રેન્ડમ બીજ અથવા સમાન અલ્ગોરિધમનોના જુદા જુદા અમલીકરણમાં સરળ ફેરફારો માટે મજબૂત નથી, તે નોંધપાત્ર સરળીકરણ અને મજબૂતીકરણ વિના મિશન ક્રિટિકલ કંટ્રોલ સિસ્ટમ્સમાં એકીકૃત કરી શકાતી નથી. રિઇન્ફોર્સમેન્ટ લર્નિંગ અલ્ગોરિધમ્સ, ખાસ કરીને, મોટી સંખ્યામાં રેન્ડમ બીજ પર તેમની કામગીરીને માપવાની જરૂર છે, અને હાયપરપેરામીટર્સની પસંદગીઓ પ્રત્યેની તેમની સંવેદનશીલતાને પણ માપવાની જરૂર છે. ઓછી સંખ્યામાં રેન્ડમ બીજ સાથે તેમનું મૂલ્યાંકન ઉચ્ચ ભિન્નતાને કારણે કામગીરીને પર્યાપ્ત રીતે પકડી શકતું નથી. કેટલીક મજબૂતીકરણ શીખવાની પદ્ધતિઓ, દા. ત. ડી. ડી. પી. જી. (ડીપ ડિટરમિનિસ્ટિક પોલિસી ગ્રેડિયન્ટ), અન્ય કરતા હાયપરપેરામીટર પસંદગીઓ માટે વધુ સંવેદનશીલ છે. ઓપ્ટિમાઇઝેશન હાયપરપેરામીટર ઓપ્ટિમાઇઝેશન હાયપરપેરામીટર્સનું ટુપલ શોધે છે જે એક શ્રેષ્ઠ મોડેલ આપે છે જે આપેલ પરીક્ષણ ડેટા પર પૂર્વવ્યાખ્યાયિત નુકસાન કાર્યને ઘટાડે છે. ઉદ્દેશ્ય કાર્ય હાયપરપેરામેટર્સનું ટુપલ લે છે અને સંકળાયેલ નુકસાન પરત કરે છે. પુનઃઉત્પાદનક્ષમતા હાયપરપેરામીટર્સને ટ્યુનિંગ કરવા ઉપરાંત, મશીન લર્નિંગમાં પરિમાણો અને પરિણામોને સંગ્રહિત અને ગોઠવવાનો સમાવેશ થાય છે, અને ખાતરી કરો કે તેઓ પુનઃઉત્પાદનક્ષમ છે. આ હેતુ માટે મજબૂત માળખાગત સુવિધાના અભાવમાં, સંશોધન સંહિતા ઘણીવાર ઝડપથી વિકસિત થાય છે અને હિસાબી અને પુનઃઉત્પાદનક્ષમતા જેવા આવશ્યક પાસાઓ સાથે સમાધાન કરે છે. મશીન લર્નિંગ માટે ઓનલાઇન સહયોગ પ્લેટફોર્મ વૈજ્ઞાનિકોને આપમેળે પ્રયોગો, ડેટા અને અલ્ગોરિધમ્સ શેર કરવા, ગોઠવવા અને ચર્ચા કરવાની મંજૂરી આપીને આગળ વધે છે. ઊંડા શિક્ષણના નમૂનાઓ માટે પ્રજનનક્ષમતા ખાસ કરીને મુશ્કેલ હોઈ શકે છે. હાઇપર-હ્યુરિસ્ટિક પ્રતિકૃતિ કટોકટી સંદર્ભો મશીન લર્નિંગ મોડેલ પસંદગી પણ જુઓ