Online machine learning
કોમ્પ્યુટર વિજ્ઞાનમાં, ઓનલાઇન મશીન લર્નિંગ એ મશીન લર્નિંગની એક પદ્ધતિ છે જેમાં ડેટા ક્રમિક ક્રમમાં ઉપલબ્ધ થાય છે અને તેનો ઉપયોગ દરેક તબક્કે ભવિષ્યના ડેટા માટે શ્રેષ્ઠ આગાહીકારને અપડેટ કરવા માટે થાય છે, જે બેચ લર્નિંગ તકનીકોના વિરોધમાં છે, જે શીખવાથી શ્રેષ્ઠ આગાહીકાર પેદા કરે છે. ઓનલાઇન શિક્ષણ એ મશીન લર્નિંગના ક્ષેત્રોમાં ઉપયોગમાં લેવાતી એક સામાન્ય તકનીક છે જ્યાં સમગ્ર ડેટાસેટ પર તાલીમ આપવી કોમ્પ્યુટેશનલ રીતે અશક્ય છે, જેમાં આઉટ-ઓફ-કોર અલ્ગોરિધમ્સની જરૂર પડે છે. તેનો ઉપયોગ એવી પરિસ્થિતિઓમાં પણ થાય છે જ્યાં અલ્ગોરિધમ માટે ડેટામાં નવી પેટર્ન સાથે ગતિશીલ રીતે અનુકૂલન કરવું જરૂરી હોય, અથવા જ્યારે ડેટા પોતે સમયના કાર્ય તરીકે ઉત્પન્ન થાય છે, દા. ત., શેરની કિંમતની આગાહી. ઓનલાઈન લર્નિંગ અલ્ગોરિધમ્સ આપત્તિજનક હસ્તક્ષેપ માટે સંવેદનશીલ હોઈ શકે છે, જે એક એવી સમસ્યા છે જેને વૃદ્ધિશીલ શિક્ષણ અભિગમો દ્વારા સંબોધિત કરી શકાય છે. પરિચય સુપરવાઇઝ્ડ લર્નિંગના સેટિંગમાં, એક કાર્ય શીખવાનું છે, જ્યાં તેને ઇનપુટ્સની જગ્યા અને આઉટપુટની જગ્યા તરીકે માનવામાં આવે છે, જે સંયુક્ત સંભાવના વિતરણમાંથી દોરવામાં આવેલા ઉદાહરણો પર સારી આગાહી કરે છે. વાસ્તવમાં, શીખનાર પ્રસંગો પર સાચું વિતરણ ક્યારેય જાણતો નથી. તેના બદલે, શીખનાર પાસે સામાન્ય રીતે ઉદાહરણોના તાલીમ સમૂહની પહોંચ હોય છે. આ સેટિંગમાં, લોસ ફંક્શન એ રીતે આપવામાં આવે છે, જે અનુમાનિત મૂલ્ય અને સાચા મૂલ્ય વચ્ચેના તફાવતને માપે છે. આદર્શ ધ્યેય એ કાર્યને પસંદ કરવાનું છે, જ્યાં કાર્યોની જગ્યા છે જેને પૂર્વધારણા જગ્યા કહેવાય છે, જેથી કુલ નુકસાનની કેટલીક કલ્પના ઘટાડી શકાય. મોડેલના પ્રકાર (આંકડાકીય અથવા પ્રતિકૂળ) પર આધાર રાખીને, કોઈ વ્યક્તિ નુકસાનની વિવિધ કલ્પનાઓ ઘડી શકે છે, જે વિવિધ શિક્ષણ અલ્ગોરિધમ્સ તરફ દોરી જાય છે. ઓનલાઈન શિક્ષણનો આંકડાકીય દૃષ્ટિકોણ આંકડાકીય શિક્ષણના નમૂનાઓમાં, તાલીમનો નમૂનો સાચા વિતરણમાંથી લેવામાં આવ્યો હોવાનું માનવામાં આવે છે અને તેનો ઉદ્દેશ અપેક્ષિત "જોખમ" ને ઘટાડવાનો છે આ પરિસ્થિતિમાં એક સામાન્ય દાખલો પ્રયોગમૂલક જોખમ ઘટાડા અથવા નિયમિત પ્રયોગમૂલક જોખમ ઘટાડા (સામાન્ય રીતે ટિખોનોવ નિયમિતકરણ) દ્વારા કાર્યનો અંદાજ કાઢવાનો છે. અહીં લોસ ફંક્શનની પસંદગી કેટલાક જાણીતા શિક્ષણ અલ્ગોરિધમ્સને જન્મ આપે છે જેમ કે નિયમિત લઘુત્તમ ચોરસ અને સહાયક વેક્ટર મશીનો. આ શ્રેણીમાં સંપૂર્ણપણે ઑનલાઇન મોડેલ માત્ર નવા ઇનપુટ, વર્તમાન શ્રેષ્ઠ આગાહીકાર અને કેટલીક વધારાની સંગ્રહિત માહિતી (જે સામાન્ય રીતે તાલીમ ડેટાના કદથી સ્વતંત્ર સંગ્રહ જરૂરિયાતો હોવાની અપેક્ષા રાખવામાં આવે છે) ના આધારે શીખશે. ઘણા ફોર્મ્યુલેશન માટે, ઉદાહરણ તરીકે બિનરેખીય કર્નલ પદ્ધતિઓ માટે, સાચું ઓનલાઇન શિક્ષણ શક્ય નથી, જો કે પુનરાવર્તિત અલ્ગોરિધમ્સ સાથે વર્ણસંકર ઓનલાઇન શિક્ષણના એક સ્વરૂપનો ઉપયોગ કરી શકાય છે જ્યાં તેના પર આધાર રાખવાની મંજૂરી છે અને અગાઉના તમામ ડેટા પોઇન્ટ. આ કિસ્સામાં, જગ્યાની જરૂરિયાતો હવે સ્થિર હોવાની બાંયધરી આપવામાં આવતી નથી કારણ કે તેમાં અગાઉના તમામ ડેટા બિંદુઓને સંગ્રહિત કરવાની જરૂર પડે છે, પરંતુ સમાધાનને બેચ શીખવાની તકનીકોની તુલનામાં નવા ડેટા બિંદુના ઉમેરા સાથે ગણતરી કરવામાં ઓછો સમય લાગી શકે છે. ઉપરોક્ત મુદ્દાઓને દૂર કરવા માટેની એક સામાન્ય વ્યૂહરચના મિની-બેચનો ઉપયોગ કરીને શીખવાની છે, જે એક સમયે ડેટા પોઈન્ટની નાની બેચ પર પ્રક્રિયા કરે છે, આને તાલીમ પોઈન્ટની કુલ સંખ્યા કરતાં ઘણી ઓછી માટે સ્યુડો-ઓનલાઇન શિક્ષણ તરીકે ગણી શકાય. મશીન લર્નિંગ અલ્ગોરિધમ્સના ઓપ્ટિમાઇઝ્ડ આઉટ-ઓફ-કોર વર્ઝન મેળવવા માટે તાલીમ ડેટાને વારંવાર પસાર કરવા માટે મિની-બેચ તકનીકોનો ઉપયોગ કરવામાં આવે છે, ઉદાહરણ તરીકે, સ્ટોકેસ્ટિક ગ્રેડિયન્ટ ડિસેન્ટ. જ્યારે બેકપ્રોપેગેશન સાથે જોડવામાં આવે છે, ત્યારે હાલમાં કૃત્રિમ ન્યુરલ નેટવર્કને તાલીમ આપવા માટે આ વાસ્તવિક તાલીમ પદ્ધતિ છે. ઉદાહરણોઃ રેખીય લઘુત્તમ ચોરસ રેખીય લઘુત્તમ ચોરસના સરળ ઉદાહરણનો ઉપયોગ ઓનલાઇન શિક્ષણમાં વિવિધ વિચારોને સમજાવવા માટે થાય છે. આ વિચારો અન્ય સેટિંગ્સ પર લાગુ કરવા માટે પૂરતા સામાન્ય છે, ઉદાહરણ તરીકે, અન્ય બહિર્મુખ નુકસાન કાર્યો સાથે. બેચ લર્નિંગ શીખવા માટેના રેખીય કાર્ય સાથે નિરીક્ષણ કરેલ શિક્ષણના સેટિંગને ધ્યાનમાં લોઃ જ્યાં ઇનપુટ્સ (ડેટા પોઇન્ટ) નો વેક્ટર છે અને તે રેખીય ફિલ્ટર વેક્ટર છે. ધ્યેય ફિલ્ટર વેક્ટરની ગણતરી કરવાનો છે. આ માટે, સ્ક્વેર લોસ ફંક્શનનો ઉપયોગ વેક્ટરની ગણતરી કરવા માટે થાય છે જે પ્રયોગમૂલક નુકસાનને ઘટાડે છે. ચાલો ડેટા મેટ્રિક્સ હોઈએ અને પ્રથમ ડેટા બિંદુઓના આગમન પછી લક્ષ્ય મૂલ્યોના કૉલમ વેક્ટર છે. ધારો કે સહપરિવર્તન મેટ્રિક્સ ઉલટાવી શકાય તેવું છે (અન્યથા તે તિખોનોવ નિયમિતકરણ સાથે સમાન રીતે આગળ વધવાનું પ્રાધાન્ય છે), રેખીય લઘુત્તમ ચોરસ સમસ્યાનો શ્રેષ્ઠ ઉકેલ આના દ્વારા આપવામાં આવે છે. હવે, કોવેરિયન્સ મેટ્રિક્સની ગણતરી કરવામાં સમય લાગે છે, મેટ્રિક્સને ઊંધું કરવામાં સમય લાગે છે, જ્યારે બાકીના ગુણાકારમાં સમય લાગે છે, જે કુલ સમય આપે છે. જ્યારે ડેટાસેટમાં કુલ બિંદુઓ હોય, ત્યારે દરેક ડેટાપૉઇન્ટના આગમન પછી ઉકેલની ફરીથી ગણતરી કરવા માટે, નિષ્કપટ અભિગમમાં કુલ જટિલતા હશે. નોંધ લો કે મેટ્રિક્સ સંગ્રહિત કરતી વખતે, પછી તેને દરેક તબક્કે અપડેટ કરવા માટે માત્ર ઉમેરવાની જરૂર છે, જે સમય લે છે, કુલ સમય ઘટાડે છે, પરંતુ સંગ્રહ કરવા માટે વધારાની સંગ્રહ જગ્યા સાથે. ઓનલાઇન શિક્ષણઃ પુનરાવર્તિત લઘુતમ ચોરસ પુનરાવર્તિત લઘુતમ ચોરસ (આર. એલ. એસ.) અલ્ગોરિધમ લઘુતમ ચોરસ સમસ્યા માટે ઓનલાઇન અભિગમને ધ્યાનમાં લે છે. તે દર્શાવી શકાય છે કે પહેલાના વિભાગમાં આપવામાં આવેલી રેખીય લઘુત્તમ વર્ગ સમસ્યાના પ્રારંભિક અને ઉકેલની ગણતરી નીચેના પુનરાવર્તન દ્વારા કરી શકાય છેઃ ઉપરના પુનરાવર્તન અલ્ગોરિધમનો ઇન્ડક્શનનો ઉપયોગ કરીને સાબિત કરી શકાય છે. પુરાવા પણ તે દર્શાવે છે. અનુકૂલનશીલ ગાળકોના સંદર્ભમાં પણ આરએલએસને જોઈ શકાય છે (આરએલએસ જુઓ). આ અલ્ગોરિધમનાં પગલાંઓ માટેની જટિલતા છે, જે અનુરૂપ બેચ શીખવાની જટિલતા કરતાં વધુ ઝડપી તીવ્રતાનો ક્રમ છે. અહીં દરેક તબક્કે સંગ્રહની જરૂરિયાતો મેટ્રિક્સને સંગ્રહિત કરવાની છે, જે સ્થિર છે. જ્યારે ઇન્વર્ટિબલ ન હોય ત્યારે, પ્રોબ્લેમ લોસ ફંક્શનના નિયમિત સંસ્કરણને ધ્યાનમાં લો. પછી, તે બતાવવું સરળ છે કે તે જ અલ્ગોરિધમ સાથે કામ કરે છે, અને પુનરાવર્તનો આપવાનું ચાલુ રાખે છે. સ્ટોકેસ્ટિક ગ્રેડિયન્ટ ડિસેન્ટ જ્યારે આને અથવા દ્વારા બદલવામાં આવે છે, ત્યારે આ સ્ટોકેસ્ટિક ગ્રેડિયન્ટ ડિસેન્ટ અલ્ગોરિધમ બની જાય છે. આ કિસ્સામાં, આ અલ્ગોરિધમનાં પગલાંઓ માટેની જટિલતા ઘટાડે છે. દરેક તબક્કે સંગ્રહની જરૂરિયાતો સ્થિર રહે છે. જો કે, ઉપર વિગતવાર જણાવ્યા મુજબ, અપેક્ષિત જોખમ ઘટાડવાની સમસ્યાને ઉકેલવા માટે સ્ટેપસાઇઝને કાળજીપૂર્વક પસંદ કરવાની જરૂર છે. ક્ષય પામતા પગલાનું કદ પસંદ કરીને સરેરાશ પુનરાવર્તનનું અભિસરણ સાબિત કરી શકાય છે. આ સેટિંગ સ્ટોકેસ્ટિક ઓપ્ટિમાઇઝેશનનો એક ખાસ કેસ છે, જે ઓપ્ટિમાઇઝેશનમાં જાણીતી સમસ્યા છે. ઇન્ક્રિમેંટલ સ્ટોકેસ્ટિક ગ્રેડિયન્ટ ડિસેન્ટ વ્યવહારમાં, ડેટા પર બહુવિધ સ્ટોકેસ્ટિક ગ્રેડિયન્ટ પાસ (જેને ચક્ર અથવા યુગ પણ કહેવાય છે) કરી શકાય છે. આમ મેળવેલા અલ્ગોરિધમને વૃદ્ધિશીલ ઢાળ પદ્ધતિ કહેવામાં આવે છે અને તે પુનરાવર્તનને અનુરૂપ હોય છે સ્ટોકેસ્ટિક ઢાળ પદ્ધતિ સાથેનો મુખ્ય તફાવત એ છે કે અહીં-th પગલામાં કયા તાલીમ બિંદુની મુલાકાત લેવામાં આવે છે તે નક્કી કરવા માટે એક ક્રમ પસંદ કરવામાં આવે છે. આવા ક્રમ સ્ટોકેસ્ટિક અથવા નિર્ધારક હોઈ શકે છે. પુનરાવર્તનની સંખ્યાને પછી બિંદુઓની સંખ્યામાં જોડી દેવામાં આવે છે (દરેક બિંદુને એકથી વધુ વખત ગણી શકાય). વૃદ્ધિશીલ ઢાળ પદ્ધતિ પ્રયોગમૂલક જોખમને લઘુતમ પ્રદાન કરવા માટે દર્શાવી શકાય છે. વૃદ્ધિશીલ તકનીકો ફાયદાકારક હોઈ શકે છે જ્યારે ઘણા શબ્દોના સરવાળાથી બનેલા ઉદ્દેશ્ય કાર્યોને ધ્યાનમાં લેવામાં આવે છે. ખૂબ મોટા ડેટાસેટને અનુરૂપ પ્રયોગમૂલક ભૂલ. કર્નલ પદ્ધતિઓ કર્નલનો ઉપયોગ ઉપરોક્ત અલ્ગોરિધમ્સને બિન-પેરામેટ્રિક મોડેલો (અથવા મોડેલો જ્યાં પરિમાણો અનંત પરિમાણીય જગ્યા બનાવે છે) સુધી વિસ્તારવા માટે કરી શકાય છે. અનુરૂપ પ્રક્રિયા હવે ખરેખર ઓનલાઇન રહેશે નહીં અને તેના બદલે તેમાં તમામ ડેટા પોઇન્ટનો સંગ્રહ કરવામાં આવશે, પરંતુ તે હજુ પણ બ્રુટ ફોર્સ પદ્ધતિ કરતાં વધુ ઝડપી છે. આ ચર્ચા ચોરસ નુકસાનના કિસ્સામાં મર્યાદિત છે, જો કે તે કોઈપણ બહિર્મુખ નુકસાન સુધી વિસ્તૃત કરી શકાય છે. તે એક સરળ ઇન્ડક્શન દ્વારા બતાવી શકાય છે કે જો ડેટા મેટ્રિક્સ છે અને SGD અલ્ગોરિધમનાં પગલાં પછીનું આઉટપુટ છે, તો પછી, ક્યાં અને ક્રમ પુનરાવર્તનને સંતોષે છેઃ અને નોંધ લો કે અહીં માત્ર પ્રમાણભૂત કર્નલ ચાલુ છે, અને આગાહી કરનાર સ્વરૂપમાં છે. હવે, જો તેના બદલે સામાન્ય કર્નલ રજૂ કરવામાં આવે અને આગાહી કરનારને રહેવા દેવામાં આવે તો તે જ પુરાવો એ પણ બતાવશે કે આગાહી કરનાર ઓછામાં ઓછા વર્ગના નુકસાનને ઘટાડીને ઉપરોક્ત પુનરાવર્તનને બદલીને મેળવવામાં આવે છે. - th ડેટાપૉઇન્ટ માટે મૂલ્યાંકન કરતી વખતે પુનરાવર્તન માટેની કુલ સમય જટિલતા છે, જ્યાં એક જોડી બિંદુઓ પર કર્નલનું મૂલ્યાંકન કરવાની કિંમત છે. આમ, કર્નલના ઉપયોગથી મર્યાદિત પરિમાણીય પરિમાણ અવકાશમાંથી કર્નલ દ્વારા રજૂ કરાયેલ સંભવિત અનંત પરિમાણીય લક્ષણ તરફની હિલચાલને બદલે પરિમાણોની જગ્યા પર પુનરાવર્તન કરવાની મંજૂરી આપવામાં આવી છે, જેનું પરિમાણ તાલીમ ડેટાસેટના કદ જેટલું જ છે. સામાન્ય રીતે, આ પ્રતિનિધિ પ્રમેયનું પરિણામ છે. ઓનલાઇન બહિર્મુખ ઓપ્ટિમાઇઝેશન ઓનલાઇન બહિર્મુખ ઓપ્ટિમાઇઝેશન (ઓ. સી. ઓ.) એ નિર્ણય લેવા માટેનું એક સામાન્ય માળખું છે જે કાર્યક્ષમ અલ્ગોરિધમ્સને મંજૂરી આપવા માટે બહિર્મુખ ઓપ્ટિમાઇઝેશનનો લાભ લે છે. પુનરાવર્તિત રમત રમવાનું માળખું નીચે મુજબ છેઃ શીખનાર માટે નિશ્ચિત બહિર્મુખ સમૂહમાંથી ઇનપુટ શીખનાર આઉટપુટ મેળવે છે કુદરત બહિર્મુખ નુકસાન કાર્યને પાછું મોકલે છે. શીખનાર ખોટ અનુભવે છે અને તેના મોડેલને અપડેટ કરે છે ધ્યેય એ છે કે પસ્તાવો, અથવા સંચિત નુકસાન અને પાછળથી શ્રેષ્ઠ નિશ્ચિત બિંદુની ખોટ વચ્ચેનો તફાવત ઘટાડવો. ઉદાહરણ તરીકે, ઑનલાઇન લીસ્ટ સ્ક્વેર રેખીય રીગ્રેસનના કેસને ધ્યાનમાં લો. અહીં, વજનના વાહક બહિર્મુખ સમૂહમાંથી આવે છે, અને પ્રકૃતિ બહિર્મુખ નુકશાન કાર્યને પાછું મોકલે છે. અહીં નોંધ કરો કે જે પરોક્ષ રીતે સાથે મોકલવામાં આવી છે. જોકે કેટલીક ઓનલાઇન આગાહી સમસ્યાઓ ઓ. સી. ઓ. ના માળખામાં બંધબેસતું નથી. ઉદાહરણ તરીકે, ઓનલાઇન વર્ગીકરણમાં, આગાહી ક્ષેત્ર અને નુકસાન કાર્યો બહિર્મુખ નથી. આવી પરિસ્થિતિઓમાં, બહિર્મુખતા માટે બે સરળ તકનીકોનો ઉપયોગ કરવામાં આવે છેઃ રેન્ડમાઇઝેશન અને સરોગેટ લોસ ફંક્શન્સ. કેટલાક સરળ ઑનલાઇન બહિર્મુખ ઓપ્ટિમાઇઝેશન અલ્ગોરિધમ્સ છેઃ નેતાને અનુસરો (એફટીએલ) પ્રયાસ કરવા માટેનો સૌથી સરળ શીખવાનો નિયમ એ છે કે (વર્તમાન તબક્કે) પૂર્વધારણાને પસંદ કરવી કે જે ભૂતકાળના તમામ રાઉન્ડમાં ઓછામાં ઓછી ખોટ ધરાવે છે. આ અલ્ગોરિધમને ફોલો ધ લીડર કહેવામાં આવે છે, અને રાઉન્ડ ફક્ત આના દ્વારા આપવામાં આવે છેઃ આ પદ્ધતિને લોભી અલ્ગોરિધમ તરીકે જોઈ શકાય છે. ઓનલાઈન ક્વાડ્રેટિક ઓપ્ટિમાઇઝેશનના કિસ્સામાં (જ્યાં લોસ ફંક્શન હોય છે), કોઈ પણ વ્યક્તિ અફસોસની બંધન બતાવી શકે છે જે જેમ જેમ વધે છે. જો કે, ઓનલાઇન રેખીય ઓપ્ટિમાઇઝેશન જેવા મોડેલોના અન્ય મહત્વપૂર્ણ પરિવારો માટે એફટીએલ અલ્ગોરિધમ માટે સમાન સીમાઓ મેળવી શકાતી નથી. આવું કરવા માટે, નિયમિતતા ઉમેરીને એફટીએલમાં ફેરફાર કરવામાં આવે છે. નિયમિત નેતા (એફ. ટી. આર. એલ.) ને અનુસરો આ એફ. ટી. એલ. નો કુદરતી ફેરફાર છે જેનો ઉપયોગ એફ. ટી. એલ. ઉકેલોને સ્થિર કરવા અને વધુ સારી ખેદ સીમા મેળવવા માટે થાય છે. નિયમિતકરણ કાર્ય પસંદ કરવામાં આવે છે અને નીચે પ્રમાણે રાઉન્ડમાં શીખવામાં આવે છેઃ એક વિશેષ ઉદાહરણ તરીકે, ઓનલાઇન રેખીય ઓપ્ટિમાઇઝેશન એટલે કે ઓનલાઇન રેખીય ઓપ્ટિમાઇઝેશનના કેસને ધ્યાનમાં લો. જ્યાં પ્રકૃતિ સ્વરૂપના નુકસાન કાર્યોને પાછા મોકલે છે. પણ, ચાલો. ધારો કે અમુક હકારાત્મક સંખ્યા માટે નિયમિતકરણ કાર્ય પસંદ કરવામાં આવ્યું છે. પછી, કોઈ બતાવી શકે છે કે ખેદ ઘટાડવાનું પુનરાવર્તન બની જાય છે નોંધ લો કે આને આ રીતે ફરીથી લખી શકાય છે, જે બરાબર ઓનલાઇન ગ્રેડિયન્ટ ડિસેન્ટ જેવું લાગે છે. જો તેના બદલે કેટલાક બહિર્મુખ સબસ્પેસ હોય, તો તેના પર પ્રક્ષેપિત કરવાની જરૂર પડશે, જે સુધારેલા સુધારા નિયમ તરફ દોરી જાય છે આ અલ્ગોરિધમને આળસુ પ્રક્ષેપણ તરીકે ઓળખવામાં આવે છે, કારણ કે વેક્ટર ઢાળને એકઠા કરે છે. તેને નેસ્ટરોવના બેવડા સરેરાશ અલ્ગોરિધમ તરીકે પણ ઓળખવામાં આવે છે. રેખીય નુકસાન કાર્યો અને દ્વિઘાત નિયમિતકરણના આ દૃશ્યમાં, ખેદ દ્વારા બંધાયેલો છે, અને આમ સરેરાશ ખેદ ઇચ્છિત તરીકે જાય છે. ઓનલાઈન સબગ્રેડિએન્ટ ડિસેન્ટ (ઓ. એસ. ડી.) ઉપરોક્ત રેખીય નુકસાન કાર્યો માટે ખેદજનક સાબિત થયું. કોઈપણ બહિર્મુખ નુકસાન કાર્ય માટે અલ્ગોરિધમને સામાન્ય બનાવવા માટે, ના સબગ્રેડિએન્ટનો ઉપયોગ નજીકના રેખીય અંદાજ તરીકે થાય છે, જે ઓનલાઇન સબગ્રેડિએન્ટ ડિસેન્ટ અલ્ગોરિધમ તરફ દોરી જાય છેઃ ઉપયોગ કરીને આગાહી કરવા માટે પરિમાણને પ્રારંભ કરો, પ્રકૃતિમાંથી પ્રાપ્ત કરો. 'જો' પસંદ કરો, 'જો' તરીકે અપડેટ કરો, એટલે કે પ્રોજેક્ટ ક્યુમુલેટિવ ગ્રેડિયન્ટ્સ. વર્ગીકરણ માટે એસ. વી. એમ. ના ઓનલાઇન સંસ્કરણ માટે ખેદની સીમાઓ મેળવવા માટે ઓ. એસ. ડી. અલ્ગોરિધમનો ઉપયોગ કરી શકાય છે, જે હિંગ લોસનો ઉપયોગ કરે છે અન્ય અલ્ગોરિધમ્સ ચતુર્ભુજ રીતે નિયમિત એફ. ટી. આર. એલ. અલ્ગોરિધમ્સ ઉપર વર્ણવ્યા મુજબ આળસુ અંદાજિત ગ્રેડિયન્ટ અલ્ગોરિધમ્સ તરફ દોરી જાય છે. ઉપરોક્તનો ઉપયોગ મનસ્વી બહિર્મુખ કાર્યો અને નિયમિત કરવા માટે, ઓનલાઇન મિરર ડિસેન્ટનો ઉપયોગ થાય છે. પાછળની દૃષ્ટિમાં શ્રેષ્ઠ નિયમિતકરણ રેખીય નુકસાન કાર્યો માટે મેળવી શકાય છે, આ એડાગ્રેડ અલ્ગોરિધમ તરફ દોરી જાય છે. યુક્લિડિયન નિયમિતકરણ માટે, કોઈ પણ વ્યક્તિ ખેદની બંધન દર્શાવી શકે છે, જેને મજબૂત બહિર્મુખ અને એક્સપો-કોન્કેવ લોસ વિધેયો માટે વધુ સુધારી શકાય છે. સતત શીખવાનો અર્થ એ છે કે માહિતીના સતત પ્રવાહોની પ્રક્રિયા કરીને શીખેલા નમૂનામાં સતત સુધારો કરવો. સતત બદલાતી વાસ્તવિક દુનિયામાં વાતચીત કરતી સોફ્ટવેર સિસ્ટમો અને સ્વાયત્ત એજન્ટો માટે સતત શીખવાની ક્ષમતાઓ આવશ્યક છે. જો કે, મશીન લર્નિંગ અને ન્યુરલ નેટવર્ક મોડેલો માટે સતત શીખવું એ એક પડકાર છે કારણ કે બિન-સ્થિર ડેટા વિતરણોમાંથી સતત ઉપલબ્ધ માહિતીનું સંપાદન સામાન્ય રીતે આપત્તિજનક ભૂલી જવા તરફ દોરી જાય છે. ઑનલાઇન શિક્ષણના અર્થઘટનો ઑનલાઇન શિક્ષણના નમૂનાના શિક્ષણના નમૂનાની પસંદગીના આધારે વિવિધ અર્થઘટનો છે, જેમાંથી દરેક કાર્યોના ક્રમની આગાહીની ગુણવત્તા વિશે અલગ અલગ અસરો ધરાવે છે. આ ચર્ચા માટે પ્રોટોટાઇપિકલ સ્ટોકેસ્ટિક ગ્રેડિયન્ટ ડિસેન્ટ અલ્ગોરિધમનો ઉપયોગ થાય છે. ઉપર નોંધ્યા મુજબ, તેનું પુનરાવર્તન દ્વારા આપવામાં આવે છે પ્રથમ અર્થઘટન ઉપર વ્યાખ્યાયિત અપેક્ષિત જોખમને ઘટાડવાની સમસ્યા પર લાગુ થતી સ્ટોકેસ્ટિક ગ્રેડિયન્ટ ડિસેન્ટ પદ્ધતિને ધ્યાનમાં લે છે. ખરેખર, માહિતીના અનંત પ્રવાહના કિસ્સામાં, કારણ કે ઉદાહરણો દોરવામાં આવ્યા હોવાનું માનવામાં આવે છે એટલે કે. વિતરણમાંથી, ઉપરોક્ત પુનરાવર્તનના ઢાળોનો ક્રમ એક એટલે કે ડી છે. અપેક્ષિત જોખમના ઢાળના સ્ટોકેસ્ટિક અંદાજોનો નમૂનો અને તેથી વિચલનને બાંધવા માટે સ્ટોકેસ્ટિક ઢાળ વંશ પદ્ધતિ માટે જટિલતા પરિણામો લાગુ કરી શકાય છે, જ્યાં તેનું લઘુતમ છે. આ અર્થઘટન મર્યાદિત તાલીમ સમૂહના કિસ્સામાં પણ માન્ય છે; જો કે ડેટામાંથી બહુવિધ પાસ સાથે ઢાળ હવે સ્વતંત્ર નથી, તેમ છતાં જટિલતાના પરિણામો ખાસ કિસ્સાઓમાં મેળવી શકાય છે. બીજું અર્થઘટન મર્યાદિત તાલીમ સમૂહના કિસ્સામાં લાગુ પડે છે અને SGD અલ્ગોરિધમને વૃદ્ધિશીલ ઢાળ વંશ પદ્ધતિનું ઉદાહરણ માને છે. આ કિસ્સામાં, તેના બદલે પ્રયોગમૂલક જોખમને જોવામાં આવે છેઃ કારણ કે વૃદ્ધિશીલ ઢાળ વંશના પુનરાવર્તનોના ઢાળ પણ તેના ઢાળના સ્ટોકેસ્ટિક અંદાજો છે, આ અર્થઘટન સ્ટોકેસ્ટિક ઢાળ વંશ પદ્ધતિ સાથે પણ સંબંધિત છે, પરંતુ અપેક્ષિત જોખમના વિરોધમાં પ્રયોગમૂલક જોખમને ઘટાડવા માટે લાગુ કરવામાં આવે છે. આ અર્થઘટન અપેક્ષિત જોખમને બદલે પ્રયોગમૂલક જોખમને સંબંધિત હોવાથી, ડેટામાંથી બહુવિધ પાસને સહેલાઈથી મંજૂરી આપવામાં આવે છે અને વાસ્તવમાં વિચલનો પર સખત સીમા તરફ દોરી જાય છે, જ્યાં લઘુતમ છે. અમલીકરણ Vowpal Wabbit: ઓપન-સોર્સ ફાસ્ટ આઉટ-ઓફ-કોર ઓનલાઇન લર્નિંગ સિસ્ટમ જે સંખ્યાબંધ મશીન લર્નિંગ ઘટાડા, મહત્વ વજન અને વિવિધ નુકસાન કાર્યો અને ઓપ્ટિમાઇઝેશન અલ્ગોરિધમ્સની પસંદગીને ટેકો આપવા માટે નોંધપાત્ર છે. તે તાલીમ ડેટાની માત્રાથી સ્વતંત્ર સુવિધાઓના સમૂહના કદને મર્યાદિત કરવા માટે હેશિંગ યુક્તિનો ઉપયોગ કરે છે. સ્કિકિટ-લર્નઃ વર્ગીકરણ માટે અલ્ગોરિધમ્સના આઉટ-ઓફ-કોર અમલીકરણ પ્રદાન કરે છેઃ પર્સેપ્ટ્રોન, એસજીડી ક્લાસિફાયર, નાઇવ બેયસ ક્લાસિફાયર. રીગ્રેસનઃ એસ. જી. ડી. રીગ્રેસર, નિષ્ક્રિય આક્રમક રીગ્રેસર. ક્લસ્ટરિંગઃ મિની-બેચ કે-મીન્સ. ફીચર નિષ્કર્ષણઃ મિની-બેચ ડિક્શનરી લર્નિંગ, ઇન્ક્રિમેંટલ પીસીએ. આ પણ જુઓ લર્નિંગ પેરાડિગ્મ્સ ઇન્ક્રિમેંટલ લર્નિંગ લેઝી લર્નિંગ ઓફલાઇન લર્નિંગ, વિપરીત મોડેલ રિઇન્ફોર્સમેન્ટ લર્નિંગ મલ્ટી-આર્મ્ડ બેન્ડિટ સુપરવાઇઝ્ડ લર્નિંગ જનરલ અલ્ગોરિધમ્સ ઓનલાઇન અલ્ગોરિધમ ઓનલાઇન ઓપ્ટિમાઇઝેશન સ્ટ્રીમિંગ અલ્ગોરિધમ સ્ટોકેસ્ટિક ગ્રેડિયન્ટ ડિસેન્ટ લર્નિંગ મોડલ્સ એડેપ્ટિવ રેઝોનન્સ થિયરી હાયરાર્કિકલ ટેમ્પોરલ મેમરી કે-નજીકના પડોશી અલ્ગોરિધમ લર્નિંગ વેક્ટર ક્વોન્ટાઇઝેશન પર્સેપ્ટ્રોન રેફરન્સ બાહ્ય લિંક્સ 6.883: મશીન લર્નિંગમાં ઓનલાઇન પદ્ધતિઓઃ થિયરી અને એપ્લિકેશન્સ. એલેક્ઝાન્ડર રાખલીન. એમઆઇટી ઓનલાઇન અલ્ગોરિધમ્સ મશીન લર્નિંગ અલ્ગોરિધમ્સ