In-memory processing
કોમ્પ્યુટર વિજ્ઞાનમાં, ઇન-મેમરી પ્રોસેસિંગ (પી. આઈ. એમ.) એ ઇન-મેમરી ડેટાબેઝમાં સંગ્રહિત ડેટાની પ્રક્રિયા કરવા માટેનું કોમ્પ્યુટર આર્કિટેક્ચર છે. ઇન-મેમરી પ્રોસેસિંગ પ્રોસેસર અને મુખ્ય મેમરી વચ્ચે ડેટા ખસેડવાની શક્તિ વપરાશ અને કામગીરીમાં સુધારો કરે છે. જૂની સિસ્ટમો સ્ટ્રક્ચર્ડ ક્વેરી લેંગ્વેજનો ઉપયોગ કરીને ડિસ્ક સ્ટોરેજ અને રીલેશ્નલ ડેટાબેઝ પર આધારિત છે, જેને બિઝનેસ ઇન્ટેલિજન્સ (બી. આઈ.) ની જરૂરિયાતોને પહોંચી વળવા માટે વધુને વધુ અપૂરતી માનવામાં આવે છે. કારણ કે સંગ્રહિત ડેટાને જ્યારે રેન્ડમ-એક્સેસ મેમરી (રેમ) અથવા ફ્લેશ મેમરીમાં મૂકવામાં આવે છે ત્યારે તેને વધુ ઝડપથી એક્સેસ કરવામાં આવે છે, ઇન-મેમરી પ્રોસેસિંગ ડેટાને વાસ્તવિક સમયમાં વિશ્લેષણ કરવાની મંજૂરી આપે છે, જેનાથી વ્યવસાયમાં ઝડપી રિપોર્ટિંગ અને નિર્ણય લેવામાં સક્ષમ બને છે. ડિસ્ક-આધારિત બિઝનેસ ઇન્ટેલિજન્સ ડેટા સ્ટ્રક્ચર્સ ડિસ્ક-આધારિત ટેકનોલોજી સાથે, ડેટાને બહુવિધ કોષ્ટકો અને બહુ-પરિમાણીય માળખાના રૂપમાં કમ્પ્યુટરની હાર્ડ ડિસ્ક પર લોડ કરવામાં આવે છે, જેની સામે ક્વેરીઝ ચલાવવામાં આવે છે. ડિસ્ક-આધારિત તકનીકો રીલેશ્નલ ડેટાબેઝ મેનેજમેન્ટ સિસ્ટમ્સ (આરડીબીએમએસ) છે, જે ઘણીવાર સ્ટ્રક્ચર્ડ ક્વેરી લેંગ્વેજ (એસક્યુએલ) પર આધારિત હોય છે, જેમ કે એસક્યુએલ સર્વર, માયએસક્યુએલ, ઓરેકલ અને અન્ય ઘણા લોકો. આર. ડી. બી. એમ. એસ. વ્યવહારની પ્રક્રિયાની જરૂરિયાતો માટે રચાયેલ છે. ડેટાબેઝનો ઉપયોગ કરીને જે નિવેશ અને સુધારાઓને ટેકો આપે છે તેમજ એકત્રીકરણ કરે છે, જોડાણો (બી. આઈ. ઉકેલોમાં લાક્ષણિક) સામાન્ય રીતે ખૂબ ધીમા હોય છે. બીજી ખામી એ છે કે એસક્યુએલ માહિતીની પંક્તિઓને અસરકારક રીતે લાવવા માટે રચાયેલ છે, જ્યારે બીઆઇ ક્વેરીઝમાં સામાન્ય રીતે ભારે ગણતરીઓ સાથે સંકળાયેલી માહિતીની આંશિક પંક્તિઓ મેળવવાનો સમાવેશ થાય છે. ક્વેરી કામગીરીમાં સુધારો કરવા માટે, બહુ-પરિમાણીય ડેટાબેઝ અથવા ઓએલએપી ક્યુબ્સ-જેને બહુ-પરિમાણીય ઓનલાઇન વિશ્લેષણાત્મક પ્રક્રિયા (એમઓએલએપી) પણ કહેવાય છે-બનાવવામાં આવે છે. સમઘનની રચના કરવી એ એક વિસ્તૃત અને લાંબી પ્રક્રિયા છે, અને ગતિશીલ રીતે બદલાતી વ્યવસાયિક જરૂરિયાતોને અનુરૂપ સમઘનનું માળખું બદલવું બોજારૂપ હોઈ શકે છે. ક્યુબ્સ ચોક્કસ પ્રશ્નોના જવાબ આપવા માટે ડેટા સાથે પૂર્વ-વસ્તીવાળા હોય છે અને તેમ છતાં તેઓ કામગીરીમાં વધારો કરે છે, તેમ છતાં તેઓ કામચલાઉ પ્રશ્નોના જવાબ આપવા માટે યોગ્ય નથી. ઇન્ફોર્મેશન ટેક્નોલોજી (આઇટી) સ્ટાફ ડેટાબેઝને શ્રેષ્ઠ બનાવવા, અનુક્રમણિકા અને એકત્રીકરણ બનાવવા, સમઘન અને તારામંડળની રચના, ડેટા મોડેલિંગ અને ક્વેરી વિશ્લેષણ પર નોંધપાત્ર વિકાસ સમય વિતાવે છે. જ્યારે રેમમાંથી સમાન માહિતી વાંચવાની સરખામણીમાં હાર્ડ ડિસ્કમાંથી માહિતી વાંચવાની પ્રક્રિયા ઘણી ધીમી (સંભવતઃ સેંકડો વખત) હોય છે. ખાસ કરીને જ્યારે ડેટાના મોટા જથ્થાનું વિશ્લેષણ કરવામાં આવે છે, ત્યારે કામગીરીમાં ગંભીર ઘટાડો થાય છે. જોકે એસક્યુએલ એક ખૂબ જ શક્તિશાળી સાધન છે, જટિલ પ્રશ્નો અમલમાં મૂકવા માટે પ્રમાણમાં લાંબો સમય લે છે અને ઘણીવાર વ્યવહાર પ્રક્રિયાની કામગીરીને ઘટાડવામાં પરિણમે છે. સ્વીકાર્ય પ્રતિસાદ સમયની અંદર પરિણામો મેળવવા માટે, ઘણા ડેટા વેરહાઉસને સારાંશની પૂર્વ ગણતરી કરવા અને માત્ર ચોક્કસ પ્રશ્નોના જવાબ આપવા માટે ડિઝાઇન કરવામાં આવ્યા છે. કામગીરી વધારવા માટે ઑપ્ટિમાઇઝ એકત્રીકરણ અલ્ગોરિધમ્સની જરૂર છે. ઇન-મેમરી પ્રોસેસિંગ ટૂલ્સ મેમરી પ્રોસેસિંગ ઓરેકલ, આઇબીએમ ડીબી 2 અથવા માઇક્રોસોફ્ટ એસક્યુએલ સર્વર જેવા પરંપરાગત ડેટાબેઝ દ્વારા અથવા હેઝલકાસ્ટ, ઇન્ફિનિસપેન, ઓરેકલ કોહેરેન્સ અથવા સ્કેલઆઉટ સોફ્ટવેર જેવા ઇન-મેમરી ડેટા ગ્રીડ જેવા નોએસક્યુએલ ઓફરિંગ્સ દ્વારા પૂર્ણ કરી શકાય છે. ઇન-મેમરી ડેટાબેઝ અને ડેટા ગ્રીડ બંને સાથે, બધી માહિતી શરૂઆતમાં હાર્ડ ડિસ્કને બદલે મેમરી રેમ અથવા ફ્લેશ મેમરીમાં લોડ થાય છે. ડેટા ગ્રીડ સાથે પ્રક્રિયા સંબંધાત્મક ડેટાબેઝ કરતાં તીવ્રતાના ત્રણ ક્રમમાં થાય છે, જેમાં ACID જેવી અદ્યતન કાર્યક્ષમતા હોય છે, જે વધારાની કાર્યક્ષમતા માટે વળતરમાં કામગીરીને નબળી પાડે છે. સ્તંભ કેન્દ્રિત ડેટાબેઝનું આગમન, જે સમાન માહિતીને એકસાથે સંગ્રહિત કરે છે, તે ડેટાને વધુ અસરકારક રીતે અને વધુ સંકોચન ગુણોત્તર સાથે સંગ્રહિત કરવાની મંજૂરી આપે છે. આ એક જ ભૌતિક જગ્યામાં વિશાળ માત્રામાં ડેટા સંગ્રહિત કરવાની મંજૂરી આપે છે, ક્વેરી કરવા માટે જરૂરી મેમરીની માત્રાને ઘટાડે છે અને પ્રક્રિયાની ગતિમાં વધારો કરે છે. ઘણા વપરાશકર્તાઓ અને સોફ્ટવેર વિક્રેતાઓએ તેમની સિસ્ટમોમાં ફ્લેશ મેમરીને એકીકૃત કરી છે જેથી સિસ્ટમોને વધુ આર્થિક રીતે મોટા ડેટા સમૂહોમાં સ્કેલ કરવાની મંજૂરી મળે. ઓરેકલ વધેલા પ્રદર્શન માટે ઓરેકલ એક્ઝાડેટા ઉત્પાદનોમાં ફ્લેશ મેમરીને એકીકૃત કરી રહ્યું છે. માઈક્રોસોફ્ટ એસક્યુએલ સર્વર 2012 બીઆઇ/ડેટા વેરહાઉસિંગ સોફ્ટવેરને વાયોલિન મેમરી ફ્લેશ મેમરી એરે સાથે જોડવામાં આવ્યું છે જેથી 20 ટીબીથી વધુના ડેટા સમૂહોની ઇન-મેમરી પ્રક્રિયાને સક્ષમ કરી શકાય. વપરાશકર્તાઓ સિસ્ટમની મેમરીમાં લોડ કરેલા ડેટાની પૂછપરછ કરે છે, જેથી ધીમી ડેટાબેઝ ઍક્સેસ અને પ્રદર્શન અવરોધો ટાળે છે. આ કેશીંગથી અલગ છે, જે ક્વેરી પ્રદર્શનને ઝડપી બનાવવા માટે ખૂબ જ વ્યાપક રીતે ઉપયોગમાં લેવાતી પદ્ધતિ છે, જેમાં કેશીઝ એ ખૂબ જ ચોક્કસ પૂર્વ-નિર્ધારિત સંગઠિત ડેટાના સબસેટ છે. ઇન-મેમરી ટૂલ્સ સાથે, વિશ્લેષણ માટે ઉપલબ્ધ ડેટા ડેટા માર્ટ અથવા નાના ડેટા વેરહાઉસ જેટલો મોટો હોઈ શકે છે જે સંપૂર્ણપણે મેમરીમાં હોય છે. આ વિગતવાર સ્તરે બહુવિધ સહવર્તી વપરાશકર્તાઓ અથવા એપ્લિકેશનો દ્વારા ઝડપથી ઍક્સેસ કરી શકાય છે અને ઉન્નત વિશ્લેષણ અને એપ્લિકેશનની ગતિ વધારવા અને વધારવા માટેની સંભાવના પ્રદાન કરે છે. સૈદ્ધાંતિક રીતે, ડેટા એક્સેસ સ્પીડમાં સુધારો ડિસ્કની સરખામણીમાં 10,000 થી 1,000,000 ગણો છે. તે આઇટી સ્ટાફ દ્વારા પ્રદર્શન ટ્યુનિંગની જરૂરિયાતને પણ ઘટાડે છે અને અંતિમ વપરાશકર્તાઓ માટે ઝડપી સેવા પૂરી પાડે છે. ઇન-મેમરી પ્રોસેસિંગ ટેકનોલોજીના ફાયદા કોમ્પ્યુટર ટેકનોલોજી અને વ્યવસાયિક જરૂરિયાતોમાં અમુક વિકાસથી ઇન-મેમરી ટેકનોલોજીના સંબંધિત ફાયદાઓમાં વધારો થયો છે. મૂરેના કાયદા અનુસાર હાર્ડવેર ક્રમશઃ સસ્તું અને ઉચ્ચ પ્રદર્શન કરતું બને છે. ખર્ચમાં ઘટાડો કરતી વખતે કમ્પ્યુટિંગ પાવર દર બેથી ત્રણ વર્ષે બમણી થાય છે. સીપીયુ પ્રોસેસિંગ, મેમરી અને ડિસ્ક સ્ટોરેજ આ કાયદાના કેટલાક ફેરફારોને આધિન છે. મલ્ટી-કોર આર્કિટેક્ચર, એન. એ. એન. ડી. ફ્લેશ મેમરી, પેરેલલ સર્વર્સ અને મેમરી પ્રોસેસિંગ ક્ષમતામાં વધારો જેવી હાર્ડવેર નવીનતાઓ ઉપરાંત કોલમ સેન્ટ્રિક ડેટાબેઝ, કમ્પ્રેશન તકનીકો અને એકંદર કોષ્ટકોને સંભાળવા જેવી સોફ્ટવેર નવીનતાઓ, બધાએ મેમરી ઉત્પાદનોની માંગમાં ફાળો આપ્યો છે. 64-બીટ ઓપરેટિંગ સિસ્ટમોનું આગમન, જે 32-બીટ સિસ્ટમો પર સુલભ 2 અથવા 4 જીબી કરતાં વધુ રેમ (100 જીબી અથવા વધુ) ની ઍક્સેસને મંજૂરી આપે છે. સંગ્રહ અને વિશ્લેષણ માટે ટેરાબાઇટ્સ (1 ટીબી = 1,024 જીબી) જગ્યા પ્રદાન કરીને, 64-બીટ ઓપરેટિંગ સિસ્ટમ્સ ઇન-મેમરી પ્રક્રિયાને સ્કેલેબલ બનાવે છે. ફ્લેશ મેમરીનો ઉપયોગ પ્રણાલીઓને વધુ આર્થિક રીતે ઘણા ટેરાબાઇટ્સ સુધી માપવા માટે સક્ષમ બનાવે છે. ડેટાના જથ્થામાં વધારો થવાનો અર્થ એ છે કે પરંપરાગત ડેટા વેરહાઉસ હવે ડેટાને સમયસર અને સચોટ રીતે પ્રક્રિયા કરવામાં સક્ષમ નથી. એક્સ્ટ્રેક્ટ, ટ્રાન્સફોર્મ, લોડ (ઇટીએલ) પ્રક્રિયા કે જે સમયાંતરે ઓપરેશનલ ડેટા સાથે ડેટા વેરહાઉસને અપડેટ કરે છે તે પૂર્ણ થવામાં થોડા કલાકોથી લઈને અઠવાડિયા સુધીનો સમય લાગી શકે છે. તેથી, કોઈપણ સમયે ડેટા ઓછામાં ઓછો એક દિવસ જૂનો હોય છે. ઇન-મેમરી પ્રોસેસિંગ રીઅલ ટાઇમ રિપોર્ટિંગ માટે ડેટાના ટેરાબાઇટ્સની ત્વરિત ઍક્સેસને સક્ષમ કરે છે. ઇન-મેમરી પ્રક્રિયા પરંપરાગત બી. આઈ. સાધનોની સરખામણીમાં ઓછા ખર્ચે ઉપલબ્ધ છે, અને તેને વધુ સરળતાથી ગોઠવી શકાય છે અને જાળવી શકાય છે. ગાર્ટનર સર્વેક્ષણ અનુસાર, પરંપરાગત બી. આઈ. સાધનોનો ઉપયોગ કરવામાં 17 મહિના જેટલો સમય લાગી શકે છે. ઘણા ડેટા વેરહાઉસ વિક્રેતાઓ અમલીકરણના સમયને ઝડપી બનાવવા માટે પરંપરાગત બી. આઈ. પર ઇન-મેમરી ટેકનોલોજી પસંદ કરી રહ્યા છે. વીજળીના વપરાશમાં ઘટાડો થાય છે અને ઓછી પહોંચ વિલંબતા અને વધુ મેમરી બેન્ડવિડ્થ અને હાર્ડવેર સમાંતરતાને કારણે થ્રુપુટમાં વધારો થાય છે. વ્યવસાયમાં ઉપયોગ મેમરી ઉત્પાદનોની શ્રેણી હાલના ડેટા સ્રોતો સાથે જોડાવાની ક્ષમતા અને દૃષ્ટિની રીતે સમૃદ્ધ ઇન્ટરેક્ટિવ ડેશબોર્ડ્સની ઍક્સેસ પ્રદાન કરે છે. આ વ્યવસાય વિશ્લેષકો અને અંતિમ વપરાશકર્તાઓને વધુ તાલીમ અથવા કુશળતા વિના કસ્ટમ અહેવાલો અને પ્રશ્નો બનાવવાની મંજૂરી આપે છે. સરળ નેવિગેશન અને ફ્લાય પર ક્વેરીઝમાં ફેરફાર કરવાની ક્ષમતા ઘણા વપરાશકર્તાઓ માટે ફાયદાકારક છે. આ ડેશબોર્ડ્સને નવા ડેટા સાથે ભરી શકાય છે, તેથી વપરાશકર્તાઓ પાસે વાસ્તવિક સમયના ડેટાની ઍક્સેસ છે અને મિનિટોમાં અહેવાલો બનાવી શકે છે. કૉલ સેન્ટર્સ અને વેરહાઉસ મેનેજમેન્ટમાં ઇન-મેમરી પ્રોસેસિંગ ખાસ ફાયદાકારક હોઈ શકે છે. ઇન-મેમરી પ્રોસેસિંગ સાથે, જ્યારે પણ ક્વેરી ચલાવવામાં આવે ત્યારે ડેટાબેઝને ઍક્સેસ કરવાને બદલે સ્રોત ડેટાબેઝની માત્ર એક જ વાર પૂછપરછ કરવામાં આવે છે, જેનાથી પુનરાવર્તિત પ્રક્રિયા દૂર થાય છે અને ડેટાબેઝ સર્વર્સ પરનો બોજ ઘટે છે. રાતોરાત ઇન-મેમરી ડેટાબેઝને વસવાટ કરવા માટે સુનિશ્ચિત કરીને, ડેટાબેઝ સર્વર્સનો ઉપયોગ પીક અવર્સ દરમિયાન ઓપરેશનલ હેતુઓ માટે થઈ શકે છે. ઇન-મેમરી ટેકનોલોજીનો સ્વીકાર મોટી સંખ્યામાં વપરાશકર્તાઓ સાથે, ઇન-મેમરી રૂપરેખાંકન માટે મોટી માત્રામાં રેમ જરૂરી છે, જે બદલામાં હાર્ડવેર ખર્ચને અસર કરે છે. જ્યાં ક્વેરી રિસ્પોન્સની ઝડપને ઉચ્ચ પ્રાથમિકતા હોય અને જ્યાં ડેટાના જથ્થામાં નોંધપાત્ર વૃદ્ધિ થાય અને રિપોર્ટિંગ સુવિધાઓની માંગમાં વધારો થાય તેવી પરિસ્થિતિઓમાં રોકાણ વધુ યોગ્ય હોવાની સંભાવના છે; જ્યાં માહિતી ઝડપી પરિવર્તનને આધિન ન હોય ત્યાં તે હજુ પણ ખર્ચ-અસરકારક ન હોઈ શકે. સુરક્ષા એ અન્ય વિચારણા છે, કારણ કે ઇન-મેમરી ટૂલ્સ અંતિમ વપરાશકર્તાઓ માટે વિશાળ માત્રામાં ડેટાનો ખુલાસો કરે છે. નિર્માતાઓ એ સુનિશ્ચિત કરવાની સલાહ આપે છે કે માત્ર અધિકૃત વપરાશકર્તાઓને જ ડેટાની ઍક્સેસ આપવામાં આવે. ચિપ સંદર્ભો કમ્પ્યુટર મેમરી ડેટાબેઝ મેનેજમેન્ટ સિસ્ટમ્સ પર ચિપ નેટવર્ક પર કોમ્પ્યુટેશનલ રેમ સિસ્ટમ પણ જુઓ.