In-memory processing
कंप्यूटर विज्ञान में, इन-मेमोरी प्रोसेसिंग (पी. आई. एम.) एक इन-मेमोरी डेटाबेस में संग्रहीत डेटा को संसाधित करने के लिए एक कंप्यूटर वास्तुकला है। इन-मेमोरी प्रोसेसिंग प्रोसेसर और मुख्य मेमोरी के बीच डेटा को स्थानांतरित करने के शक्ति उपयोग और प्रदर्शन में सुधार करती है। पुरानी प्रणालियाँ संरचित प्रश्न भाषा का उपयोग करके डिस्क भंडारण और संबंधपरक डेटाबेस पर आधारित रही हैं, जिन्हें तेजी से व्यावसायिक बुद्धिमत्ता (बी. आई.) की जरूरतों को पूरा करने के लिए अपर्याप्त माना जाता है। क्योंकि संग्रहीत डेटा को यादृच्छिक-अभिगम मेमोरी (रैम) या फ्लैश मेमोरी में रखे जाने पर बहुत जल्दी एक्सेस किया जाता है, इन-मेमोरी प्रोसेसिंग डेटा को वास्तविक समय में विश्लेषण करने की अनुमति देती है, जिससे व्यवसाय में तेजी से रिपोर्टिंग और निर्णय लेने में मदद मिलती है। डिस्क-आधारित व्यावसायिक बुद्धिमत्ता डेटा संरचनाएँ डिस्क-आधारित तकनीक के साथ, डेटा को कंप्यूटर की हार्ड डिस्क में कई तालिकाओं और बहु-आयामी संरचनाओं के रूप में लोड किया जाता है जिनके खिलाफ प्रश्न चलाए जाते हैं। डिस्क-आधारित प्रौद्योगिकियाँ संबंधपरक डेटाबेस प्रबंधन प्रणालियाँ (आर. डी. बी. एम. एस.) हैं, जो अक्सर संरचित प्रश्न भाषा (एस. क्यू. एल.) पर आधारित होती हैं, जैसे कि एस. क्यू. एल. सर्वर, माई. एस. क्यू. एल., ओरेकल और कई अन्य। आर. डी. बी. एम. एस. लेनदेन प्रसंस्करण की आवश्यकताओं के लिए डिज़ाइन किए गए हैं। एक डेटाबेस का उपयोग करना जो सम्मिलन और अद्यतन के साथ-साथ प्रदर्शन एकत्रीकरण का समर्थन करता है, जॉइन (बी. आई. समाधानों में विशिष्ट) आमतौर पर बहुत धीमे होते हैं। एक अन्य कमी यह है कि एसक्यूएल को डेटा की पंक्तियों को कुशलता से प्राप्त करने के लिए डिज़ाइन किया गया है, जबकि बीआई प्रश्नों में आमतौर पर भारी गणना से जुड़े डेटा की आंशिक पंक्तियों को प्राप्त करना शामिल होता है। प्रश्न प्रदर्शन में सुधार के लिए, बहुआयामी डेटाबेस या ओ. एल. ए. पी. क्यूब्स-जिन्हें बहुआयामी ऑनलाइन विश्लेषणात्मक प्रसंस्करण (एम. ओ. एल. ए. पी.) भी कहा जाता है-का निर्माण किया जाता है। क्यूब डिजाइन करना एक विस्तृत और लंबी प्रक्रिया है, और गतिशील रूप से बदलती व्यावसायिक जरूरतों के अनुकूल होने के लिए क्यूब की संरचना को बदलना बोझिल हो सकता है। क्यूब्स विशिष्ट प्रश्नों के उत्तर देने के लिए डेटा के साथ पूर्व-आबाद हैं और हालांकि वे प्रदर्शन को बढ़ाते हैं, फिर भी वे तदर्थ प्रश्नों के उत्तर देने के लिए उपयुक्त नहीं हैं। सूचना प्रौद्योगिकी (आई. टी.) कर्मचारी डेटाबेस को अनुकूलित करने, अनुक्रमणिका और समुच्चय बनाने, क्यूब्स और स्टार स्कीमा को डिजाइन करने, डेटा मॉडलिंग और क्वेरी विश्लेषण पर पर्याप्त विकास समय बिताते हैं। रैम से एक ही डेटा को पढ़ने की तुलना में हार्ड डिस्क से डेटा पढ़ना बहुत धीमा (संभवतः सैकड़ों बार) होता है। विशेष रूप से जब बड़ी मात्रा में डेटा का विश्लेषण किया जाता है, तो प्रदर्शन गंभीर रूप से खराब हो जाता है। हालांकि एस. क्यू. एल. एक बहुत शक्तिशाली उपकरण है, जटिल प्रश्नों को निष्पादित करने में अपेक्षाकृत लंबा समय लगता है और अक्सर लेनदेन प्रसंस्करण के प्रदर्शन को कम करने में परिणाम देता है। स्वीकार्य प्रतिक्रिया समय के भीतर परिणाम प्राप्त करने के लिए, कई डेटा गोदामों को सारांशों की पूर्व-गणना करने और केवल विशिष्ट प्रश्नों के उत्तर देने के लिए डिज़ाइन किया गया है। प्रदर्शन बढ़ाने के लिए इष्टतम एकत्रीकरण एल्गोरिदम की आवश्यकता होती है। इन-मेमोरी प्रोसेसिंग टूल्स मेमोरी प्रोसेसिंग को ओरेकल, आईबीएम डीबी2 या माइक्रोसॉफ्ट एसक्यूएल सर्वर जैसे पारंपरिक डेटाबेस के माध्यम से या नोएसक्यूएल ऑफ़रिंग जैसे इन-मेमोरी डेटा ग्रिड जैसे हेज़ेलकास्ट, इनफिनिस्पैन, ओरेकल कोहेरेन्स या स्केलआउट सॉफ्टवेयर के माध्यम से पूरा किया जा सकता है। इन-मेमोरी डेटाबेस और डेटा ग्रिड दोनों के साथ, सभी जानकारी शुरू में हार्ड डिस्क के बजाय मेमोरी रैम या फ्लैश मेमोरी में लोड की जाती है। डेटा ग्रिड के साथ प्रसंस्करण संबंधपरक डेटाबेस की तुलना में तेजी से परिमाण के तीन क्रम पर होता है जिसमें एसीआईडी जैसी उन्नत कार्यक्षमता होती है जो अतिरिक्त कार्यक्षमता के लिए मुआवजे में प्रदर्शन को कम करती है। कॉलम केंद्रित डेटाबेस का आगमन, जो समान जानकारी को एक साथ संग्रहीत करता है, डेटा को अधिक कुशलता से और अधिक संपीड़न अनुपात के साथ संग्रहीत करने की अनुमति देता है। यह एक ही भौतिक स्थान में बड़ी मात्रा में डेटा को संग्रहीत करने की अनुमति देता है, जिससे क्वेरी करने के लिए आवश्यक मेमोरी की मात्रा कम हो जाती है और प्रसंस्करण की गति बढ़ जाती है। कई उपयोगकर्ताओं और सॉफ्टवेयर विक्रेताओं ने अपने सिस्टम में फ्लैश मेमोरी को एकीकृत किया है ताकि सिस्टम को अधिक किफायती तरीके से बड़े डेटा सेट में स्केल करने की अनुमति मिल सके। ओरेकल प्रदर्शन में वृद्धि के लिए ओरेकल एक्जाडेटा उत्पादों में फ्लैश मेमोरी को एकीकृत कर रहा है। माइक्रोसॉफ्ट एसक्यूएल सर्वर 2012 बीआई/डेटा वेयरहाउसिंग सॉफ्टवेयर को वायलिन मेमोरी फ्लैश मेमोरी सरणी के साथ जोड़ा गया है ताकि 20टीबी से अधिक डेटा सेटों की इन-मेमोरी प्रोसेसिंग को सक्षम किया जा सके। उपयोगकर्ता सिस्टम की मेमोरी में लोड किए गए डेटा से पूछताछ करते हैं, जिससे धीमी डेटाबेस पहुंच और प्रदर्शन बाधाओं से बचा जा सकता है। यह कैशिंग से अलग है, जो क्वेरी प्रदर्शन को तेज करने के लिए एक बहुत व्यापक रूप से उपयोग की जाने वाली विधि है, जिसमें कैश बहुत विशिष्ट पूर्व-परिभाषित संगठित डेटा के सबसेट हैं। इन-मेमोरी टूल्स के साथ, विश्लेषण के लिए उपलब्ध डेटा डेटा मार्ट या छोटे डेटा वेयरहाउस जितना बड़ा हो सकता है जो पूरी तरह से मेमोरी में है। यह एक विस्तृत स्तर पर कई समवर्ती उपयोगकर्ताओं या अनुप्रयोगों द्वारा जल्दी से पहुँचा जा सकता है और उन्नत विश्लेषण और एक अनुप्रयोग की गति को बढ़ाने और बढ़ाने की क्षमता प्रदान करता है। सैद्धांतिक रूप से, डेटा अभिगम गति में सुधार डिस्क की तुलना में 10,000 से 1,000,000 गुना है। यह आई. टी. कर्मचारियों द्वारा प्रदर्शन ट्यूनिंग की आवश्यकता को भी कम करता है और अंतिम उपयोगकर्ताओं के लिए तेजी से सेवा प्रदान करता है। इन-मेमोरी प्रसंस्करण प्रौद्योगिकी के लाभ कंप्यूटर प्रौद्योगिकी और व्यावसायिक आवश्यकताओं में कुछ विकास ने इन-मेमोरी प्रौद्योगिकी के सापेक्ष लाभों को बढ़ाने की प्रवृत्ति दिखाई है। मूर के नियम के अनुसार हार्डवेयर उत्तरोत्तर सस्ता और उच्च प्रदर्शन करने वाला बन जाता है। लागत में कमी करते हुए कम्प्यूटिंग शक्ति हर दो से तीन साल में दोगुनी हो जाती है। सीपीयू प्रसंस्करण, स्मृति और डिस्क भंडारण सभी इस नियम के कुछ बदलाव के अधीन हैं। इसके अलावा मल्टी-कोर आर्किटेक्चर, नैंड फ्लैश मेमोरी, समानांतर सर्वर और मेमोरी प्रोसेसिंग क्षमता में वृद्धि जैसे हार्डवेयर नवाचारों के अलावा कॉलम केंद्रित डेटाबेस, संपीड़न तकनीक और समग्र तालिकाओं को संभालने जैसे सॉफ्टवेयर नवाचारों ने इन-मेमोरी उत्पादों की मांग में योगदान दिया है। 64-बिट ऑपरेटिंग सिस्टम का आगमन, जो 32-बिट सिस्टम पर उपलब्ध 2 या 4 जीबी की तुलना में कहीं अधिक रैम (100 जीबी या उससे अधिक) तक पहुंच की अनुमति देता है। भंडारण और विश्लेषण के लिए टेराबाइट्स (1 टीबी = 1,024 जीबी) स्थान प्रदान करके, 64-बिट ऑपरेटिंग सिस्टम इन-मेमोरी प्रोसेसिंग को स्केलेबल बनाते हैं। फ्लैश मेमोरी का उपयोग प्रणालियों को अधिक किफायती तरीके से कई टेराबाइट तक मापने में सक्षम बनाता है। डेटा की बढ़ती मात्रा का मतलब है कि पारंपरिक डेटा गोदाम अब समय पर और सटीक तरीके से डेटा को संसाधित करने में सक्षम नहीं हैं। एक्स्ट्रैक्ट, ट्रांसफॉर्म, लोड (ई. टी. एल.) प्रक्रिया जो समय-समय पर परिचालन डेटा के साथ डेटा गोदामों को अपडेट करती है, उसे पूरा होने में कुछ घंटों से लेकर हफ्तों तक का समय लग सकता है। इसलिए, किसी भी समय डेटा कम से कम एक दिन पुराना होता है। इन-मेमोरी प्रोसेसिंग वास्तविक समय रिपोर्टिंग के लिए डेटा के टेराबाइट तक तत्काल पहुंच को सक्षम बनाती है। इन-मेमोरी प्रोसेसिंग पारंपरिक बी. आई. उपकरणों की तुलना में कम लागत पर उपलब्ध है, और इसे अधिक आसानी से तैनात और बनाए रखा जा सकता है। गार्टनर सर्वेक्षण के अनुसार, पारंपरिक बी. आई. उपकरणों को तैनात करने में 17 महीने तक का समय लग सकता है। कई डेटा वेयरहाउस विक्रेता कार्यान्वयन समय को तेज करने के लिए पारंपरिक बी. आई. पर इन-मेमोरी तकनीक का चयन कर रहे हैं। बिजली की खपत में कमी आती है और कम पहुंच विलंबता, और अधिक मेमोरी बैंडविड्थ और हार्डवेयर समानांतरता के कारण थ्रूपुट में वृद्धि होती है। व्यवसाय में अनुप्रयोग इन-मेमोरी उत्पादों की एक श्रृंखला मौजूदा डेटा स्रोतों से जुड़ने और दृश्य रूप से समृद्ध इंटरैक्टिव डैशबोर्ड तक पहुंच प्रदान करती है। यह व्यापार विश्लेषकों और अंतिम उपयोगकर्ताओं को बहुत अधिक प्रशिक्षण या विशेषज्ञता के बिना कस्टम रिपोर्ट और प्रश्न बनाने की अनुमति देता है। आसान नेविगेशन और उड़ान में प्रश्नों को संशोधित करने की क्षमता कई उपयोगकर्ताओं के लिए फायदेमंद है। चूँकि इन डैशबोर्डों को नए डेटा से भरा जा सकता है, इसलिए उपयोगकर्ताओं के पास वास्तविक समय के डेटा तक पहुंच होती है और वे मिनटों के भीतर रिपोर्ट बना सकते हैं। इन-मेमोरी प्रोसेसिंग कॉल सेंटर और गोदाम प्रबंधन में विशेष रूप से लाभप्रद हो सकती है। इन-मेमोरी प्रोसेसिंग के साथ, स्रोत डेटाबेस से हर बार क्वेरी चलाने पर डेटाबेस तक पहुंचने के बजाय केवल एक बार पूछताछ की जाती है, जिससे दोहराए जाने वाले प्रसंस्करण को समाप्त किया जाता है और डेटाबेस सर्वर पर बोझ कम होता है। इन-मेमोरी डेटाबेस को रात भर तैयार करने के लिए समय निर्धारित करके, डेटाबेस सर्वर का उपयोग व्यस्त समय के दौरान परिचालन उद्देश्यों के लिए किया जा सकता है। इन-मेमोरी तकनीक को अपनाना बड़ी संख्या में उपयोगकर्ताओं के साथ, इन-मेमोरी कॉन्फ़िगरेशन के लिए बड़ी मात्रा में रैम की आवश्यकता होती है, जो बदले में हार्डवेयर लागत को प्रभावित करती है। निवेश उन स्थितियों में उपयुक्त होने की अधिक संभावना है जहां प्रश्न प्रतिक्रिया की गति एक उच्च प्राथमिकता है, और जहां डेटा की मात्रा में महत्वपूर्ण वृद्धि हुई है और रिपोर्टिंग सुविधाओं की मांग में वृद्धि हुई है; यह अभी भी लागत प्रभावी नहीं हो सकता है जहां जानकारी तेजी से परिवर्तन के अधीन नहीं है। सुरक्षा एक और विचार है, क्योंकि इन-मेमोरी उपकरण अंतिम उपयोगकर्ताओं के लिए बड़ी मात्रा में डेटा को उजागर करते हैं। निर्माता यह सुनिश्चित करने की सलाह देते हैं कि केवल अधिकृत उपयोगकर्ताओं को डेटा तक पहुंच दी जाए। चिप संदर्भ कंप्यूटर मेमोरी डेटाबेस प्रबंधन प्रणाली पर चिप नेटवर्क पर कम्प्यूटेशनल रैम प्रणाली भी देखें।