In-memory processing
کمپیوٹر سائنس میں، ان میموری پروسیسنگ (پی آئی ایم) ان میموری ڈیٹا بیس میں محفوظ کردہ ڈیٹا پروسیسنگ کے لیے ایک کمپیوٹر فن تعمیر ہے۔ ان میموری پروسیسنگ پاور کے استعمال اور پروسیسر اور مین میموری کے درمیان ڈیٹا منتقل کرنے کی کارکردگی کو بہتر بناتی ہے۔ پرانے نظام اسٹرکچرڈ کوئری لینگویج کا استعمال کرتے ہوئے ڈسک اسٹوریج اور ریلیشنل ڈیٹا بیس پر مبنی رہے ہیں، جنہیں کاروباری ذہانت (بی آئی) کی ضروریات کو پورا کرنے کے لیے تیزی سے ناکافی سمجھا جاتا ہے۔ چونکہ ذخیرہ شدہ ڈیٹا تک زیادہ تیزی سے رسائی حاصل کی جاتی ہے جب اسے بے ترتیب رسائی میموری (رام) یا فلیش میموری میں رکھا جاتا ہے، میموری میں پروسیسنگ ڈیٹا کو حقیقی وقت میں تجزیہ کرنے کی اجازت دیتی ہے، جس سے کاروبار میں تیزی سے رپورٹنگ اور فیصلہ سازی ممکن ہوتی ہے۔ ڈسک پر مبنی کاروباری ذہانت ڈیٹا ڈھانچے ڈسک پر مبنی ٹیکنالوجی کے ساتھ، ڈیٹا کو کمپیوٹر کی ہارڈ ڈسک پر متعدد ٹیبلز اور کثیر جہتی ڈھانچوں کی شکل میں لوڈ کیا جاتا ہے جس کے خلاف سوالات چلائے جاتے ہیں۔ ڈسک پر مبنی ٹیکنالوجیز ریلیشنل ڈیٹا بیس مینجمنٹ سسٹم (آر ڈی بی ایم ایس) ہیں، جو اکثر اسٹرکچرڈ کوری لینگویج (ایس کیو ایل) پر مبنی ہوتی ہیں، جیسے ایس کیو ایل سرور، مائی ایس کیو ایل، اوریکل اور بہت سے دوسرے۔ آر ڈی بی ایم ایس ٹرانزیکشنل پروسیسنگ کی ضروریات کے لیے بنائے گئے ہیں۔ ایک ڈیٹا بیس کا استعمال کرنا جو اندراج اور اپ ڈیٹس کے ساتھ ساتھ مجموعی کارکردگی کا مظاہرہ کرنے میں مدد کرتا ہے، جوڑ (عام طور پر بی آئی حل میں) عام طور پر بہت سست ہوتے ہیں۔ ایک اور خرابی یہ ہے کہ ایس کیو ایل کو مؤثر طریقے سے اعداد و شمار کی قطاریں حاصل کرنے کے لیے ڈیزائن کیا گیا ہے، جبکہ بی آئی سوالات میں عام طور پر بھاری حسابات پر مشتمل اعداد و شمار کی جزوی قطاریں لانا شامل ہوتا ہے۔ استفسار کی کارکردگی کو بہتر بنانے کے لیے، کثیر جہتی ڈیٹا بیس یا او ایل اے پی کیوب-جسے کثیر جہتی آن لائن تجزیاتی پروسیسنگ (ایم او ایل اے پی) بھی کہا جاتا ہے-بنائے جاتے ہیں۔ مکعب کو ڈیزائن کرنا ایک وسیع اور طویل عمل ہے، اور مکعب کے ڈھانچے کو متحرک طور پر بدلتی ہوئی کاروباری ضروریات کے مطابق ڈھالنا مشکل ہو سکتا ہے۔ کیوب مخصوص سوالات کے جوابات کے لیے ڈیٹا کے ساتھ پہلے سے آباد ہوتے ہیں اور اگرچہ وہ کارکردگی میں اضافہ کرتے ہیں، پھر بھی وہ ایڈہاک سوالات کے جوابات کے لیے موزوں نہیں ہیں۔ انفارمیشن ٹیکنالوجی (آئی ٹی) کا عملہ ڈیٹا بیس کو بہتر بنانے، اشاریہ جات اور مجموعوں کی تعمیر، کیوب اور اسٹار اسکیما ڈیزائن کرنے، ڈیٹا ماڈلنگ، اور استفسار تجزیہ پر کافی ترقی کا وقت گزارتا ہے۔ پروسیسنگ کی رفتار ہارڈ ڈسک سے ڈیٹا پڑھنا رام سے ایک ہی ڈیٹا کو پڑھنے کے مقابلے میں بہت سست (ممکنہ طور پر سینکڑوں بار) ہوتا ہے۔ خاص طور پر جب اعداد و شمار کی بڑی مقدار کا تجزیہ کیا جاتا ہے، تو کارکردگی شدید طور پر خراب ہو جاتی ہے۔ اگرچہ ایس کیو ایل ایک بہت طاقتور ٹول ہے، پیچیدہ سوالات کو انجام دینے میں نسبتا طویل وقت لگتا ہے اور اکثر اس کے نتیجے میں لین دین کی پروسیسنگ کی کارکردگی کو کم کیا جاتا ہے۔ قابل قبول رسپانس ٹائم کے اندر نتائج حاصل کرنے کے لیے، بہت سے ڈیٹا گوداموں کو خلاصوں کا پہلے سے حساب لگانے اور صرف مخصوص سوالات کے جوابات دینے کے لیے ڈیزائن کیا گیا ہے۔ کارکردگی کو بڑھانے کے لیے بہتر جمع کرنے والے الگورتھم کی ضرورت ہے۔ ان میموری پروسیسنگ ٹولز میموری پروسیسنگ کو روایتی ڈیٹا بیس جیسے اوریکل، آئی بی ایم ڈی بی 2 یا مائیکروسافٹ ایس کیو ایل سرور کے ذریعے یا نو ایس کیو ایل پیشکشوں جیسے ان میموری ڈیٹا گرڈ جیسے ہیزل کاسٹ، انفینی اسپین، اوریکل کوہرینس یا اسکیل آؤٹ سافٹ ویئر کے ذریعے پورا کیا جا سکتا ہے۔ ان میموری ڈیٹا بیس اور ڈیٹا گرڈ دونوں کے ساتھ، تمام معلومات ابتدائی طور پر ہارڈ ڈسک کے بجائے میموری رام یا فلیش میموری میں لوڈ کی جاتی ہیں۔ ڈیٹا گرڈ کے ساتھ پروسیسنگ رشتہ دار ڈیٹا بیس کے مقابلے میں شدت کی تین ترتیب پر ہوتی ہے جس میں ACID جیسی جدید فعالیت ہوتی ہے جو اضافی فعالیت کے معاوضے میں کارکردگی کو کم کرتی ہے۔ کالم پر مبنی ڈیٹا بیس کی آمد، جو اسی طرح کی معلومات کو ایک ساتھ محفوظ کرتی ہے، ڈیٹا کو زیادہ موثر طریقے سے اور زیادہ کمپریشن تناسب کے ساتھ ذخیرہ کرنے کی اجازت دیتی ہے۔ یہ ایک ہی جسمانی جگہ میں بڑی مقدار میں ڈیٹا کو ذخیرہ کرنے کی اجازت دیتا ہے، جس سے استفسار انجام دینے کے لیے درکار میموری کی مقدار کم ہوتی ہے اور پروسیسنگ کی رفتار میں اضافہ ہوتا ہے۔ بہت سے صارفین اور سافٹ ویئر فروشوں نے فلیش میموری کو اپنے سسٹمز میں مربوط کیا ہے تاکہ سسٹمز کو زیادہ اقتصادی طور پر بڑے ڈیٹا سیٹس تک پیمانے کی اجازت دی جا سکے۔ اوریکل کارکردگی میں اضافے کے لیے اوریکل ایکزاڈاٹا مصنوعات میں فلیش میموری کو مربوط کر رہا ہے۔ مائیکروسافٹ ایس کیو ایل سرور 2012 بی آئی/ڈیٹا ویئر ہاؤسنگ سافٹ ویئر کو وائلن میموری فلیش میموری صفوں کے ساتھ جوڑا گیا ہے تاکہ 20 ٹی بی سے زیادہ ڈیٹا سیٹوں کی میموری پروسیسنگ کو فعال کیا جا سکے۔ صارفین سسٹم کی میموری میں لوڈ کردہ ڈیٹا سے پوچھ گچھ کرتے ہیں، اس طرح ڈیٹا بیس تک سست رسائی اور کارکردگی کی رکاوٹوں سے بچتے ہیں۔ یہ کیشنگ سے مختلف ہے، جو استفسار کی کارکردگی کو تیز کرنے کے لیے ایک بہت وسیع پیمانے پر استعمال ہونے والا طریقہ ہے، اس میں کیشے بہت مخصوص پہلے سے طے شدہ منظم ڈیٹا کے ذیلی سیٹ ہیں۔ ان میموری ٹولز کے ساتھ، تجزیہ کے لیے دستیاب ڈیٹا اتنا ہی بڑا ہو سکتا ہے جتنا کہ ڈیٹا مارٹ یا چھوٹے ڈیٹا گودام جو مکمل طور پر میموری میں ہوتا ہے۔ اس تک تفصیلی سطح پر متعدد ہم وقت صارفین یا ایپلی کیشنز کے ذریعے تیزی سے رسائی حاصل کی جا سکتی ہے اور یہ بہتر تجزیات اور کسی ایپلی کیشن کی رفتار کو بڑھانے اور بڑھانے کی صلاحیت پیش کرتا ہے۔ نظریاتی طور پر، ڈیٹا تک رسائی کی رفتار میں بہتری ڈسک کے مقابلے میں 10,000 سے 1,000,000 گنا ہے۔ یہ آئی ٹی عملے کے ذریعے پرفارمنس ٹیوننگ کی ضرورت کو بھی کم کرتا ہے اور اختتامی صارفین کے لیے تیز خدمت فراہم کرتا ہے۔ ان میموری پروسیسنگ ٹیکنالوجی کے فوائد کمپیوٹر ٹیکنالوجی اور کاروباری ضروریات میں کچھ پیشرفتوں نے ان میموری ٹیکنالوجی کے نسبتا فوائد میں اضافہ کیا ہے۔ مور کے قانون کے مطابق ہارڈ ویئر بتدریج سستا اور اعلی کارکردگی والا ہوتا جاتا ہے۔ کمپیوٹنگ پاور ہر دو سے تین سال میں دوگنی ہو جاتی ہے جبکہ لاگت میں کمی آتی ہے۔ سی پی یو پروسیسنگ، میموری اور ڈسک اسٹوریج سبھی اس قانون کے کچھ تغیرات کے تابع ہیں۔ اس کے علاوہ ہارڈ ویئر کی اختراعات جیسے ملٹی کور آرکیٹیکچر، نینڈ فلیش میموری، متوازی سرورز، اور میموری پروسیسنگ کی صلاحیت میں اضافہ، سافٹ ویئر کی اختراعات جیسے کالم مرکوز ڈیٹا بیس، کمپریشن تکنیک اور مجموعی ٹیبلز کو سنبھالنے کے علاوہ، ان سب نے میموری مصنوعات کی مانگ میں اہم کردار ادا کیا ہے۔ 64 بٹ آپریٹنگ سسٹمز کی آمد، جو 32 بٹ سسٹمز پر قابل رسائی 2 یا 4 جی بی سے کہیں زیادہ ریم (100 جی بی یا اس سے زیادہ) تک رسائی کی اجازت دیتی ہے۔ اسٹوریج اور تجزیہ کے لیے ٹیرابائٹس (1 ٹی بی = 1,024 جی بی) کی جگہ فراہم کر کے، 64 بٹ آپریٹنگ سسٹم میموری پروسیسنگ کو توسیع پذیر بناتے ہیں۔ فلیش میموری کا استعمال نظام کو زیادہ اقتصادی طور پر بہت سے ٹیرابائٹس تک پیمانے کے قابل بناتا ہے۔ اعداد و شمار کی بڑھتی ہوئی مقدار کا مطلب یہ ہے کہ روایتی ڈیٹا گودام اب اعداد و شمار پر بروقت اور درست طریقے سے کارروائی کرنے کے قابل نہیں ہیں۔ ایکسٹریکٹ، ٹرانسفارم، لوڈ (ای ٹی ایل) عمل جو وقتا فوقتا آپریشنل ڈیٹا کے ساتھ ڈیٹا گوداموں کو اپ ڈیٹ کرتا ہے اسے مکمل ہونے میں چند گھنٹوں سے لے کر ہفتوں تک کا وقت لگ سکتا ہے۔ لہذا، کسی بھی وقت ڈیٹا کم از کم ایک دن پرانا ہوتا ہے۔ ان میموری پروسیسنگ حقیقی وقت کی رپورٹنگ کے لیے ڈیٹا کے ٹیرابائٹس تک فوری رسائی کے قابل بناتی ہے۔ ان میموری پروسیسنگ روایتی بی آئی ٹولز کے مقابلے میں کم قیمت پر دستیاب ہے، اور اسے زیادہ آسانی سے تعینات اور برقرار رکھا جا سکتا ہے۔ گارٹنر سروے کے مطابق، روایتی بی آئی ٹولز کی تعیناتی میں 17 ماہ تک کا وقت لگ سکتا ہے۔ بہت سے ڈیٹا گودام فروش نفاذ کے اوقات کو تیز کرنے کے لیے روایتی بی آئی کے بجائے ان میموری ٹیکنالوجی کا انتخاب کر رہے ہیں۔ کم رسائی تاخیر، اور زیادہ میموری بینڈوتھ اور ہارڈ ویئر متوازی کی وجہ سے بجلی کی کھپت میں کمی اور تھرو پٹ میں اضافہ ہوتا ہے۔ کاروبار میں اطلاق میموری میں موجود مصنوعات کی ایک رینج موجودہ ڈیٹا ذرائع سے جڑنے اور بصری طور پر بھرپور انٹرایکٹو ڈیش بورڈز تک رسائی فراہم کرتی ہے۔ یہ کاروباری تجزیہ کاروں اور اختتامی صارفین کو زیادہ تربیت یا مہارت کے بغیر اپنی مرضی کے مطابق رپورٹس اور سوالات بنانے کی اجازت دیتا ہے۔ آسان نیویگیشن اور پرواز میں سوالات میں ترمیم کرنے کی صلاحیت بہت سے صارفین کے لیے فائدہ مند ہے۔ چونکہ ان ڈیش بورڈز کو تازہ ڈیٹا کے ساتھ آباد کیا جا سکتا ہے، صارفین کو حقیقی وقت کے ڈیٹا تک رسائی حاصل ہے اور وہ منٹوں میں رپورٹیں بنا سکتے ہیں۔ ان میموری پروسیسنگ کال سینٹرز اور گودام کے انتظام میں خاص طور پر فائدہ مند ثابت ہو سکتی ہے۔ ان میموری پروسیسنگ کے ساتھ، ماخذ ڈیٹا بیس سے ہر بار جب کوئی استفسار چلایا جاتا ہے تو ڈیٹا بیس تک رسائی کے بجائے صرف ایک بار پوچھ گچھ کی جاتی ہے، اس طرح تکراری پروسیسنگ کو ختم کیا جاتا ہے اور ڈیٹا بیس سرورز پر بوجھ کو کم کیا جاتا ہے۔ راتوں رات ان میموری ڈیٹا بیس کو آباد کرنے کا شیڈول بنا کر، ڈیٹا بیس سرورز کو پیک آورس کے دوران آپریشنل مقاصد کے لیے استعمال کیا جا سکتا ہے۔ ان میموری ٹیکنالوجی کو اپنانا صارفین کی ایک بڑی تعداد کے ساتھ، ان میموری کنفیگریشن کے لیے بڑی مقدار میں رام کی ضرورت ہوتی ہے، جو بدلے میں ہارڈ ویئر کے اخراجات کو متاثر کرتی ہے۔ سرمایہ کاری ان حالات میں موزوں ہونے کا زیادہ امکان ہے جہاں استفسار کے جواب کی رفتار ایک اعلی ترجیح ہے، اور جہاں ڈیٹا کے حجم میں نمایاں اضافہ ہوتا ہے اور رپورٹنگ کی سہولیات کی مانگ میں اضافہ ہوتا ہے۔ یہ اب بھی لاگت سے موثر نہیں ہو سکتا ہے جہاں معلومات تیزی سے تبدیلی کے تابع نہیں ہے۔ سیکیورٹی ایک اور غور ہے، کیونکہ ان میموری ٹولز اختتامی صارفین کے لیے بڑی مقدار میں ڈیٹا کو بے نقاب کرتے ہیں۔ ساز اس بات کو یقینی بنانے کا مشورہ دیتے ہیں کہ صرف مجاز صارفین کو ڈیٹا تک رسائی دی جائے۔ چپ حوالہ جات کمپیوٹر میموری ڈیٹا بیس مینجمنٹ سسٹم پر چپ نیٹ ورک پر کمپیوٹیشنل رام سسٹم بھی دیکھیں۔