In-memory processing
কম্পিউটার বিজ্ঞানে, ইন-মেমোরি প্রসেসিং (পি. আই. এম) হল ইন-মেমোরি ডাটাবেসে সংরক্ষিত তথ্য প্রক্রিয়াকরণের জন্য একটি কম্পিউটার স্থাপত্য। ইন-মেমোরি প্রসেসিং প্রসেসর এবং প্রধান মেমরির মধ্যে ডেটা সরানোর শক্তি ব্যবহার এবং কর্মক্ষমতা উন্নত করে। পুরানো সিস্টেমগুলি স্ট্রাকচার্ড কোয়ারি ল্যাঙ্গুয়েজ ব্যবহার করে ডিস্ক স্টোরেজ এবং রিলেশনাল ডেটাবেসের উপর ভিত্তি করে তৈরি করা হয়েছে, যা ক্রমবর্ধমানভাবে ব্যবসায়িক বুদ্ধিমত্তার (বিআই) চাহিদা পূরণের জন্য অপর্যাপ্ত হিসাবে বিবেচিত হয়। যেহেতু সঞ্চিত ডেটা র্যান্ডম-অ্যাক্সেস মেমরি (র্যাম) বা ফ্ল্যাশ মেমরিতে স্থাপন করা হলে আরও দ্রুত অ্যাক্সেস করা হয়, ইন-মেমরি প্রসেসিং ডেটা রিয়েল টাইমে বিশ্লেষণ করার অনুমতি দেয়, যা ব্যবসায় দ্রুত রিপোর্টিং এবং সিদ্ধান্ত গ্রহণে সক্ষম করে। ডিস্ক-ভিত্তিক ব্যবসায়িক বুদ্ধিমত্তা তথ্য কাঠামো ডিস্ক-ভিত্তিক প্রযুক্তির সাহায্যে, একাধিক টেবিল এবং বহুমাত্রিক কাঠামোর আকারে কম্পিউটারের হার্ড ডিস্কে তথ্য লোড করা হয় যার বিরুদ্ধে প্রশ্নগুলি চালানো হয়। ডিস্ক-ভিত্তিক প্রযুক্তিগুলি হল রিলেশনাল ডাটাবেস ম্যানেজমেন্ট সিস্টেম (আরডিবিএমএস), যা প্রায়শই স্ট্রাকচার্ড কোয়েরি ল্যাঙ্গুয়েজ (এসকিউএল), যেমন এসকিউএল সার্ভার, মাইএসকিউএল, ওরাকল এবং আরও অনেক কিছুর উপর ভিত্তি করে তৈরি। আরডিবিএমএস লেনদেনের প্রক্রিয়াকরণের প্রয়োজনীয়তার জন্য ডিজাইন করা হয়েছে। একটি ডাটাবেস ব্যবহার করে যা সন্নিবেশ এবং আপডেটগুলিকে সমর্থন করার পাশাপাশি সমষ্টি সম্পাদন করে, জয়েনগুলি (বিআই সমাধানগুলিতে সাধারণত) সাধারণত খুব ধীর হয়। আরেকটি ত্রুটি হল যে এসকিউএল দক্ষতার সাথে সারির ডেটা আনার জন্য ডিজাইন করা হয়েছে, অন্যদিকে বিআই প্রশ্নের মধ্যে সাধারণত ভারী গণনার সাথে জড়িত আংশিক সারির ডেটা আনা জড়িত। অনুসন্ধানের কার্যকারিতা উন্নত করতে, বহুমাত্রিক ডাটাবেস বা ওএলএপি কিউব-যাকে বহুমাত্রিক অনলাইন বিশ্লেষণাত্মক প্রক্রিয়াকরণ (এমওএলএপি) বলা হয়-তৈরি করা হয়। একটি ঘনক্ষেত্রের নকশা তৈরি করা একটি বিস্তৃত এবং দীর্ঘ প্রক্রিয়া, এবং গতিশীলভাবে পরিবর্তিত ব্যবসায়িক প্রয়োজনের সাথে খাপ খাইয়ে নেওয়ার জন্য ঘনক্ষেত্রের কাঠামো পরিবর্তন করা জটিল হতে পারে। কিউবগুলি নির্দিষ্ট প্রশ্নের উত্তর দেওয়ার জন্য তথ্যের সাথে প্রাক-জনবহুল এবং যদিও তারা কর্মক্ষমতা বাড়ায়, তবুও তারা অ্যাড-হক প্রশ্নের উত্তর দেওয়ার জন্য উপযুক্ত নয়। তথ্য প্রযুক্তি (আইটি) কর্মীরা ডেটাবেসগুলি অনুকূল করতে, সূচক এবং সমষ্টি তৈরি করতে, কিউব এবং স্টার স্কিমা ডিজাইন করতে, ডেটা মডেলিং এবং অনুসন্ধান বিশ্লেষণে যথেষ্ট সময় ব্যয় করে। প্রক্রিয়াকরণের গতি র্যাম থেকে একই ডেটা পড়ার তুলনায় হার্ড ডিস্ক থেকে ডেটা পড়া অনেক ধীর (সম্ভবত শত শত বার)। বিশেষ করে যখন প্রচুর পরিমাণে তথ্য বিশ্লেষণ করা হয়, তখন কর্মক্ষমতা মারাত্মকভাবে হ্রাস পায়। যদিও এসকিউএল একটি অত্যন্ত শক্তিশালী হাতিয়ার, জটিল প্রশ্নগুলি কার্যকর করতে তুলনামূলকভাবে দীর্ঘ সময় লাগে এবং প্রায়শই লেনদেনের প্রক্রিয়াকরণের কার্যকারিতা কমিয়ে আনে। গ্রহণযোগ্য প্রতিক্রিয়া সময়ের মধ্যে ফলাফল পাওয়ার জন্য, অনেক ডেটা গুদামগুলি সংক্ষিপ্তসারগুলি প্রাক-গণনা করতে এবং শুধুমাত্র নির্দিষ্ট প্রশ্নের উত্তর দেওয়ার জন্য ডিজাইন করা হয়েছে। কর্মক্ষমতা বাড়ানোর জন্য অপ্টিমাইজড এগ্রিগেশন অ্যালগরিদম প্রয়োজন। ইন-মেমোরি প্রসেসিং টুলস মেমোরি প্রসেসিং ওরাকল, আইবিএম ডিবি2 বা মাইক্রোসফ্ট এসকিউএল সার্ভারের মতো ঐতিহ্যবাহী ডেটাবেসের মাধ্যমে বা হেজেলকাস্ট, ইনফিনিস্প্যান, ওরাকল কোহেরেন্স বা স্কেলআউট সফ্টওয়্যারের মতো ইন-মেমোরি ডেটা গ্রিডের মতো নোএসকিউএল অফারের মাধ্যমে সম্পন্ন করা যেতে পারে। ইন-মেমোরি ডাটাবেস এবং ডেটা গ্রিড উভয় ক্ষেত্রেই, সমস্ত তথ্য প্রাথমিকভাবে হার্ড ডিস্কের পরিবর্তে মেমরি র্যাম বা ফ্ল্যাশ মেমরিতে লোড করা হয়। একটি ডেটা গ্রিডের সাথে প্রক্রিয়াকরণ আপেক্ষিক ডেটাবেসের তুলনায় মাত্রার তিনটি ক্রমে দ্রুত ঘটে যার এ. সি. আই. ডি-এর মতো উন্নত কার্যকারিতা রয়েছে যা অতিরিক্ত কার্যকারিতার জন্য ক্ষতিপূরণ হিসাবে কর্মক্ষমতাকে হ্রাস করে। কলাম কেন্দ্রিক ডাটাবেসের আগমন, যা একই ধরনের তথ্য একসাথে সঞ্চয় করে, তথ্যকে আরও দক্ষতার সাথে এবং আরও বেশি সংকোচনের অনুপাতের সাথে সংরক্ষণ করার অনুমতি দেয়। এটি একই ভৌত স্থানে প্রচুর পরিমাণে ডেটা সংরক্ষণ করার অনুমতি দেয়, একটি অনুসন্ধান সম্পাদনের জন্য প্রয়োজনীয় মেমরির পরিমাণ হ্রাস করে এবং প্রক্রিয়াকরণের গতি বাড়ায়। অনেক ব্যবহারকারী এবং সফ্টওয়্যার বিক্রেতারা তাদের সিস্টেমে ফ্ল্যাশ মেমোরি সংহত করেছেন যাতে সিস্টেমগুলি আরও অর্থনৈতিকভাবে বৃহত্তর ডেটা সেটগুলিতে স্কেল করতে পারে। ওরাকল কর্মক্ষমতা বৃদ্ধির জন্য ওরাকল এক্সডাটা পণ্যগুলিতে ফ্ল্যাশ মেমোরি সংহত করছে। মাইক্রোসফ্ট এসকিউএল সার্ভার 2012 বিআই/ডেটা ওয়্যারহাউসিং সফ্টওয়্যারটি ভায়োলিন মেমরি ফ্ল্যাশ মেমরি অ্যারেগুলির সাথে যুক্ত করা হয়েছে যাতে 20 টিবি-র বেশি ডেটা সেটগুলির ইন-মেমরি প্রসেসিং সক্ষম করা যায়। ব্যবহারকারীরা সিস্টেমের মেমরিতে লোড করা ডেটা অনুসন্ধান করে, যার ফলে ধীরগতির ডাটাবেস অ্যাক্সেস এবং কর্মক্ষমতার বাধা এড়ানো যায়। এটি ক্যাশিংয়ের থেকে আলাদা, যা অনুসন্ধানের কার্যকারিতা ত্বরান্বিত করার জন্য একটি ব্যাপকভাবে ব্যবহৃত পদ্ধতি, এতে ক্যাশেগুলি খুব নির্দিষ্ট পূর্ব-সংজ্ঞায়িত সংগঠিত ডেটার উপসেট। ইন-মেমোরি সরঞ্জামগুলির সাহায্যে, বিশ্লেষণের জন্য উপলব্ধ ডেটা ডেটা মার্ট বা ছোট ডেটা গুদামের মতো বড় হতে পারে যা সম্পূর্ণরূপে মেমরিতে থাকে। এটি একটি বিস্তারিত স্তরে একাধিক সমবর্তী ব্যবহারকারী বা অ্যাপ্লিকেশন দ্বারা দ্রুত অ্যাক্সেস করা যেতে পারে এবং বর্ধিত বিশ্লেষণ এবং স্কেলিং এবং একটি অ্যাপ্লিকেশনটির গতি বাড়ানোর সম্ভাবনা প্রদান করে। তাত্ত্বিকভাবে, ডিস্কের তুলনায় ডেটা অ্যাক্সেসের গতির উন্নতি 10,000 থেকে 1,000,000 গুণ। এটি আইটি কর্মীদের দ্বারা পারফরম্যান্স টিউনিংয়ের প্রয়োজনীয়তাও হ্রাস করে এবং শেষ ব্যবহারকারীদের জন্য দ্রুত পরিষেবা প্রদান করে। ইন-মেমোরি প্রসেসিং প্রযুক্তির সুবিধাগুলি কম্পিউটার প্রযুক্তি এবং ব্যবসায়িক চাহিদার কিছু উন্নয়ন ইন-মেমোরি প্রযুক্তির আপেক্ষিক সুবিধাগুলি বাড়ানোর প্রবণতা দেখিয়েছে। মুরের আইন অনুসারে, হার্ডওয়্যার ক্রমান্বয়ে সস্তা এবং উচ্চতর কার্যকরী হয়ে ওঠে। কম্পিউটিং পাওয়ার প্রতি দুই থেকে তিন বছরে দ্বিগুণ হয় এবং খরচ কমে যায়। সিপিইউ প্রসেসিং, মেমোরি এবং ডিস্ক স্টোরেজ সবই এই আইনের কিছু বৈচিত্র্যের সাপেক্ষে। এছাড়াও হার্ডওয়্যার উদ্ভাবন যেমন মাল্টি-কোর আর্কিটেকচার, ন্যান্ড ফ্ল্যাশ মেমরি, সমান্তরাল সার্ভার এবং মেমরি প্রক্রিয়াকরণ ক্ষমতা বৃদ্ধি, পাশাপাশি সফ্টওয়্যার উদ্ভাবন যেমন কলাম কেন্দ্রিক ডেটাবেস, সংকোচন কৌশল এবং সমষ্টিগত টেবিল পরিচালনা, সবই ইন-মেমরি পণ্যগুলির চাহিদায় অবদান রেখেছে। 64-বিট অপারেটিং সিস্টেমের আবির্ভাব, যা 32-বিট সিস্টেমে 2 বা 4 গিগাবাইটের তুলনায় অনেক বেশি র্যাম (100 গিগাবাইট বা তার বেশি) অ্যাক্সেসের অনুমতি দেয়। স্টোরেজ এবং বিশ্লেষণের জন্য টেরাবাইট (1 টিবি = 1,024 জিবি) স্থান সরবরাহ করে, 64-বিট অপারেটিং সিস্টেমগুলি মেমরি প্রক্রিয়াকরণকে স্কেলযোগ্য করে তোলে। ফ্ল্যাশ মেমরির ব্যবহার সিস্টেমগুলিকে আরও অর্থনৈতিকভাবে অনেক টেরাবাইটে স্কেল করতে সক্ষম করে। তথ্যের ক্রমবর্ধমান পরিমাণের অর্থ হল যে ঐতিহ্যবাহী তথ্য গুদামগুলি আর সময়োপযোগী এবং সঠিক উপায়ে তথ্য প্রক্রিয়া করতে সক্ষম নয়। এক্সট্র্যাক্ট, ট্রান্সফর্ম, লোড (ই. টি. এল) প্রক্রিয়া যা পর্যায়ক্রমে অপারেশনাল ডেটা সহ ডেটা গুদামগুলিকে আপডেট করে তা সম্পূর্ণ হতে কয়েক ঘন্টা থেকে কয়েক সপ্তাহ পর্যন্ত সময় নিতে পারে। সুতরাং, যে কোনও নির্দিষ্ট সময়ে তথ্য কমপক্ষে এক দিনের পুরনো হয়। ইন-মেমোরি প্রসেসিং রিয়েল টাইম রিপোর্টিংয়ের জন্য টেরাবাইট ডেটা তাত্ক্ষণিক অ্যাক্সেস সক্ষম করে। ঐতিহ্যবাহী বিআই সরঞ্জামের তুলনায় ইন-মেমোরি প্রক্রিয়াকরণ কম খরচে পাওয়া যায় এবং আরও সহজে স্থাপন ও রক্ষণাবেক্ষণ করা যায়। গার্টনারের সমীক্ষা অনুসারে, ঐতিহ্যবাহী বিআই সরঞ্জাম স্থাপন করতে 17 মাস পর্যন্ত সময় লাগতে পারে। অনেক ডেটা গুদাম বিক্রেতারা বাস্তবায়নের সময়কে ত্বরান্বিত করতে ঐতিহ্যবাহী বিআই-এর পরিবর্তে ইন-মেমোরি প্রযুক্তি বেছে নিচ্ছেন। কম অ্যাক্সেস বিলম্বতা এবং বৃহত্তর মেমরি ব্যান্ডউইথ এবং হার্ডওয়্যার সমান্তরালতার কারণে বিদ্যুতের ব্যবহার হ্রাস পায় এবং থ্রুপুট বৃদ্ধি পায়। ব্যবসায় প্রয়োগ মেমরি পণ্যগুলির একটি পরিসীমা বিদ্যমান ডেটা উত্সগুলির সাথে সংযোগ স্থাপন এবং দৃশ্যত সমৃদ্ধ ইন্টারেক্টিভ ড্যাশবোর্ডগুলিতে অ্যাক্সেসের ক্ষমতা প্রদান করে। এটি ব্যবসায়িক বিশ্লেষক এবং শেষ ব্যবহারকারীদের খুব বেশি প্রশিক্ষণ বা দক্ষতা ছাড়াই কাস্টম রিপোর্ট এবং প্রশ্ন তৈরি করার অনুমতি দেয়। সহজ নেভিগেশন এবং ফ্লাইতে প্রশ্নগুলি সংশোধন করার ক্ষমতা অনেক ব্যবহারকারীর জন্য উপকারী। যেহেতু এই ড্যাশবোর্ডগুলি নতুন তথ্য দিয়ে সজ্জিত করা যেতে পারে, তাই ব্যবহারকারীদের রিয়েল টাইম ডেটাতে অ্যাক্সেস রয়েছে এবং কয়েক মিনিটের মধ্যে প্রতিবেদন তৈরি করতে পারে। কল সেন্টার এবং গুদাম ব্যবস্থাপনায় ইন-মেমোরি প্রসেসিং বিশেষভাবে উপকৃত হতে পারে। ইন-মেমোরি প্রক্রিয়াকরণের মাধ্যমে, প্রতিবার কোনও প্রশ্ন চালানোর সময় ডাটাবেস অ্যাক্সেস করার পরিবর্তে উৎস ডাটাবেসকে শুধুমাত্র একবার জিজ্ঞাসা করা হয়, যার ফলে পুনরাবৃত্তিমূলক প্রক্রিয়াকরণ দূর হয় এবং ডাটাবেস সার্ভারের বোঝা হ্রাস পায়। রাতারাতি ইন-মেমোরি ডাটাবেস জনবহুল করার সময় নির্ধারণ করে, ডাটাবেস সার্ভারগুলি ব্যস্ত সময়ে কার্যকরী উদ্দেশ্যে ব্যবহার করা যেতে পারে। ইন-মেমোরি প্রযুক্তি গ্রহণ বিপুল সংখ্যক ব্যবহারকারীর সাথে, ইন-মেমোরি কনফিগারেশনের জন্য প্রচুর পরিমাণে র্যামের প্রয়োজন হয়, যা পরিবর্তে হার্ডওয়্যার ব্যয়কে প্রভাবিত করে। বিনিয়োগটি এমন পরিস্থিতিতে উপযুক্ত হওয়ার সম্ভাবনা বেশি যেখানে প্রশ্নের প্রতিক্রিয়ার গতি একটি উচ্চ অগ্রাধিকার, এবং যেখানে তথ্যের পরিমাণে উল্লেখযোগ্য বৃদ্ধি এবং রিপোর্টিং সুবিধার জন্য চাহিদা বৃদ্ধি রয়েছে; যেখানে তথ্য দ্রুত পরিবর্তনের সাপেক্ষে নয় সেখানে এটি এখনও সাশ্রয়ী নাও হতে পারে। নিরাপত্তা আরেকটি বিবেচ্য বিষয়, কারণ ইন-মেমোরি সরঞ্জামগুলি শেষ ব্যবহারকারীদের কাছে প্রচুর পরিমাণে ডেটা প্রকাশ করে। নির্মাতারা শুধুমাত্র অনুমোদিত ব্যবহারকারীদের ডেটাতে প্রবেশাধিকার দেওয়া হয় তা নিশ্চিত করার পরামর্শ দেন। চিপ রেফারেন্স কম্পিউটার মেমোরি ডাটাবেস ম্যানেজমেন্ট সিস্টেমে একটি চিপ নেটওয়ার্কে গণনামূলক র্যাম সিস্টেম দেখুন।