في عام 2004، نشرت جوجل ورقة حول عملية تسمى MapReduce تستخدم بنية مماثلة. يوفر مفهوم MapReduce نموذج معالجة موازية، وتم إصدار تنفيذ ذي صلة لمعالجة كميات ضخمة من البيانات. مع MapReduce، يتم تقسيم الاستفسارات وتوزيعها عبر عقد موازية ومعالجتها بالتوازي (خطوة Map). ثم يتم جمع النتائج وتسليمها (خطوة Reduce). كان الإطار ناجحًا جدًا، لذلك أراد آخرون تكرار الخوارزمية. لذلك، تم اعتماد تنفيذ لإطار MapReduce من قبل مشروع Apache مفتوح المصدر يدعى Hadoop. تم تطوير Apache Spark في عام 2012 استجابةً لقيود في نموذج MapReduce، حيث يضيف القدرة على إعداد العديد من عمليات الخريطة (وليس فقط عن طريق تقليل البيانات). السؤال: ما هي الفكرة لتحسين عملية البيانات الجديدة؟
نموذج المعالجة الموازية