ב-2004, גוגל פרסמה מאמר על תהליך בשם MapReduce שמשתמש בארכיטקטורה דומה. מושג MapReduce מספק מודל עיבוד מקביל, ויישום קשור שוחרר לעיבוד כמויות עצומות של נתונים. עם MapReduce, שאילתות מחולקות ומופצות על פני קשרים מקבילים ומעובדות במקביל (צעד המפה). התוצאות נאספות ומסופקות (צעד הפחתת). המסגרת הייתה מוצלחת מאוד, כך שאחרים רצו לשכפל את האלגוריתם. לכן, יישום של מסגרת MapReduce אומץ על ידי פרויקט קוד פתוח של אפאצ'י בשם Hadoop. אפאצ'י ספארק פותח בשנת 2012 בתגובה להגבלות בפרדיגמיית MapReduce, שכן היא מוסיפה את היכולת להגדיר פעולות מפה רבות (לא רק על ידי הפחתת נתונים). שאלה: מה הרעיון לשפר את תהליך הנתונים החדש?
מודל עיבוד מקביל