In 2004 het Google 'n referaat gepubliseer oor 'n proses genaamd MapReduce wat 'n soortgelyke argitektuur gebruik. Die MapReduce-konsep bied 'n parallelle verwerkingsmodel, en 'n gepaardgaande implementering is vrygestel om groot hoeveelhede data te verwerk. Met MapReduce word navrae verdeel en versprei oor parallelle nodusse en parallel verwerk (die Map-stap). Die resultate word dan versamel en afgelewer (die Verminder-stap). Die raamwerk was baie suksesvol, so ander wou die algoritme herhaal. Daarom is 'n implementering van die MapReduce-raamwerk deur 'n Apache-oopbronprojek genaamd Hadoop aangeneem. Apache Spark is in 2012 ontwikkel in reaksie op beperkings in die MapReduce-paradigma, aangesien dit die vermoë bied om baie kaartbedrywighede op te stel (nie net deur die vermindering nie). Vraag: Wat was die idee om nuwe dataverwerking te verbeter?
parallelle verwerkingsmodel