¿A qué tamaño de clúster puede escalar Spark?
Muchas organizaciones ejecutan Spark en clusters de miles de nodos. El clúster más grande que conocemos tiene 8000. En cuanto al tamaño de los datos, se ha demostrado que Spark funciona bien hasta en petabytes. Se ha utilizado para ordenar 100 TB de datos 3 veces más rápido que Hadoop MapReduce en 1/10 parte de las máquinas, ganando el Daytona GraySort Benchmark de 2014, así como para ordenar 1 PB. Varias cargas de trabajo de producción utilizan Spark para hacer ETL y análisis de datos en PB de datos.
How large a cluster can Spark scale to?
Many organizations run Spark on clusters of thousands of nodes. The largest cluster we know has 8000 of them. In terms of data size, Spark has been shown to work well up to petabytes. It has been used to sort 100 TB of data 3X faster than Hadoop MapReduce on 1/10th of the machines, winning the 2014 Daytona GraySort Benchmark, as well as to sort 1 PB. Several production workloads use Spark to do ETL and data analysis on PBs of data.