¿A qué tamaño de clúster puede escalar Spark?
Muchas organizaciones ejecutan Spark en clusters de miles de nodos. El clúster más grande que conocemos tiene 8000. En cuanto al tamaño de los datos, se ha demostrado que Spark funciona bien hasta en petabytes. Se ha utilizado para ordenar 100 TB de datos 3 veces más rápido que Hadoop MapReduce en 1/10 parte de las máquinas, ganando el Daytona GraySort Benchmark de 2014, así como para ordenar 1 PB. Varias cargas de trabajo de producción utilizan Spark para hacer ETL y análisis de datos en PB de datos.