¿Cómo puedo ejecutar Spark en un clúster?
Puedes utilizar el modo de despliegue autónomo, que sólo necesita que Java esté instalado en cada nodo, o los gestores de clúster Mesos y YARN. Si quieres ejecutarlo en Amazon EC2, AMPLab proporciona scripts EC2 para lanzar automáticamente un clúster.

Ten en cuenta que también puedes ejecutar Spark localmente (posiblemente en varios núcleos) sin ninguna configuración especial, simplemente pasando local como URL maestra, donde N es el número de hilos paralelos que deseas.