¿Mis datos tienen que caber en la memoria para utilizar Spark?
No. Los operadores de Spark vuelcan los datos al disco si no caben en la memoria, lo que le permite funcionar bien con datos de cualquier tamaño. Del mismo modo, los conjuntos de datos almacenados en caché que no caben en la memoria se vuelcan al disco o se vuelven a calcular sobre la marcha cuando se necesitan, según determine el nivel de almacenamiento del RDD.