¿Cómo se relaciona Spark con Apache Hadoop?
Spark es un motor de procesamiento rápido y general compatible con los datos de Hadoop. Puede ejecutarse en clústeres Hadoop a través de YARN o del modo autónomo de Spark, y puede procesar datos en HDFS, HBase, Cassandra, Hive y cualquier InputFormat de Hadoop. Está diseñado para realizar tanto procesamiento por lotes (similar a MapReduce) como nuevas cargas de trabajo como streaming, consultas interactivas y aprendizaje automático.