¿Qué es PySpark?
PySpark es una interfaz para Apache Spark en Python. No sólo te permite escribir aplicaciones Spark utilizando las API de Python, sino que también proporciona el shell PySpark para analizar interactivamente tus datos en un entorno distribuido. PySpark es compatible con la mayoría de las funciones de Spark, como Spark SQL, DataFrame, Streaming, MLlib (Aprendizaje Automático) y Spark Core.