پیراگراف کی بنیاد پر Apache Spark کے اہم اجزاء کیا ہیں؟
Apache Spark کو کلسٹر مینیجر اور تقسیم شدہ اسٹوریج سسٹم کی ضرورت ہوتی ہے۔ کلسٹر مینجمنٹ کے لیے، اسپارک اسٹینڈ لون کو سپورٹ کرتا ہے (مقامی اسپارک کلسٹر، جہاں آپ کلسٹر کو یا تو دستی طور پر لانچ کر سکتے ہیں یا انسٹال پیکج کے ذریعے فراہم کردہ لانچ اسکرپٹ استعمال کر سکتے ہیں۔ ٹیسٹنگ کے لیے ان ڈیمنز کو ایک ہی مشین پر چلانا بھی ممکن ہے)، ہڈوپ یارن، Apache Mesos یا Kubernetes۔ [11] تقسیم شدہ اسٹوریج کے لیے، اسپارک وسیع اقسام کے ساتھ انٹرفیس کرسکتا ہے، بشمول Alluxio، Hadoop ڈسٹری بیوٹڈ فائل سسٹم (HDFS)، [12] MapR فائل سسٹم (MapR-FS)، [13] Cassandra، [14] OpenStack Swift، Amazon S3، Kudu، Luster فائل سسٹم، [15] یا ایک حسب ضرورت حل لاگو کیا جا سکتا ہے۔ اسپارک سیوڈو ڈسٹری بیوٹڈ لوکل موڈ کو بھی سپورٹ کرتا ہے، جو عام طور پر صرف ڈیولپمنٹ یا ٹیسٹنگ کے مقاصد کے لیے استعمال ہوتا ہے، جہاں تقسیم شدہ اسٹوریج کی ضرورت نہیں ہوتی ہے اور اس کے بجائے لوکل فائل سسٹم استعمال کیا جا سکتا ہے۔ ایسی صورت میں، اسپارک کو ایک ہی مشین پر چلایا جاتا ہے جس میں ایک ایگزیکیوٹر فی CPU کور ہے۔
پیراگراف کی بنیاد پر، ایک کلسٹر مینیجر اور تقسیم شدہ اسٹوریج اپاچی اسپارک کے دو اہم اجزاء ہیں۔ کلسٹر مینیجر کے لیے، اسپارک اسٹینڈ لون کلسٹر، یا Hadoop YARN، Apache Mesos، یا Kubernetes کو سپورٹ کرتا ہے۔ اسٹوریج کے لیے، اسپارک مقامی فائل سسٹمز کو ڈیولپمنٹ اور ٹیسٹنگ کے ساتھ ساتھ ہڈوپ فائل سسٹم، کیسینڈرا، اور کلاؤڈ سٹوریجز کو سپورٹ کرتا ہے۔