کیا اسپارک کو استعمال کرنے کے لیے میرے ڈیٹا کو میموری میں فٹ ہونے کی ضرورت ہے؟
-
نمبر۔ اسپارک کے آپریٹرز ڈیٹا کو ڈسک میں پھیلاتے ہیں اگر یہ میموری میں فٹ نہیں ہوتا ہے، جس سے یہ کسی بھی سائز کے ڈیٹا پر اچھی طرح سے چل سکتا ہے۔ اسی طرح، کیشڈ ڈیٹاسیٹس جو میموری میں فٹ نہیں ہوتے ہیں یا تو ڈسک پر پھینکے جاتے ہیں یا ضرورت پڑنے پر دوبارہ گنتی کی جاتی ہے، جیسا کہ RDD کے اسٹوریج لیول سے طے ہوتا ہے۔