ایک کلسٹر اسپارک کو کتنا بڑا کر سکتا ہے؟
-
کئی تنظیمیں ہزاروں نوڈس کے کلسٹرز پر اسپارک چلاتی ہیں۔ سب سے بڑا کلسٹر جس کو ہم جانتے ہیں ان میں سے 8000 ہیں۔ ڈیٹا کے سائز کے لحاظ سے، اسپارک کو پیٹا بائٹس تک اچھی طرح سے کام کرتا دکھایا گیا ہے۔ اس کا استعمال مشینوں کے 1/10 تاریخ کو Hadoop MapReduce سے 3X تیزی سے 100 TB ڈیٹا کو ترتیب دینے کے لیے، 2014 ڈیٹونا گرے سورٹ بینچ مارک جیتنے کے ساتھ ساتھ 1 PB کو ترتیب دینے کے لیے کیا گیا ہے۔ کئی پروڈکشن ورک بوجھ Spark کا استعمال ETL اور ڈیٹا کے PBs پر ڈیٹا تجزیہ کرنے کے لیے کرتے ہیں۔