ما هي المكونات الرئيسية لـ Apache Spark بناءً على الفقرة؟
Context:يتطلب Apache Spark مدير مجموعة ونظام تخزين موزع. بالنسبة لإدارة العنقود، يدعم Spark مجموعة Spark المستقلة، حيث يمكنك إطلاق العنقود يدويًا أو استخدام نصوص الإطلاق المقدمة من حزمة التثبيت. من الممكن أيضًا تشغيل هذه الشياطين على جهاز واحد للتجربة) ، Hadoop YARN ، Apache Mesos أو Kubernetes. بالنسبة للتخزين الموزع ، يمكن أن يتفاعل Spark مع مجموعة واسعة من الأنظمة ، بما في ذلك Alluxio ، Hadoop Distributed File System (HDFS) ، MapR File System (MapR-FS) ، Cassandra ، OpenStack Swift ، Amazon S3 ، Kudu ، نظام ملفات Lustre ، أو يمكن تنفيذ حل مخصص. يدعم سبارك أيضًا وضعًا محليًا مُوزعًا شبهًا ، عادةً ما يُستخدم فقط لأغراض التطوير أو الاختبار ، حيث لا يُطلب التخزين الموزع ويمكن استخدام نظام الملفات المحلي بدلاً من ذلك ؛ في مثل هذا السيناريو ، يتم تشغيل سبارك على جهاز واحد مع منفذ واحد لكل نواة وحدة معالجة معالجة.
بناءً على الفقرة ، فإن مدير العنقود والتخزين الموزع هما مكونان رئيسيان من Apache Spark. بالنسبة لمدير العنقود ، يدعم سبارك عنقودًا مستقلًا ، أو Hadoop YARN أو Apache Mesos أو Kubernetes. بالنسبة للتخزين ، يدعم Spark أنظمة الملفات المحلية للتطوير والاختبار ، بالإضافة إلى نظام ملفات Hadoop ، Cassandra ، والتخزين السحابي