 பத்தியின் அடிப்படையில் அப்பாச்சி ஸ்பார்க்கின் முக்கிய கூறுகள் யாவை?
Apache Sparkக்கு ஒரு கிளஸ்டர் மேலாளர் மற்றும் விநியோகிக்கப்பட்ட சேமிப்பக அமைப்பு தேவை. கிளஸ்டர் நிர்வாகத்திற்கு, ஸ்பார்க் தனித்துவத்தை ஆதரிக்கிறது (நேட்டிவ் ஸ்பார்க் கிளஸ்டர், அங்கு நீங்கள் ஒரு கிளஸ்டரை கைமுறையாக துவக்கலாம் அல்லது நிறுவல் தொகுப்பின் மூலம் வழங்கப்பட்ட வெளியீட்டு ஸ்கிரிப்ட்களைப் பயன்படுத்தலாம். சோதனைக்காக இந்த டெமான்களை ஒரு கணினியில் இயக்கவும் முடியும்), ஹடூப் YARN, அப்பாச்சி மெசோஸ் அல்லது குபெர்னெட்ஸ். விநியோகிக்கப்பட்ட சேமிப்பகத்திற்கு, Alluxio, Hadoop Distributed File System (HDFS), MapR கோப்பு முறைமை (MapR-FS), Cassandra, OpenStack Swift, Amazon S3, Kudu, Luster கோப்பு முறைமை அல்லது தனிப்பயன் தீர்வு உள்ளிட்ட பல்வேறு வகைகளுடன் ஸ்பார்க் இடைமுகம் செய்யலாம். செயல்படுத்த முடியும். ஸ்பார்க் ஒரு போலி விநியோகிக்கப்படும் உள்ளூர் பயன்முறையையும் ஆதரிக்கிறது, பொதுவாக வளர்ச்சி அல்லது சோதனை நோக்கங்களுக்காக மட்டுமே பயன்படுத்தப்படுகிறது, அங்கு விநியோகிக்கப்பட்ட சேமிப்பிடம் தேவையில்லை மற்றும் அதற்கு பதிலாக உள்ளூர் கோப்பு முறைமை பயன்படுத்தப்படலாம்; அத்தகைய சூழ்நிலையில், ஸ்பார்க் ஒரு சிபியு மையத்திற்கு ஒரு எக்ஸிகியூட்டர் கொண்ட ஒரு கணினியில் இயக்கப்படுகிறது.
பத்தியின் அடிப்படையில், ஒரு கிளஸ்டர் மேலாளர் மற்றும் விநியோகிக்கப்பட்ட சேமிப்பு ஆகியவை அப்பாச்சி ஸ்பார்க்கின் இரண்டு முக்கிய கூறுகளாகும். கிளஸ்டர் மேனேஜருக்கு, ஸ்பார்க் தனித்தனி கிளஸ்டரை ஆதரிக்கிறது, அல்லது ஹடூப் யார்ன், அப்பாச்சி மெசோஸ் அல்லது குபெர்னெட்டஸ். சேமிப்பிற்காக, மேம்பாடு மற்றும் சோதனைக்கான உள்ளூர் கோப்பு முறைமைகளையும், ஹடூப் கோப்பு முறைமை, கசாண்ட்ரா மற்றும் கிளவுட் சேமிப்பகங்களையும் ஸ்பார்க் ஆதரிக்கிறது.