Nextflow
नेक्स्टफ्लो एक वैज्ञानिक कार्यप्रवाह प्रणाली है जिसका उपयोग मुख्य रूप से जैव-सूचनात्मक डेटा विश्लेषण के लिए किया जाता है। यह मानकों को लागू करता है कि कैसे प्रोग्राम के रूप में आश्रित गणना चरणों का एक क्रम लिखा जाए और विभिन्न स्थानीय और क्लाउड संसाधनों पर उनके निष्पादन को सक्षम बनाता है। नेक्स्टफ्लो की कल्पना बार्सिलोना, स्पेन में सेंटर फॉर जीनोमिक रेगुलेशन में की गई थी, लेकिन तब से इसे जैव चिकित्सा और जीनोमिक्स अनुसंधान सुविधाओं और प्रयोगशालाओं में दुनिया भर में अपनाया गया है। उद्देश्य कई वैज्ञानिक डेटा विश्लेषणों के लिए महत्वपूर्ण मात्रा में अनुक्रमिक प्रसंस्करण चरणों की आवश्यकता होती है। नई विधियों को विकसित करते समय या कभी-कभी किसी विशेष विश्लेषण को चलाते समय कस्टम स्क्रिप्ट पर्याप्त हो सकती हैं, लेकिन जटिल कार्य उत्तराधिकार या कई नमूनों के लिए खराब पैमाने पर। नेक्स्टफ्लो जैसी वैज्ञानिक कार्यप्रवाह प्रणालियाँ एक विश्लेषण को डेटा विश्लेषण पाइपलाइन के रूप में औपचारिक रूप देने की अनुमति देती हैं। पाइपलाइन, जिसे कार्यप्रवाह के रूप में भी जाना जाता है, वे निर्देश हैं जो किए जाने वाले कंप्यूटिंग चरणों के क्रम और शर्तों को निर्दिष्ट करते हैं। वे विशेष प्रयोजन कार्यक्रमों, तथाकथित कार्यप्रवाह निष्पादकों द्वारा किए जाते हैं, जो विभिन्न गणना वातावरण में अनुमानित और पुनरुत्पादक व्यवहार सुनिश्चित करते हैं। कार्यप्रवाह प्रणाली कार्यप्रवाह विकास की सामान्य चुनौतियों के लिए अंतर्निहित समाधान भी प्रदान करती है, जैसे कि कई नमूनों के लिए अनुप्रयोग, इनपुट और मध्यवर्ती परिणामों का सत्यापन, चरणों का सशर्त निष्पादन, त्रुटि प्रबंधन और रिपोर्ट निर्माण। कार्यप्रवाह प्रणालियों की उन्नत विशेषताओं में समय निर्धारण क्षमताएं, कार्यप्रवाह निष्पादन की निगरानी के लिए चित्रमय उपयोगकर्ता इंटरफेस और पूरे कार्यप्रवाह या इसके घटकों को कंटेनरीकृत करके निर्भरताओं का प्रबंधन भी शामिल हो सकता है। आम तौर पर, वैज्ञानिक कार्यप्रवाह प्रणालियाँ शुरू में एक तीव्र सीखने की चुनौती प्रस्तुत करती हैं क्योंकि उनकी सभी विशेषताओं और जटिलताओं को वास्तविक विश्लेषण के शीर्ष पर और उसके अलावा जोड़ा जाता है। हालांकि, कार्यप्रवाह प्रणालियों द्वारा लगाए गए मानक और अमूर्तता अंततः विश्लेषण चरणों की अनुरेखण क्षमता में सुधार करते हैं, जो विशेष रूप से पाइपलाइन विकास पर सहयोग करते समय प्रासंगिक है, जैसा कि वैज्ञानिक सेटिंग्स में प्रथागत है। विशेषताएँ कार्यप्रवाह का विनिर्देशन नेक्स्टफ्लो में, पाइपलाइनों का निर्माण अलग-अलग प्रक्रियाओं से किया जाता है जो कम्प्यूटेशनल कार्यों के अनुरूप होती हैं। प्रत्येक प्रक्रिया को इनपुट आवश्यकताओं और आउटपुट घोषणाओं के साथ स्थापित किया जाता है। एक निश्चित अनुक्रम में चलने के बजाय, एक प्रक्रिया का निष्पादन तब शुरू होता है जब इसकी सभी इनपुट आवश्यकताओं को पूरा किया जाता है। एक प्रक्रिया के आउटपुट को दूसरे चरण के इनपुट के रूप में निर्दिष्ट करके, प्रक्रियाओं के बीच एक तार्किक और क्रमिक संबंध बनाया जाता है। प्रक्रियाओं का यह प्रतिक्रियाशील कार्यान्वयन नेक्स्टफ्लो का एक विशिष्ट डिजाइन पैटर्न है और इसे कार्यात्मक डेटाफ्लो मॉडल के रूप में भी जाना जाता है। यह स्वतंत्र गणना चरणों के कुशल समानांतरकरण की अनुमति देता है। प्रक्रियाएँ और संपूर्ण कार्यप्रवाह एक डोमेन-विशिष्ट भाषा (डी. एस. एल.) में क्रमादेशित किए जाते हैं जो नेक्स्टफ्लो द्वारा प्रदान किया जाता है और अपाचे ग्रूवी पर आधारित होता है। जबकि नेक्स्टफ्लो के डीएसएल का उपयोग कार्यप्रवाह तर्क की घोषणा करने के लिए किया जाता है, डेवलपर्स एक प्रक्रिया के भीतर अपनी पसंद की स्क्रिप्टिंग भाषा का उपयोग कर सकते हैं और कार्यप्रवाह में कई भाषाओं को मिला सकते हैं। इसलिए मौजूदा स्क्रिप्ट और वर्कफ़्लो को नेक्स्टफ़्लो में पोर्ट करना सीधा है। समर्थित स्क्रिप्टिंग भाषाओं में बैश, सी. एस. एच., के. एस. एच., पायथन, रूबी और आर शामिल हैं। कोई भी स्क्रिप्टिंग भाषा जो मानक यूनिक्स शेबांग घोषणा (#!/बिन/बैश) का उपयोग करती है, नेक्स्टफ्लो में समर्थित है। केवल एक प्रक्रिया से युक्त एक अनुकरणीय कार्यप्रवाह नीचे दिखाया गया हैः प्रक्रिया हैलो _ वर्ल्ड {इनपुटः वैल ग्रीटिंग आउटपुटः पथ "${ग्रीटिंग}. टेक्स्ट" स्क्रिप्टः "इको" ${ग्रीटिंग} वर्ल्ड! " कार्यप्रवाह पर सीधे सहयोग की सुविधा के लिए, नेक्स्टफ्लो में स्रोत-कोड प्रबंधन प्रणालियों और गिटहब, गिटलैब और अन्य सहित देवऑप्स-प्लेटफ़ॉर्म के लिए देशी समर्थन है। नेक्स्टफ्लो के डीएसएल में लिखे गए कार्यप्रवाह कार्यप्रवाह के निष्पादन को पाइपलाइन कोड में संशोधन के बिना विविध कंप्यूटिंग वातावरण में तैनात किया जा सकता है और चलाया जा सकता है। पोर्टेबिलिटी को सक्षम करने के लिए, नेक्स्टफ्लो प्रमुख क्लाउड प्रदाताओं सहित विभिन्न प्लेटफार्मों के लिए समर्पित निष्पादकों के साथ जहाज करता है। चूंकि नेक्स्टफ्लो अलग-अलग प्रक्रिया चरणों को अलग करता है, इसलिए इसे वैकल्पिक रूप से कई कंप्यूटिंग प्लेटफार्मों में निष्पादन फैलाने के लिए कॉन्फ़िगर किया जा सकता है। यह पाइपलाइन निष्पादन के लिए निम्नलिखित वातावरण का समर्थन करता हैः स्थानीय-डिफ़ॉल्ट निष्पादक। नेक्स्टफ्लो पाइपलाइन लिनक्स या मैक ओएस पर चलती है और निष्पादन उस कंप्यूटर पर होता है जहां पाइपलाइन लॉन्च की जाती है। एच. पी. सी. कार्यभार प्रबंधक-स्लर्म, एस. जी. ई., एल. एस. एफ., मोआब, पी. बी. एस. प्रो, पी. बी. एस./टॉर्क, एच. टी. सी. कोंडोर, एन. क्यू. एस. आई. आई., ओ. ए. आर. कुबेरनेट्स-स्थानीय या क्लाउड-आधारित कुबेरनेट्स कार्यान्वयन (जी. के. ई., ई. के. एस., या ए. के. एस.) क्लाउड बैच सेवाएं-ए. डब्ल्यू. एस. बैच, एज़्योर बैच अन्य वातावरण-अपाचे इग्नाइट, कंप्यूटिंग वातावरण में पोर्टेबिलिटी के लिए गूगल लाइफ साइंसेज कंटेनर नेक्स्टफ्लो की एक मौलिक अवधारणा सॉफ्टवेयर कंटेनरों के साथ इसका कड़ा एकीकरण है। संपूर्ण कार्यप्रवाह और, बाद के संस्करणों में, एकल प्रक्रियाएं भी कंटेनरों का उपयोग कर सकती हैं ताकि बिना थकाऊ स्थापना और विन्यास दिनचर्या के विभिन्न गणना वातावरणों में उनके निष्पादन की अनुमति दी जा सके। यह डिजाइन विकल्प 2013 में डॉटस्केल में सोलोमन हाइक के टॉक से काफी प्रभावित था, जिसका नेक्स्टफ्लो के प्रमुख डेवलपर, पाओलो डी तोमासो पर महत्वपूर्ण प्रभाव पड़ा। नेक्स्टफ्लो द्वारा समर्थित कंटेनर ढांचे में डॉकर, सिंगुलरिटी, चार्लीक्लाउड, पॉडमैन और शिफ्टर शामिल हैं। उस प्रकार के पात्रों का उपयोग कार्यप्रवाह में किया जा सकता है और पाइपलाइन के निष्पादित होने पर स्वचालित रूप से बाहरी भंडारों से पुनर्प्राप्त किया जाता है। नेक्स्टफ्लो शिखर सम्मेलन 2022 में, यह अनावरण किया गया था कि नेक्स्टफ्लो के भविष्य के संस्करण कार्यप्रवाह में अनुकूलित कंटेनरों के बेहतर एकीकरण के लिए एक समर्पित कंटेनर प्रावधान सेवा का समर्थन करेंगे। नेक्स्टफ्लो को मूल रूप से स्पेन में सेंटर फॉर जीनोमिक रेगुलेशन में विकसित किया गया था और जुलाई 2013 में गिटहब पर एक ओपन-सोर्स परियोजना के रूप में जारी किया गया था। अक्टूबर 2018 में, नेक्स्टफ्लो के लिए परियोजना लाइसेंस को जी. पी. एल. वी. 3 से अपाचे 2 में बदल दिया गया था। जुलाई 2018 में, सेक्वेरा लैब्स को सेंटर फॉर जीनोमिक रेगुलेशन से एक स्पिन-ऑफ के रूप में लॉन्च किया गया था। कंपनी नेक्स्टफ्लो के कई मुख्य डेवलपर्स और रखरखावकर्ताओं को नियुक्त करती है और नेक्स्टफ्लो पर ध्यान केंद्रित करते हुए वाणिज्यिक सेवाएं और परामर्श प्रदान करती है। जुलाई 2020 में, उप-कार्यप्रवाह और अतिरिक्त सुधारों की अनुमति देने के लिए नेक्स्टफ्लो की डोमेन-विशिष्ट भाषा का एक प्रमुख विस्तार और संशोधन पेश किया गया था। उसी वर्ष, नेक्स्टफ्लो के मासिक डाउनलोड बढ़कर लगभग 55,000 प्रति माह हो गए थे। एन. एफ.-कोर समुदाय ने जीनोमिक विनियमन केंद्र के अलावा, अन्य अनुक्रमण सुविधाओं ने जल्दी से नेक्स्टफ्लो को अपनी पसंदीदा वैज्ञानिक कार्यप्रवाह प्रणाली के रूप में अपनाया, जिनमें ट्यूबिनजेन में मात्रात्मक जीव विज्ञान केंद्र, फ्रांसिस क्रिक संस्थान, सिंगापुर का ए * स्टार जीनोम संस्थान और स्वीडिश राष्ट्रीय जीनोमिक्स अवसंरचना शामिल हैं। उन सुविधाओं द्वारा उपयोग की जाने वाली जैव-सूचनात्मक पाइपलाइनों को साझा करने, सामंजस्य स्थापित करने और ठीक करने के प्रयास अंततः एन. एफ.-कोर परियोजना में बदल गए। स्वीडिश नेशनल जीनोमिक्स इंफ्रास्ट्रक्चर के फिल इवल्स के नेतृत्व में एन. एफ.-कोर परियोजना का ध्यान यह सुनिश्चित करना है कि पाइपलाइनें विभिन्न हार्डवेयर, ऑपरेटिंग सिस्टम और सॉफ्टवेयर संस्करणों में पुनः उत्पादन योग्य और पोर्टेबल हों। जुलाई 2020 में, नेक्स्टफ्लो और एन. एफ.-कोर को एक महत्वपूर्ण ओपन-सोर्स सॉफ्टवेयर के रूप में अपनी भूमिका को मान्यता देते हुए, चैन जुकरबर्ग इनिशिएटिव से अनुदान से सम्मानित किया गया। 2022 तक, एन. एफ.-कोर संगठन जैव विज्ञान के लिए 73 नेक्स्टफ्लो पाइपलाइनों और 700 से अधिक प्रक्रिया मॉड्यूल की मेजबानी करता है। 500 से अधिक विकासकर्ताओं और वैज्ञानिकों को एकजुट करते हुए, यह जैव-सूचनात्मक डेटा विश्लेषण पाइपलाइनों को विकसित करने के लिए सबसे बड़ा सहयोगी प्रयास और समुदाय है। डोमेन और अनुसंधान विषय द्वारा डेटा प्रोसेसिंग और जीनोमिक डेटा विश्लेषण के अनुक्रमण में नेक्स्टफ्लो को प्राथमिकता दी जाती है। पिछले पाँच वर्षों में, जीनोमिक्स के क्षेत्र में कई अलग-अलग अनुप्रयोगों और विश्लेषणों के लिए कई पाइपलाइन प्रकाशित की गई हैं। इस संबंध में एक उल्लेखनीय उपयोग का मामला कोविड-19 महामारी के दौरान रोगजनक निगरानी के लिए था। नए वायरस प्रकारों के उद्भव की निगरानी करने और इसके वैश्विक प्रसार को फिर से खोजने के लिए कच्चे डेटा के त्वरित और अत्यधिक स्वचालित, फिर भी सटीक, प्रसंस्करण, संस्करण विश्लेषण और वंशावली के पदनाम की आवश्यकता थी, जिसे नेक्स्टफ्लो में लिखी गई पाइपलाइनों द्वारा सक्षम किया गया था। नेक्स्टफ्लो गैर-लाभकारी प्लास्मिड रिपॉजिटरी एडजीन के लिए भी एक महत्वपूर्ण भूमिका निभाता है, जो इसका उपयोग सभी जमा किए गए प्लास्मिड की अखंडता की पुष्टि करने के लिए करता है। जीनोमिक्स के अलावा, नेक्स्टफ्लो बायोमेडिकल डेटा प्रोसेसिंग के अन्य क्षेत्रों में लोकप्रियता प्राप्त कर रहा है, जिसके लिए बड़ी मात्रा में प्राथमिक डेटा पर जटिल कार्यप्रवाह के अनुप्रयोग की भी आवश्यकता होती हैः ड्रग स्क्रीनिंग, रेडियोलॉजी में डिफ्यूजन मैग्नेटिक रेज़ोनेन्स इमेजिंग (डीएमआरआई), और मास स्पेक्ट्रोमेट्री डेटा प्रोसेसिंग, बाद वाला प्रोटिओमिक्स पर विशेष ध्यान केंद्रित करता है संदर्भ बाहरी लिंक आधिकारिक वेबसाइट एनएफ-कोर परियोजना सेक्वेरा लैब्स अपाचे लाइसेंस वर्कफ़्लो भाषाओं कार्यप्रवाह प्रौद्योगिकी वैज्ञानिक डेटा सिस्टम का उपयोग करके गैलेक्सी स्नेकमेक सॉफ़्टवेयर भी देखें