Nextflow
নেক্সটফ্লো হল একটি বৈজ্ঞানিক কর্মপ্রবাহ ব্যবস্থা যা প্রধানত জৈব-তথ্যগত তথ্য বিশ্লেষণের জন্য ব্যবহৃত হয়। এটি নির্ভরশীল গণনা ধাপগুলির একটি ক্রমকে প্রোগ্রামগতভাবে কীভাবে তৈরি করা যায় তার মান আরোপ করে এবং বিভিন্ন স্থানীয় এবং ক্লাউড সংস্থানগুলিতে তাদের কার্যকর করতে সক্ষম করে। নেক্সটফ্লো স্পেনের বার্সেলোনার সেন্টার ফর জিনোমিক রেগুলেশনে ধারণা করা হয়েছিল, কিন্তু তারপর থেকে বায়োমেডিকাল এবং জিনোমিক্স গবেষণা সুবিধা এবং পরীক্ষাগারগুলিতে বিশ্বব্যাপী গ্রহণ করা হয়েছে। উদ্দেশ্য অনেক বৈজ্ঞানিক তথ্য বিশ্লেষণের জন্য উল্লেখযোগ্য পরিমাণে ক্রমিক প্রক্রিয়াকরণ পদক্ষেপের প্রয়োজন হয়। নতুন পদ্ধতি বিকাশের সময় বা কদাচিৎ একটি নির্দিষ্ট বিশ্লেষণ চালানোর সময় কাস্টম স্ক্রিপ্টগুলি যথেষ্ট হতে পারে, তবে জটিল কাজের উত্তরাধিকার বা অনেক নমুনার জন্য দুর্বলভাবে পরিমাপ করা হয়। নেক্সটফ্লোর মতো বৈজ্ঞানিক কর্মপ্রবাহ ব্যবস্থা তথ্য বিশ্লেষণ পাইপলাইন হিসাবে একটি বিশ্লেষণকে আনুষ্ঠানিক করার অনুমতি দেয়। পাইপলাইন, যা ওয়ার্কফ্লো নামেও পরিচিত, এমন নির্দেশাবলী যা সম্পাদন করার জন্য কম্পিউটিং ধাপগুলির ক্রম এবং শর্তগুলি নির্দিষ্ট করে। এগুলি বিশেষ উদ্দেশ্যমূলক প্রোগ্রাম, তথাকথিত ওয়ার্কফ্লো এক্সিকিউটর দ্বারা পরিচালিত হয়, যা বিভিন্ন গণনা পরিবেশে অনুমানযোগ্য এবং পুনরুত্পাদনযোগ্য আচরণ নিশ্চিত করে। ওয়ার্কফ্লো সিস্টেমগুলি ওয়ার্কফ্লো বিকাশের সাধারণ চ্যালেঞ্জগুলির অন্তর্নির্মিত সমাধানও সরবরাহ করে, যেমন একাধিক নমুনায় প্রয়োগ, ইনপুট এবং মধ্যবর্তী ফলাফলের বৈধতা, পদক্ষেপগুলির শর্তাধীন সম্পাদন, ত্রুটি পরিচালনা এবং প্রতিবেদন তৈরি। ওয়ার্কফ্লো সিস্টেমের উন্নত বৈশিষ্ট্যগুলির মধ্যে সময়সূচী ক্ষমতা, ওয়ার্কফ্লো এক্সিকিউশন পর্যবেক্ষণের জন্য গ্রাফিকাল ইউজার ইন্টারফেস এবং পুরো ওয়ার্কফ্লো বা এর উপাদানগুলিকে ধারণ করে নির্ভরতা পরিচালনা অন্তর্ভুক্ত থাকতে পারে। সাধারণত, বৈজ্ঞানিক কর্মপ্রবাহ ব্যবস্থা প্রাথমিকভাবে একটি তীব্র শেখার চ্যালেঞ্জ উপস্থাপন করে কারণ তাদের সমস্ত বৈশিষ্ট্য এবং জটিলতা প্রকৃত বিশ্লেষণের পাশাপাশি যোগ করা হয়। যাইহোক, ওয়ার্কফ্লো সিস্টেম দ্বারা আরোপিত মান এবং বিমূর্ততা শেষ পর্যন্ত বিশ্লেষণ পদক্ষেপগুলির সন্ধানযোগ্যতা উন্নত করে, যা পাইপলাইনের বিকাশে সহযোগিতা করার সময় বিশেষভাবে প্রাসঙ্গিক, যেমন বৈজ্ঞানিক সেটিংসে প্রথাগত। বৈশিষ্ট্য কর্মপ্রবাহের নির্দিষ্টকরণ পরবর্তী প্রবাহে, গণনামূলক কাজের সাথে সামঞ্জস্যপূর্ণ পৃথক প্রক্রিয়া থেকে পাইপলাইন তৈরি করা হয়। প্রতিটি প্রক্রিয়া ইনপুট প্রয়োজনীয়তা এবং আউটপুট ঘোষণার সাথে সেট আপ করা হয়। একটি নির্দিষ্ট ক্রমে চলার পরিবর্তে, একটি প্রক্রিয়া কার্যকর করা শুরু হয় যখন তার সমস্ত ইনপুট প্রয়োজনীয়তা পূরণ করা হয়। একটি প্রক্রিয়ার আউটপুটকে অন্য ধাপের ইনপুট হিসাবে নির্দিষ্ট করে, প্রক্রিয়াগুলির মধ্যে একটি যৌক্তিক এবং ক্রমিক সংযোগ তৈরি করা হয়। প্রক্রিয়াগুলির এই প্রতিক্রিয়াশীল বাস্তবায়ন নেক্সটফ্লোর একটি চরিত্রগত নকশা প্যাটার্ন এবং কার্যকরী ডেটাফ্লো মডেল হিসাবেও পরিচিত। এটি স্বাধীন গণনার ধাপগুলির দক্ষ সমান্তরালকরণের অনুমতি দেয়। প্রক্রিয়া এবং পুরো ওয়ার্কফ্লো একটি ডোমেন-নির্দিষ্ট ভাষায় (ডিএসএল) প্রোগ্রাম করা হয় যা নেক্সটফ্লো দ্বারা সরবরাহ করা হয় এবং অ্যাপাচি গ্রুভির উপর ভিত্তি করে। যদিও নেক্সটফ্লোর ডিএসএল ওয়ার্কফ্লো লজিক ঘোষণা করতে ব্যবহৃত হয়, ডেভেলপাররা একটি প্রক্রিয়ার মধ্যে তাদের পছন্দের স্ক্রিপ্টিং ভাষা ব্যবহার করতে পারে এবং ওয়ার্কফ্লোতে একাধিক ভাষা মিশ্রিত করতে পারে। তাই নেক্সটফ্লোতে বিদ্যমান স্ক্রিপ্ট এবং ওয়ার্কফ্লো পোর্ট করা সহজবোধ্য। সমর্থিত স্ক্রিপ্টিং ভাষাগুলির মধ্যে রয়েছে ব্যাশ, সি. এস. এইচ, কে. এস. এইচ, পাইথন, রুবি এবং আর। যে কোনও স্ক্রিপ্টিং ভাষা যা স্ট্যান্ডার্ড ইউনিক্স শেবাং ঘোষণা (#!/বিন/ব্যাশ) ব্যবহার করে তা নেক্সটফ্লোতে সমর্থিত। শুধুমাত্র একটি প্রক্রিয়া নিয়ে গঠিত একটি দৃষ্টান্তমূলক কর্মপ্রবাহ নীচে দেখানো হয়েছেঃ প্রক্রিয়া হ্যালো _ ওয়ার্ল্ড {ইনপুটঃ ভাল অভিবাদন আউটপুটঃ পথ "${অভিবাদন}. টেক্সট" স্ক্রিপ্টঃ "প্রতিধ্বনি" ${অভিবাদন} বিশ্ব! " > ${গ্রীটিং}. টেক্সট "" "} ওয়ার্কফ্লো {Channel.of (" হ্যালো "," সিয়াও "," হোলা "," বনজোর ")। হ্যালো _ ওয়ার্ল্ড} ওয়ার্কফ্লোতে সরাসরি সহযোগিতার সুবিধার্থে, নেক্সটফ্লোতে সোর্স-কোড ম্যানেজমেন্ট সিস্টেম এবং গিটহাব, গিটল্যাব এবং অন্যান্য সহ ডিভোপস-প্ল্যাটফর্মগুলির জন্য স্থানীয় সমর্থন রয়েছে। নেক্সটফ্লোর ডি. এস. এল-এ লিখিত ওয়ার্কফ্লোগুলির কার্যকারিতা পাইপলাইন কোডে পরিবর্তন ছাড়াই বিভিন্ন কম্পিউটিং পরিবেশে স্থাপন এবং চালানো যেতে পারে। বহনযোগ্যতা সক্ষম করতে, প্রধান ক্লাউড সরবরাহকারী সহ বিভিন্ন প্ল্যাটফর্মের জন্য নিবেদিত নির্বাহক সহ নেক্সটফ্লো জাহাজ। যেহেতু নেক্সটফ্লো পৃথক প্রক্রিয়া ধাপগুলিকে বিচ্ছিন্ন করে দেয়, তাই এটি বিকল্পভাবে একাধিক কম্পিউটিং প্ল্যাটফর্ম জুড়ে এক্সিকিউশন ছড়িয়ে দেওয়ার জন্য কনফিগার করা যেতে পারে। এটি পাইপলাইন কার্যকর করার জন্য নিম্নলিখিত পরিবেশগুলিকে সমর্থন করেঃ স্থানীয়-ডিফল্ট নির্বাহক। নেক্সটফ্লো পাইপলাইনগুলি লিনাক্স বা ম্যাক ওএস-এ চলে এবং যে কম্পিউটারে পাইপলাইনটি চালু করা হয় সেখানে কার্যকর করা হয়। এইচপিসি ওয়ার্কলোড ম্যানেজার-স্লার্ম, এসজিই, এলএসএফ, মোয়াব, পিবিএস প্রো, পিবিএস/টর্ক, এইচটিসি কন্ডর, এনকিউএসআইআই, ওআর কুবেরনেটস-স্থানীয় বা ক্লাউড-ভিত্তিক কুবেরনেটস বাস্তবায়ন (জিকেই, ইকেএস, বা একেএস) ক্লাউড ব্যাচ পরিষেবা-এডাব্লুএস ব্যাচ, অ্যাজুরে ব্যাচ অন্যান্য পরিবেশ-অ্যাপাচি ইগনাইট, কম্পিউটিং পরিবেশ জুড়ে বহনযোগ্যতার জন্য গুগল লাইফ সায়েন্সেস কনটেইনার নেক্সটফ্লোর একটি মৌলিক ধারণা হল সফ্টওয়্যার পাত্রেগুলির সাথে এর নিবিড় সংহতকরণ। সম্পূর্ণ কর্মপ্রবাহ এবং, পরবর্তী সংস্করণগুলিতে, একক প্রক্রিয়াগুলি ক্লান্তিকর ইনস্টলেশন এবং কনফিগারেশন রুটিন ছাড়াই বিভিন্ন গণনা পরিবেশে তাদের কার্যকর করার অনুমতি দেওয়ার জন্য ধারকগুলিকে ব্যবহার করতে পারে। এই নকশা পছন্দটি 2013 সালে ডটস্কেলে সলোমন হাইকের বক্তৃতা দ্বারা দৃঢ়ভাবে প্রভাবিত হয়েছিল, যা নেক্সটফ্লোর প্রধান বিকাশকারী পাওলো ডি টমাসোর উপর উল্লেখযোগ্য প্রভাব ফেলেছিল। নেক্সটফ্লো দ্বারা সমর্থিত কনটেইনার কাঠামোর মধ্যে রয়েছে ডকার, সিঙ্গুলারিটি, চার্লিক্লাউড, পডম্যান এবং শিফটার। এই ধরনের ধারকগুলি একটি কর্মপ্রবাহে ব্যবহার করা যেতে পারে এবং পাইপলাইনটি কার্যকর হওয়ার পরে স্বয়ংক্রিয়ভাবে বাহ্যিক সংগ্রহস্থল থেকে পুনরুদ্ধার করা হয়। নেক্সটফ্লো সামিট 2022-এ, এটি উন্মোচন করা হয়েছিল যে নেক্সটফ্লোর ভবিষ্যতের সংস্করণগুলি কর্মপ্রবাহে কাস্টমাইজড ধারকগুলির উন্নত সংহতকরণের জন্য একটি নিবেদিত ধারক সরবরাহ পরিষেবাকে সমর্থন করবে। ডেভেলপমেন্টাল হিস্ট্রি নেক্সটফ্লো মূলত স্পেনের সেন্টার ফর জিনোমিক রেগুলেশনে তৈরি করা হয়েছিল এবং জুলাই 2013 সালে গিটহাবে একটি ওপেন সোর্স প্রকল্প হিসাবে প্রকাশিত হয়েছিল। 2018 সালের অক্টোবরে, নেক্সটফ্লোর জন্য প্রকল্পের লাইসেন্স জিপিএলভি3 থেকে অ্যাপাচি 2-এ পরিবর্তন করা হয়। জুলাই 2018 সালে, সেন্টার ফর জিনোমিক রেগুলেশন থেকে একটি স্পিন-অফ হিসাবে সেকেরা ল্যাবস চালু করা হয়েছিল। সংস্থাটি নেক্সটফ্লোর অনেক মূল বিকাশকারী এবং রক্ষণাবেক্ষণকারীদের নিয়োগ করে এবং নেক্সটফ্লোর উপর দৃষ্টি নিবদ্ধ করে বাণিজ্যিক পরিষেবা এবং পরামর্শ প্রদান করে। 2020 সালের জুলাই মাসে, উপ-কর্মপ্রবাহ এবং অতিরিক্ত উন্নতির অনুমতি দেওয়ার জন্য নেক্সটফ্লোর ডোমেন-নির্দিষ্ট ভাষার একটি বড় সম্প্রসারণ এবং সংশোধন চালু করা হয়েছিল। একই বছরে, নেক্সটফ্লোর মাসিক ডাউনলোড প্রতি মাসে প্রায় 55,000-এ বৃদ্ধি পেয়েছিল। এনএফ-কোর সম্প্রদায় সেন্টার ফর জিনোমিক রেগুলেশন ছাড়াও, অন্যান্য সিকোয়েন্সিং সুবিধাগুলি দ্রুত নেক্সটফ্লোকে তাদের পছন্দের বৈজ্ঞানিক কর্মপ্রবাহ ব্যবস্থা হিসাবে গ্রহণ করেছিল, তাদের মধ্যে তুবিনজেনের কোয়ান্টিটেটিভ বায়োলজি সেন্টার, ফ্রান্সিস ক্রিক ইনস্টিটিউট, সিঙ্গাপুরের এ * স্টার জিনোম ইনস্টিটিউট এবং সুইডিশ ন্যাশনাল জিনোমিক্স ইনফ্রাস্ট্রাকচার। সেই সুবিধাগুলির দ্বারা ব্যবহৃত বায়োইনফরম্যাটিক পাইপলাইনগুলি ভাগ করে নেওয়ার, সামঞ্জস্য করার এবং সংশোধন করার প্রচেষ্টা অবশেষে এনএফ-কোর প্রকল্পে পরিণত হয়। সুইডিশ ন্যাশনাল জিনোমিক্স ইনফ্রাস্ট্রাকচারের ফিল ইওয়েলসের নেতৃত্বে এনএফ-কোর প্রকল্পের কেন্দ্রবিন্দু হল বিভিন্ন হার্ডওয়্যার, অপারেটিং সিস্টেম এবং সফ্টওয়্যার সংস্করণগুলিতে পাইপলাইনগুলি পুনরুত্পাদনযোগ্য এবং বহনযোগ্য তা নিশ্চিত করা। 2020 সালের জুলাই মাসে, নেক্সটফ্লো এবং এনএফ-কোরকে একটি গুরুত্বপূর্ণ ওপেন সোর্স সফ্টওয়্যার হিসাবে এর ভূমিকাকে স্বীকৃতি দিয়ে চ্যান জুকারবার্গ ইনিশিয়েটিভ থেকে একটি অনুদান প্রদান করা হয়। 2022 সাল পর্যন্ত, এন. এফ-কোর সংস্থাটি জৈববিজ্ঞানের জন্য 73টি নেক্সটফ্লো পাইপলাইন এবং 700টিরও বেশি প্রক্রিয়া মডিউলের আয়োজন করে। 500 জনেরও বেশি ডেভেলপার এবং বিজ্ঞানীদের একত্রিত করে, এটি বায়োইনফরম্যাটিক ডেটা বিশ্লেষণ পাইপলাইন বিকাশের জন্য বৃহত্তম সহযোগিতামূলক প্রচেষ্টা এবং সম্প্রদায়। ডোমেন এবং গবেষণা বিষয় দ্বারা ডেটা প্রসেসিং এবং জিনোমিক ডেটা বিশ্লেষণে নেক্সটফ্লো পছন্দ করা হয়। গত পাঁচ বছরে জিনোমিক্সের ক্ষেত্রে বিভিন্ন প্রয়োগ এবং বিশ্লেষণের জন্য অসংখ্য পাইপলাইন প্রকাশিত হয়েছে। এই ক্ষেত্রে একটি উল্লেখযোগ্য ব্যবহার ছিল কোভিড-19 মহামারী চলাকালীন প্যাথোজেন নজরদারির জন্য। নতুন ভাইরাস বৈকল্পিকের উত্থান পর্যবেক্ষণ এবং এর বিশ্বব্যাপী বিস্তারকে পুনরুদ্ধার করার জন্য কাঁচা তথ্যের দ্রুত এবং অত্যন্ত স্বয়ংক্রিয়, তবুও নির্ভুল, প্রক্রিয়াকরণ, বৈকল্পিক বিশ্লেষণ এবং বংশের পদবি প্রয়োজন, যা নেক্সটফ্লোতে লেখা পাইপলাইন দ্বারা সক্ষম করা হয়েছিল। নেক্সটফ্লো অলাভজনক প্লাজমিড সংগ্রহস্থল অ্যাডজিনের জন্যও একটি গুরুত্বপূর্ণ ভূমিকা পালন করে, যা সমস্ত জমা হওয়া প্লাজমিডগুলির অখণ্ডতা নিশ্চিত করতে এটি ব্যবহার করে। জিনোমিক্স ছাড়াও, নেক্সটফ্লো বায়োমেডিকাল ডেটা প্রসেসিংয়ের অন্যান্য ক্ষেত্রে জনপ্রিয়তা অর্জন করছে, যার জন্য প্রচুর পরিমাণে প্রাথমিক তথ্যের উপর জটিল ওয়ার্কফ্লো প্রয়োগের প্রয়োজন হয়ঃ ড্রাগ স্ক্রিনিং, রেডিওলজিতে ডিফিউশন ম্যাগনেটিক রেজোন্যান্স ইমেজিং (ডিএমআরআই), এবং মাস স্পেকট্রোমেট্রি ডেটা প্রসেসিং, পরেরটি প্রোটিওমিক্সের উপর বিশেষ দৃষ্টি নিবদ্ধ করে রেফারেন্স এক্সটার্নাল লিঙ্ক অফিসিয়াল ওয়েবসাইট এনএফ-কোর প্রজেক্ট সেকেরা ল্যাবস অ্যাপাচি লাইসেন্স ওয়ার্কফ্লো ল্যাঙ্গুয়েজ ব্যবহার করে গ্যালাক্সি স্ন্যাকমেক সফ্টওয়্যারও দেখুন ওয়ার্কফ্লো প্রযুক্তি বৈজ্ঞানিক ডেটা সিস্টেম