Nextflow
નેક્સ્ટફ્લો એ એક વૈજ્ઞાનિક વર્કફ્લો સિસ્ટમ છે જેનો ઉપયોગ મુખ્યત્વે બાયોઇન્ફોર્મેટિક ડેટા વિશ્લેષણ માટે થાય છે. તે આશ્રિત ગણતરીના પગલાંનો ક્રમ પ્રોગ્રામિક રીતે કેવી રીતે લખવો તે અંગેના ધોરણો લાદે છે અને વિવિધ સ્થાનિક અને ક્લાઉડ સંસાધનો પર તેમના અમલને સક્ષમ કરે છે. નેક્સ્ટફ્લોની કલ્પના સ્પેનના બાર્સિલોનામાં સેન્ટર ફોર જીનોમિક રેગ્યુલેશન ખાતે કરવામાં આવી હતી, પરંતુ ત્યારથી તેને બાયોમેડિકલ અને જીનોમિક્સ સંશોધન સુવિધાઓ અને પ્રયોગશાળાઓમાં વિશ્વભરમાં અપનાવવામાં આવી છે. હેતુ ઘણા વૈજ્ઞાનિક માહિતી વિશ્લેષણ માટે નોંધપાત્ર પ્રમાણમાં ક્રમિક પ્રક્રિયા પગલાંની જરૂર પડે છે. નવી પદ્ધતિઓ વિકસાવતી વખતે અથવા અવારનવાર કોઈ ચોક્કસ વિશ્લેષણ ચલાવતી વખતે કસ્ટમ સ્ક્રિપ્ટ્સ પૂરતી હોઈ શકે છે, પરંતુ જટિલ કાર્ય ઉત્તરાધિકાર અથવા ઘણા નમૂનાઓ માટે નબળી રીતે માપવામાં આવે છે. નેક્સ્ટફ્લો જેવી વૈજ્ઞાનિક કાર્યપ્રવાહ પ્રણાલીઓ ડેટા વિશ્લેષણ પાઇપલાઇન તરીકે વિશ્લેષણને ઔપચારિક બનાવવાની મંજૂરી આપે છે. પાઇપલાઇન, જેને વર્કફ્લો તરીકે પણ ઓળખવામાં આવે છે, તે સૂચનાઓ છે જે કરવા માટેના કમ્પ્યુટિંગ પગલાંના ક્રમ અને શરતોને સ્પષ્ટ કરે છે. તેઓ વિશેષ હેતુ કાર્યક્રમો, કહેવાતા વર્કફ્લો એક્ઝિક્યુટર્સ દ્વારા હાથ ધરવામાં આવે છે, જે વિવિધ ગણતરી વાતાવરણમાં અનુમાનિત અને પુનઃઉત્પાદિત વર્તનની ખાતરી કરે છે. વર્કફ્લો સિસ્ટમ્સ વર્કફ્લો ડેવલપમેન્ટના સામાન્ય પડકારો માટે બિલ્ટ-ઇન સોલ્યુશન્સ પણ પ્રદાન કરે છે, જેમ કે બહુવિધ નમૂનાઓ પર એપ્લિકેશન, ઇનપુટ અને મધ્યવર્તી પરિણામોની માન્યતા, પગલાંનો શરતી અમલ, ભૂલનું સંચાલન અને રિપોર્ટ જનરેશન. વર્કફ્લો સિસ્ટમ્સની અદ્યતન સુવિધાઓમાં સુનિશ્ચિત ક્ષમતાઓ, વર્કફ્લો એક્ઝેક્યુશનની દેખરેખ માટે ગ્રાફિકલ યુઝર ઇન્ટરફેસ અને સમગ્ર વર્કફ્લો અથવા તેના ઘટકોને કન્ટેનરાઇઝ કરીને ડિપેન્ડન્સીઝનું સંચાલન પણ શામેલ હોઈ શકે છે. સામાન્ય રીતે, વૈજ્ઞાનિક કાર્યપ્રવાહ પ્રણાલીઓ શરૂઆતમાં એક તીવ્ર શિક્ષણ પડકાર રજૂ કરે છે કારણ કે તેમની તમામ વિશેષતાઓ અને જટિલતાઓ વાસ્તવિક વિશ્લેષણની ટોચ પર અને વધુમાં ઉમેરવામાં આવે છે. જો કે, વર્કફ્લો સિસ્ટમ્સ દ્વારા લાદવામાં આવેલા ધોરણો અને અમૂર્તતા આખરે વિશ્લેષણના પગલાંની શોધક્ષમતામાં સુધારો કરે છે, જે ખાસ કરીને પાઇપલાઇન વિકાસ પર સહયોગ કરતી વખતે સુસંગત છે, જેમ કે વૈજ્ઞાનિક સેટિંગ્સમાં રૂઢિગત છે. લાક્ષણિકતાઓ કાર્યપ્રવાહની વિશિષ્ટતા આગામી પ્રવાહમાં, પાઈપલાઈન વ્યક્તિગત પ્રક્રિયાઓમાંથી બનાવવામાં આવે છે જે કોમ્પ્યુટેશનલ કાર્યોને અનુરૂપ હોય છે. દરેક પ્રક્રિયા ઇનપુટ જરૂરિયાતો અને આઉટપુટ ઘોષણાઓ સાથે સેટ કરવામાં આવે છે. એક નિશ્ચિત ક્રમમાં ચાલવાને બદલે, પ્રક્રિયાનો અમલ ત્યારે શરૂ થાય છે જ્યારે તેની તમામ ઇનપુટ જરૂરિયાતો પૂરી થાય છે. એક પ્રક્રિયાના આઉટપુટને બીજા પગલાના ઇનપુટ તરીકે નિર્દિષ્ટ કરીને, પ્રક્રિયાઓ વચ્ચે તાર્કિક અને ક્રમિક જોડાણ બનાવવામાં આવે છે. પ્રક્રિયાઓનું આ પ્રતિક્રિયાશીલ અમલીકરણ એ નેક્સ્ટફ્લોની લાક્ષણિક ડિઝાઇન પેટર્ન છે અને તેને કાર્યાત્મક ડેટાફ્લો મોડેલ તરીકે પણ ઓળખવામાં આવે છે. તે સ્વતંત્ર ગણતરીના પગલાઓના કાર્યક્ષમ સમાંતરકરણ માટે પરવાનગી આપે છે. પ્રક્રિયાઓ અને સંપૂર્ણ વર્કફ્લો ડોમેન-વિશિષ્ટ ભાષા (ડીએસએલ) માં પ્રોગ્રામ કરવામાં આવે છે જે નેક્સ્ટફ્લો દ્વારા પ્રદાન કરવામાં આવે છે અને અપાચે ગ્રૂવી પર આધારિત છે. જ્યારે નેક્સ્ટફ્લોના ડીએસએલનો ઉપયોગ વર્કફ્લો તર્કને જાહેર કરવા માટે થાય છે, ત્યારે વિકાસકર્તાઓ પ્રક્રિયામાં તેમની પસંદગીની સ્ક્રિપ્ટીંગ ભાષાનો ઉપયોગ કરી શકે છે અને વર્કફ્લોમાં બહુવિધ ભાષાઓનું મિશ્રણ કરી શકે છે. તેથી હાલની સ્ક્રિપ્ટ્સ અને વર્કફ્લોને નેક્સ્ટફ્લોમાં પોર્ટ કરવું સરળ છે. સપોર્ટેડ સ્ક્રિપ્ટીંગ ભાષાઓમાં બાશ, સી. એસ. એચ., કે. એસ. એચ., પાયથોન, રૂબી અને આર. નો સમાવેશ થાય છે. કોઈપણ સ્ક્રિપ્ટીંગ ભાષા જે પ્રમાણભૂત યુનિક્સ શેબાંગ ઘોષણા (#!/બિન/બાશ) નો ઉપયોગ કરે છે તે નેક્સ્ટફ્લોમાં સપોર્ટેડ છે. માત્ર એક જ પ્રક્રિયાનો સમાવેશ કરતો અનુકરણીય કાર્યપ્રવાહ નીચે દર્શાવવામાં આવ્યો છેઃ પ્રક્રિયા નમસ્તે _ વર્લ્ડ {ઇનપુટઃ વેલ ગ્રીટિંગ આઉટપુટઃ પાથ "${ગ્રીટિંગ}. ટેક્સ્ટ" સ્ક્રિપ્ટઃ "ઇકો" ${ગ્રીટિંગ} વર્લ્ડ! " > ${ગ્રીટિંગ}. ટેક્સ્ટ "" "} વર્કફ્લો {Channel.of (" હેલો "," સિયાઓ "," હોલા "," બોનજોર ") | હેલો _ વર્લ્ડ} વર્કફ્લો પર સીધા સહયોગને સરળ બનાવવા માટે, નેક્સ્ટફ્લો સ્રોત-કોડ વ્યવસ્થાપન પ્રણાલીઓ અને ગિટહબ, ગિટલેબ અને અન્ય સહિત દેવઓપ્સ-પ્લેટફોર્મ માટે મૂળ આધાર ધરાવે છે. નેક્સ્ટફ્લોના ડી. એસ. એલ. માં લખાયેલા વર્કફ્લોના અમલને પાઇપલાઇન કોડમાં ફેરફાર કર્યા વિના વિવિધ કમ્પ્યુટિંગ વાતાવરણમાં ગોઠવી શકાય છે અને ચલાવી શકાય છે. પોર્ટેબિલિટી સક્ષમ કરવા માટે, નેક્સ્ટફ્લો જહાજો મુખ્ય ક્લાઉડ પ્રદાતાઓ સહિત વિવિધ પ્લેટફોર્મ માટે સમર્પિત વહીવટકર્તાઓ સાથે આવે છે. કારણ કે નેક્સ્ટફ્લો વ્યક્તિગત પ્રક્રિયા પગલાંઓને અલગ કરે છે, તેને વૈકલ્પિક રીતે બહુવિધ કમ્પ્યુટિંગ પ્લેટફોર્મ્સમાં અમલ ફેલાવવા માટે ગોઠવી શકાય છે. તે પાઈપલાઈન અમલીકરણ માટે નીચેના વાતાવરણને ટેકો આપે છેઃ સ્થાનિક-મૂળભૂત વહીવટકર્તા. નેક્સ્ટફ્લો પાઇપલાઇન્સ લિનક્સ અથવા મેક ઓએસ પર ચાલે છે અને એક્ઝેક્યુશન કમ્પ્યુટર પર થાય છે જ્યાં પાઇપલાઇન શરૂ કરવામાં આવે છે. એચ. પી. સી. વર્કલોડ મેનેજર્સ-સ્લર્મ, એસ. જી. ઈ., એલ. એસ. એફ., મોઆબ, પી. બી. એસ. પ્રો, પી. બી. એસ./ટોર્ક, એચ. ટી. સી. કોન્ડોર, એન. ક્યુ. એસ. આઈ. આઈ., ઓ. એ. આર. કુબેરનેટિસ-સ્થાનિક અથવા ક્લાઉડ-આધારિત કુબેરનેટિસ અમલીકરણ (જી. કે. ઈ., ઇ. કે. એસ., અથવા એ. કે. એસ.) ક્લાઉડ બેચ સેવાઓ-એ. ડબલ્યુ. એસ. બેચ, એઝ્યુર બેચ અન્ય વાતાવરણ-અપાચે ઇગ્નાઇટ, કમ્પ્યુટિંગ વાતાવરણમાં પોર્ટેબિલિટી માટે ગૂગલ લાઇફ સાયન્સ કન્ટેનર નેક્સ્ટફ્લોની મૂળભૂત વિભાવના સોફ્ટવેર કન્ટેનર સાથે તેનું ચુસ્ત એકીકરણ છે. સંપૂર્ણ કાર્યપ્રવાહ અને, પછીની આવૃત્તિઓમાં, એકલ પ્રક્રિયાઓ પણ કંટાળાજનક સ્થાપન અને રૂપરેખાંકન દિનચર્યાઓ વિના વિવિધ ગણતરી વાતાવરણમાં તેમના અમલને મંજૂરી આપવા માટે કન્ટેનરનો ઉપયોગ કરી શકે છે. આ ડિઝાઇન પસંદગી 2013 માં ડોટસ્કેલ ખાતે સોલોમન હાઇકની ચર્ચાથી ખૂબ પ્રભાવિત હતી, જેની નેક્સ્ટફ્લોના મુખ્ય વિકાસકર્તા, પાઓલો ડી તોમાસો પર નોંધપાત્ર અસર પડી હતી. નેક્સ્ટફ્લો દ્વારા સમર્થિત કન્ટેનર માળખામાં ડોકર, સિંગ્યુલારિટી, ચાર્લીક્લાઉડ, પોડમેન અને શિફ્ટરનો સમાવેશ થાય છે. તે પ્રકારના કન્ટેનરનો ઉપયોગ વર્કફ્લોમાં થઈ શકે છે અને જ્યારે પાઇપલાઇન ચલાવવામાં આવે ત્યારે તે આપમેળે બાહ્ય ભંડારમાંથી પુનઃપ્રાપ્ત થાય છે. નેક્સ્ટફ્લો શિખર સંમેલન 2022માં, એવું અનાવરણ કરવામાં આવ્યું હતું કે નેક્સ્ટફ્લોની ભાવિ આવૃત્તિઓ વર્કફ્લોમાં કસ્ટમાઇઝ્ડ કન્ટેનરના સુધારેલા એકીકરણ માટે સમર્પિત કન્ટેનર જોગવાઈ સેવાને ટેકો આપશે. ડેવલપમેન્ટલ હિસ્ટ્રી નેક્સ્ટફ્લો મૂળરૂપે સ્પેનમાં સેન્ટર ફોર જીનોમિક રેગ્યુલેશન ખાતે વિકસાવવામાં આવ્યો હતો અને જુલાઈ 2013માં ગિટહબ પર ઓપન સોર્સ પ્રોજેક્ટ તરીકે રજૂ કરવામાં આવ્યો હતો. ઓક્ટોબર 2018 માં, નેક્સ્ટફ્લો માટેનું પ્રોજેક્ટ લાઇસન્સ જી. પી. એલ. વી. 3 થી બદલીને અપાચે 2 કરવામાં આવ્યું હતું. જુલાઈ 2018માં, સેક્વેરા લેબ્સને સેન્ટર ફોર જીનોમિક રેગ્યુલેશન તરફથી સ્પિન-ઓફ તરીકે શરૂ કરવામાં આવી હતી. કંપની નેક્સ્ટફ્લોના ઘણા મુખ્ય વિકાસકર્તાઓ અને જાળવણીકારોને રોજગારી આપે છે અને નેક્સ્ટફ્લો પર ધ્યાન કેન્દ્રિત કરીને વ્યાવસાયિક સેવાઓ અને પરામર્શ પ્રદાન કરે છે. જુલાઈ 2020 માં, પેટા-કાર્યપ્રવાહ અને વધારાના સુધારાઓને મંજૂરી આપવા માટે નેક્સ્ટફ્લોની ડોમેન-વિશિષ્ટ ભાષાનું મુખ્ય વિસ્તરણ અને પુનરાવર્તન રજૂ કરવામાં આવ્યું હતું. તે જ વર્ષે, નેક્સ્ટફ્લોના માસિક ડાઉનલોડ્સ વધીને દર મહિને આશરે 55,000 થયા હતા. દત્તક અને સ્વાગત એન. એફ.-કોર સમુદાયે સેન્ટર ફોર જીનોમિક રેગ્યુલેશન ઉપરાંત, અન્ય અનુક્રમણિકા સુવિધાઓએ ઝડપથી નેક્સ્ટફ્લોને તેમની પસંદગીની વૈજ્ઞાનિક કાર્યપ્રવાહ પ્રણાલી તરીકે અપનાવી હતી, જેમાં ટ્યુબિનજેનમાં ક્વોન્ટિટેટિવ બાયોલોજી સેન્ટર, ફ્રાન્સિસ ક્રિક ઇન્સ્ટિટ્યૂટ, એ * સ્ટાર જીનોમ ઇન્સ્ટિટ્યૂટ ઓફ સિંગાપોર અને સ્વીડિશ નેશનલ જીનોમિક્સ ઇન્ફ્રાસ્ટ્રક્ચરનો સમાવેશ થાય છે. તે સુવિધાઓ દ્વારા ઉપયોગમાં લેવાતી બાયોઇન્ફોર્મેટિક પાઇપલાઇનને વહેંચવા, સુમેળ સાધવા અને ક્યુરેટ કરવાના પ્રયાસો આખરે એન. એફ.-કોર પ્રોજેક્ટમાં ફેરવાઈ ગયા. સ્વીડિશ નેશનલ જીનોમિક્સ ઇન્ફ્રાસ્ટ્રક્ચરના ફિલ ઇવલ્સની આગેવાનીમાં એન. એફ.-કોર પ્રોજેક્ટનું ધ્યાન એ સુનિશ્ચિત કરવાનું છે કે પાઈપલાઈન વિવિધ હાર્ડવેર, ઓપરેટિંગ સિસ્ટમ્સ અને સોફ્ટવેર વર્ઝનમાં પુનઃઉત્પાદિત અને પોર્ટેબલ છે. જુલાઈ 2020માં, નેક્સ્ટફ્લો અને એનએફ-કોરને એક મહત્વપૂર્ણ ઓપન-સોર્સ સોફ્ટવેર તરીકેની તેની ભૂમિકાને માન્યતા આપતા, ચાન ઝુકરબર્ગ પહેલ તરફથી અનુદાન આપવામાં આવ્યું હતું. 2022 સુધીમાં, એન. એફ.-કોર સંસ્થા બાયોસાયન્સ માટે 73 નેક્સ્ટફ્લો પાઇપલાઇન અને 700 થી વધુ પ્રક્રિયા મોડ્યુલનું આયોજન કરે છે. 500 થી વધુ વિકાસકર્તાઓ અને વૈજ્ઞાનિકોને એક કરીને, તે બાયોઇન્ફોર્મેટિક ડેટા વિશ્લેષણ પાઇપલાઇન વિકસાવવા માટેનો સૌથી મોટો સહયોગી પ્રયાસ અને સમુદાય છે. ડોમેન અને સંશોધન વિષય દ્વારા ડેટા પ્રોસેસિંગ અને જીનોમિક ડેટા વિશ્લેષણના અનુક્રમમાં નેક્સ્ટફ્લોને પસંદ કરવામાં આવે છે. છેલ્લા પાંચ વર્ષોમાં, જીનોમિક્સના ક્ષેત્રમાં ઘણી જુદી જુદી એપ્લિકેશનો અને વિશ્લેષણ માટે અસંખ્ય પાઇપલાઇન પ્રકાશિત કરવામાં આવી છે. આ સંબંધમાં એક નોંધપાત્ર ઉપયોગનો કેસ કોવિડ-19 રોગચાળા દરમિયાન રોગકારક દેખરેખ માટે હતો. વાયરસના નવા પ્રકારોના ઉદભવ પર દેખરેખ રાખવા અને તેના વૈશ્વિક ફેલાવાને ફરીથી શોધવા માટે કાચા ડેટાની ઝડપી અને અત્યંત સ્વચાલિત, છતાં સચોટ પ્રક્રિયા, વિવિધ વિશ્લેષણ અને વંશના હોદ્દાની જરૂર હતી, જે નેક્સ્ટફ્લોમાં લખેલી પાઇપલાઇન દ્વારા સક્ષમ કરવામાં આવી હતી. નેક્સ્ટફ્લો બિન-નફાકારક પ્લાઝમિડ રીપોઝીટરી એડજીન માટે પણ મહત્વપૂર્ણ ભૂમિકા ભજવે છે, જે તેનો ઉપયોગ તમામ જમા થયેલા પ્લાઝમિડની અખંડિતતાને સમર્થન આપવા માટે કરે છે. જીનોમિક્સ ઉપરાંત, નેક્સ્ટફ્લો બાયોમેડિકલ ડેટા પ્રોસેસિંગના અન્ય ક્ષેત્રોમાં લોકપ્રિયતા મેળવી રહ્યો છે, જેમાં મોટા પ્રમાણમાં પ્રાથમિક ડેટા પર જટિલ વર્કફ્લોના ઉપયોગની પણ જરૂર પડે છેઃ ડ્રગ સ્ક્રિનિંગ, રેડિયોલોજીમાં ડિફ્યુઝન મેગ્નેટિક રેઝોનન્સ ઇમેજિંગ (ડીએમઆરઆઈ), અને માસ સ્પેક્ટ્રોમેટ્રી ડેટા પ્રોસેસિંગ, બાદમાં પ્રોટિઓમિક્સ પર વિશેષ ધ્યાન કેન્દ્રિત કરીને સંદર્ભો બાહ્ય લિંક્સ સત્તાવાર વેબસાઇટ એનએફ-કોર પ્રોજેક્ટ સેકેરા લેબ્સ અપાચે લાઇસન્સ વર્કફ્લો લેંગ્વેજીઝ વર્કફ્લો સાયન્ટિફિક ડેટા સિસ્ટમ્સનો ઉપયોગ કરીને ગેલેક્સી સ્નેકમેક સોફ્ટવેર પણ જુઓ