PhyCV
ફાયસીવી એ પ્રથમ કોમ્પ્યુટર વિઝન લાઇબ્રેરી છે જે ભૌતિક ઘટનાઓને સંચાલિત કરતા ભૌતિકશાસ્ત્રના સમીકરણોમાંથી સીધા મેળવેલા અલ્ગોરિધમનો ઉપયોગ કરે છે. પ્રથમ પ્રકાશનમાં દેખાતા અલ્ગોરિધમ્સ કુદરતી અને એન્જિનિયર્ડ વિવર્તનશીલ ગુણધર્મો સાથે ભૌતિક માધ્યમ દ્વારા પ્રકાશના પ્રસારનું અનુકરણ કરે છે, ત્યારબાદ સુસંગત શોધ થાય છે. પરંપરાગત અલ્ગોરિધમ્સ જે હાથથી રચાયેલા પ્રયોગમૂલક નિયમોનો ક્રમ છે તેનાથી વિપરીત, ભૌતિકશાસ્ત્ર-પ્રેરિત અલ્ગોરિધમ્સ બ્લુપ્રિન્ટ્સ તરીકે પ્રકૃતિના ભૌતિક નિયમોનો લાભ લે છે. વધુમાં, આ અલ્ગોરિધમ્સ, સૈદ્ધાંતિક રીતે, એનાલોગ કમ્પ્યુટિંગના સ્વરૂપમાં ઝડપી અને કાર્યક્ષમ ગણતરી માટે વાસ્તવિક ભૌતિક ઉપકરણોમાં લાગુ કરી શકાય છે. હાલમાં PhyCV પાસે ત્રણ અલ્ગોરિધમ્સ છે, ફેઝ-સ્ટ્રેચ ટ્રાન્સફોર્મ (PST) અને ફેઝ-સ્ટ્રેચ એડેપ્ટિવ ગ્રેડિયન્ટ-ફિલ્ડ એક્સટ્રેક્ટર (PAGE), અને વર્ચ્યુઅલ વિવર્તન અને સુસંગત તપાસ (VEViD) દ્વારા દ્રષ્ટિ વૃદ્ધિ. બધા અલ્ગોરિધમ્સમાં સીપીયુ અને જીપીયુ વર્ઝન હોય છે. PhyCV હવે GitHub પર ઉપલબ્ધ છે અને તેને પાઇપથી સ્થાપિત કરી શકાય છે. ફાયસીવીમાં ઇતિહાસ એલ્ગોરિધમ્સ ફોટોનિક ટાઇમ સ્ટ્રેચ (અલ્ટ્રાફાસ્ટ અને સિંગલ-શોટ ડેટા એક્વિઝિશન માટેની હાર્ડવેર તકનીક) ના ભૌતિકશાસ્ત્રથી પ્રેરિત છે. પી. એસ. ટી. એ એક ધાર શોધ અલ્ગોરિધમ છે જે 2016 માં ઓપન-સોર્સ કરવામાં આવ્યું હતું અને ગિટહબ પર 800 + તારાઓ અને 200 + કાંટો ધરાવે છે. પેજ એ એક દિશાસૂચક ધાર શોધ અલ્ગોરિધમ છે જે ફેબ્રુઆરી, 2022માં ઓપન-સોર્સ કરવામાં આવ્યું હતું. ફાયસીવી મૂળરૂપે મે 2022માં જલાલી-લેબ @યુસીએલએ દ્વારા વિકસાવવામાં આવી હતી અને ઓપન સોર્સ કરવામાં આવી હતી. PhyCV ના પ્રારંભિક પ્રકાશનમાં, PST અને PAGE ના મૂળ ઓપન-સોર્સ કોડને મોડ્યુલર, વધુ કાર્યક્ષમ, જી. પી. યુ.-એક્સિલરેટેડ અને ઓબ્જેક્ટ-ઓરિએન્ટેડ બનવા માટે નોંધપાત્ર રીતે રિફેકટર અને સુધારવામાં આવ્યો છે. VEViD એ લો-લાઇટ અને કલર એન્હાન્સમેન્ટ અલ્ગોરિધમ છે જે નવેમ્બર 2022માં PhyCVમાં ઉમેરવામાં આવ્યું હતું. બેકગ્રાઉન્ડ ફેઝ-સ્ટ્રેચ ટ્રાન્સફોર્મ (પી. એસ. ટી.) ફેઝ-સ્ટ્રેચ ટ્રાન્સફોર્મ (પી. એસ. ટી.) એ કોમ્પ્યુટેશનલ રીતે કાર્યક્ષમ ધાર અને ટેક્સચર ડિટેક્શન અલ્ગોરિધમ છે જે દૃષ્ટિહીન છબીઓમાં અસાધારણ પ્રદર્શન કરે છે. અલ્ગોરિધમ એન્જિનિયર્ડ ડિફ્રેક્ટિવ પ્રોપર્ટી સાથે ઉપકરણ દ્વારા પ્રકાશના પ્રસારનું અનુકરણ કરીને છબીને પરિવર્તિત કરે છે અને ત્યારબાદ સુસંગત શોધ કરે છે. તેનો ઉપયોગ એમઆરઆઈ ઇમેજના રિઝોલ્યુશનમાં સુધારો કરવા, રેટિના છબીઓમાં રક્ત વાહિનીઓ કાઢવા, ડોલ્ફિનની ઓળખ અને નકામા પાણીની સારવાર, સિંગલ મોલેક્યુલ બાયોલોજિકલ ઇમેજિંગ અને માઇક્રો ડોપ્લર ઇમેજિંગનો ઉપયોગ કરીને યુએવીના વર્ગીકરણમાં કરવામાં આવ્યો છે. ફેઝ-સ્ટ્રેચ એડેપ્ટિવ ગ્રેડિયન્ટ-ફિલ્ડ એક્સટ્રેક્ટર (PAGE) ફેઝ-સ્ટ્રેચ એડેપ્ટિવ ગ્રેડિયન્ટ-ફિલ્ડ એક્સટ્રેક્ટર (PAGE) એ ભૌતિકશાસ્ત્રથી પ્રેરિત એલ્ગોરિધમ છે જે વિવિધ સ્કેલ પર ડિજિટલ છબીઓમાં ધાર અને તેમની દિશાઓ શોધવા માટે છે. અલ્ગોરિધમ ઓપ્ટિક્સના વિવર્તન સમીકરણો પર આધારિત છે. રૂપકાત્મક રીતે કહીએ તો, PAGE ચોક્કસ વિવર્તનશીલ માળખા સાથે ભૌતિક ઉપકરણ દ્વારા બાયરેફ્રિન્જન્ટ (અભિગમ-આધારિત) વિવર્તનશીલ પ્રસારના ભૌતિકશાસ્ત્રનું અનુકરણ કરે છે. પ્રચાર વાસ્તવિક મૂલ્યની છબીને જટિલ કાર્યમાં રૂપાંતરિત કરે છે. સંબંધિત માહિતી આઉટપુટના વાસ્તવિક અને કાલ્પનિક ઘટકોમાં સમાયેલી હોય છે. આઉટપુટ જટિલ કાર્યના તબક્કાને રજૂ કરે છે. વર્ચ્યુઅલ વિવર્તન અને સુસંગત શોધ (VEViD) દ્વારા દ્રષ્ટિ વૃદ્ધિ વર્ચ્યુઅલ વિવર્તન અને સુસંગત શોધ (VEViD) દ્વારા દ્રષ્ટિ વૃદ્ધિ એક કાર્યક્ષમ અને અર્થઘટન કરી શકાય તેવું ઓછા પ્રકાશ અને રંગ વૃદ્ધિ અલ્ગોરિધમ છે જે ડિજિટલ છબીને અવકાશી રીતે બદલાતા રૂપક પ્રકાશ ક્ષેત્ર તરીકે ફરીથી કલ્પના કરે છે અને પછી ક્ષેત્રને વિવર્તન અને સુસંગત શોધ જેવી ભૌતિક પ્રક્રિયાઓને આધિન કરે છે. "વર્ચ્યુઅલ" શબ્દ ભૌતિક જગતમાંથી વિચલનને મેળવે છે. પ્રકાશ ક્ષેત્ર પિક્સેલેટેડ છે અને પ્રસાર આવર્તન પર મનસ્વી નિર્ભરતા સાથે એક તબક્કો પ્રદાન કરે છે જે ભૌતિક વિવર્તનના દ્વિઘાત વર્તનથી અલગ હોઈ શકે છે. VEViD ને ગાણિતિક અંદાજો દ્વારા વધુ વેગ આપી શકાય છે જે છબીની ગુણવત્તામાં પ્રશંસનીય બલિદાન વિના ગણતરીના સમયને ઘટાડે છે. VEViD માટે બંધ સ્વરૂપનો અંદાજ જેને આપણે VEViD-લાઇટ કહીએ છીએ તે 4K વિડિયો વૃદ્ધિ માટે 200 FPS સુધી પ્રાપ્ત કરી શકે છે. નીચા-પરિમાણીય અને ઉચ્ચ-કાર્યક્ષમતા દર્શાવતી ધાર પરની PhyCV, ધાર કમ્પ્યુટિંગ કાર્યક્રમો માટે આદર્શ છે. આ વિભાગમાં, અમે વાસ્તવિક સમયમાં એનવીઆઈડીઆઈએ જેટ્સન નેનો પર ફાયસીવી ચલાવવાનું દર્શાવીએ છીએ. એનવીડિયા જેટ્સન નેનો ડેવલપર કિટ એનવીડિયા જેટ્સન નેનો ડેવલપર કિટ એ એજ કમ્પ્યુટિંગ એપ્લિકેશન્સ માટે નાના કદના અને પાવર-કાર્યક્ષમ પ્લેટફોર્મ છે. તે 128 સીયુડીએ કોર સાથે એનવીડિયા મેક્સવેલ આર્કિટેક્ચર જીપીયુ, ક્વાડ-કોર એઆરએમ કોર્ટેક્સ-એ57 સીપીયુ, 4 જીબી 64-બીટ એલપીડીડીઆર4 રેમથી સજ્જ છે અને 4કે રિઝોલ્યુશન સુધી વીડિયો એન્કોડિંગ અને ડીકોડિંગને સપોર્ટ કરે છે. જેટ્સન નેનો કનેક્ટિવિટી અને વિસ્તરણ માટે વિવિધ ઇન્ટરફેસો પણ પ્રદાન કરે છે, જે તેને AI અને IOT એપ્લિકેશનોની વિશાળ શ્રેણી માટે આદર્શ બનાવે છે. અમારા સેટઅપમાં, અમે વીડિયો મેળવવા માટે જેટ્સન નેનો સાથે યુએસબી કેમેરાને જોડીએ છીએ અને વાસ્તવિક સમયમાં વીડિયો પર પ્રક્રિયા કરવા માટે ફાયસીવીનો ઉપયોગ કરીને પ્રદર્શન કરીએ છીએ. અમે જેટ્સન નેનો (4 જીબી) નો ઉપયોગ એનવીડિયા જેટપેક એસડીકે વર્ઝન 4.6.1 સાથે કરીએ છીએ, જે પૂર્વ-સ્થાપિત પાયથોન 3.6, સીયુડીએ 10.2 અને ઓપનસીવી 4.1.1 સાથે આવે છે. અમે જી. પી. યુ. એક્સિલરેટેડ ફાયસીવીને સક્ષમ કરવા માટે પાયટોર્ચ 1.10 સ્થાપિત કરીએ છીએ. અમે ધાર શોધ અને ઓછા પ્રકાશમાં વૃદ્ધિ કાર્યો માટે વાસ્તવિક સમયમાં જેટ્સન નેનો પર PhyCV ચલાવવાના પરિણામો અને મેટ્રિક્સનું પ્રદર્શન કરીએ છીએ. 480p વીડિયો માટે, બંને કામગીરીઓ 38 FPS થી વધુ હાંસલ કરે છે, જે 30 FPS પર વીડિયો કેપ્ચર કરતા મોટાભાગના કેમેરા માટે પૂરતી છે. 720p વીડિયો માટે, ફાયસીવી લો-લાઇટ એન્હાન્સમેન્ટ 24 એફપીએસ પર કામ કરી શકે છે અને ફાયસીવી એજ ડિટેક્શન 17 એફપીએસ પર કામ કરી શકે છે. હાઇલાઇટ્સ મોડ્યુલર કોડ આર્કિટેક્ચર ફાયસીવીમાં કોડ મોડ્યુલર ડિઝાઇન ધરાવે છે જે ભૌતિક પ્રક્રિયાને વિશ્વાસુપણે અનુસરે છે જેમાંથી અલ્ગોરિધમનો ઉદ્દભવ થયો હતો. PhyCV લાઈબ્રેરીમાં PST અને PAGE મોડ્યુલો બંને એન્જિનિયર્ડ ડિફ્રેક્ટિવ પ્રોપર્ટી સાથેના ઉપકરણ દ્વારા ઇનપુટ સિગ્નલ (મૂળ ડિજિટલ છબી) ના પ્રસારનું અનુકરણ કરે છે, ત્યારબાદ સુસંગત (તબક્કો) શોધ થાય છે. વિખેરણ પ્રસાર મૂળ છબીના આવર્તન ક્ષેત્ર પર તબક્કાના કર્નલને લાગુ કરે છે. આ પ્રક્રિયામાં સામાન્ય રીતે ત્રણ પગલાં હોય છે, છબીને લોડ કરવી, કર્નલની શરૂઆત કરવી અને કર્નલ લાગુ કરવું. ફાયસીવીના અમલીકરણમાં, દરેક અલ્ગોરિધમ પાયથોનમાં એક વર્ગ તરીકે રજૂ થાય છે અને દરેક વર્ગમાં એવી પદ્ધતિઓ હોય છે જે ઉપર વર્ણવેલ પગલાંઓનું અનુકરણ કરે છે. મોડ્યુલર કોડ આર્કિટેક્ચર એલ્ગોરિધમ પાછળના ભૌતિકશાસ્ત્રને અનુસરે છે. મહેરબાની કરીને વધુ વિગતો માટે GitHub પરના સ્રોત કોડનો સંદર્ભ લો. જી. પી. યુ. પ્રવેગ PhyCV જી. પી. યુ. પ્રવેગને ટેકો આપે છે. પી. એસ. ટી. અને પી. એ. જી. ઇ. ના જી. પી. યુ. આવૃત્તિઓ સી. યુ. ડી. એ. ટૂલકિટ દ્વારા ઝડપી કરાયેલ પાયટોર્ચ પર બનાવવામાં આવી છે. વાસ્તવિક સમયની છબી વિડિયો પ્રક્રિયા અને અન્ય ઊંડા શિક્ષણ કાર્યોમાં અલ્ગોરિધમ્સને લાગુ કરવા માટે પ્રવેગક ફાયદાકારક છે. વિવિધ રિઝોલ્યુશન પર વીડિયો માટે CPU (ઇન્ટેલ i 9-9900 K) અને GPU (Nvidia TITAN RTX) પર PhyCV અલ્ગોરિધમ્સની ફ્રેમ દીઠ ચાલી રહેલો સમય નીચે દર્શાવેલ છે. નોંધ લો કે ફાયસીવી લો-લાઇટ એન્હાન્સમેન્ટ એચએસવી કલર સ્પેસમાં કામ કરે છે, તેથી ચાલી રહેલા સમયમાં આરજીબીથી એચએસવી રૂપાંતરણનો પણ સમાવેશ થાય છે. જો કે, જી. પી. યુ. નો ઉપયોગ કરતા તમામ ચાલી રહેલા સમય માટે, અમે સીપીયુથી જી. પી. યુ. માં ડેટા ખસેડવાના સમયની અવગણના કરીએ છીએ અને માત્ર અલ્ગોરિધમ કામગીરીના સમયની ગણતરી કરીએ છીએ. સ્થાપન અને ઉદાહરણો મહેરબાની કરીને વિગતવાર તકનીકી દસ્તાવેજીકરણ માટે GitHub README ફાઇલનો સંદર્ભ લો. રીઅલ-ટાઇમ વિડિયો પ્રોસેસિંગ માટે વર્તમાન મર્યાદાઓ I/O (ઇનપુટ/આઉટપુટ) અડચણ કેમેરાથી રીઅલ-ટાઇમ વિડિયો સ્ટ્રીમ્સ સાથે કામ કરતી વખતે, ફ્રેમને કેપ્ચર કરવામાં આવે છે અને CPUમાં બફર કરવામાં આવે છે અને જી. પી. યુ.-એક્સિલરેટેડ ફાયસીવી અલ્ગોરિધમ્સ ચલાવવા માટે તેને જી. પી. યુ. માં ખસેડવી પડે છે. આ પ્રક્રિયા સમય માંગી લે છે અને તે રીઅલ-ટાઇમ વિડિયો-પ્રોસેસિંગ અલ્ગોરિધમ્સ માટે એક સામાન્ય અડચણ છે. વિવિધ છબીઓ માટે પરિમાણ અનુકૂલનશીલતાનો અભાવ હાલમાં, વિવિધ છબીઓ માટે ફાયસીવી અલ્ગોરિધમ્સના પરિમાણોને જાતે જ ટ્યુન કરવા પડે છે. જો કે પૂર્વ-પસંદ કરેલા પરિમાણોનો સમૂહ છબીઓની વિશાળ શ્રેણી માટે પ્રમાણમાં સારી રીતે કામ કરે છે, વિવિધ છબીઓ માટે પરિમાણ અનુકૂલનશીલતાનો અભાવ હમણાં માટે એક મર્યાદા છે. એજ ડિટેક્શન ફીચર ડિટેક્શન (કમ્પ્યુટર વિઝન) ટાઇમ સ્ટ્રેચ એનાલોગ-ટુ-ડિજિટલ કન્વર્ટર ટાઇમ સ્ટ્રેચ ડિસ્પર્સિવ ફોરિયર ટ્રાન્સફોર્મ ફેઝ સ્ટ્રેચ ટ્રાન્સફોર્મ સંદર્ભો કમ્પ્યુટર વિઝન સોફ્ટવેર કમ્પ્યુટર વિઝન