PhyCV
PhyCV पहला कंप्यूटर दृष्टि पुस्तकालय है जो भौतिक घटनाओं को नियंत्रित करने वाले भौतिकी के समीकरणों से सीधे प्राप्त एल्गोरिदम का उपयोग करता है। पहली रिलीज में दिखाई देने वाले एल्गोरिदम प्राकृतिक और इंजीनियर विवर्तनशील गुणों के साथ एक भौतिक माध्यम के माध्यम से प्रकाश के प्रसार का अनुकरण करते हैं जिसके बाद सुसंगत पहचान होती है। पारंपरिक एल्गोरिदम के विपरीत जो हाथ से बनाए गए अनुभवजन्य नियमों का एक क्रम है, भौतिकी-प्रेरित एल्गोरिदम ब्लूप्रिंट के रूप में प्रकृति के भौतिक नियमों का लाभ उठाते हैं। इसके अलावा, इन एल्गोरिदम को सिद्धांत रूप में, एनालॉग कंप्यूटिंग के रूप में तेज और कुशल गणना के लिए वास्तविक भौतिक उपकरणों में लागू किया जा सकता है। वर्तमान में PhyCV में तीन एल्गोरिदम हैं, फेज-स्ट्रेच ट्रांसफॉर्म (PST) और फेज-स्ट्रेच एडेप्टिव ग्रेडिएंट-फील्ड एक्सट्रैक्टर (PAGE), और वर्चुअल डिफ्रैक्शन और कोहेरेंट डिटेक्शन (VEViD) के माध्यम से दृष्टि वृद्धि। सभी एल्गोरिदम में सीपीयू और जीपीयू संस्करण होते हैं। फाइसीवी अब गिटहब पर उपलब्ध है और इसे पाइप से स्थापित किया जा सकता है। फाइसीवी में इतिहास एल्गोरिदम फोटोनिक समय विस्तार (अल्ट्राफास्ट और एकल-शॉट डेटा अधिग्रहण के लिए एक हार्डवेयर तकनीक) के भौतिकी से प्रेरित हैं। पीएसटी एक एज डिटेक्शन एल्गोरिदम है जिसे 2016 में ओपन-सोर्स किया गया था और इसमें गिटहब पर 800 से अधिक सितारे और 200 से अधिक कांटे हैं। पेज एक दिशात्मक किनारे का पता लगाने वाला एल्गोरिदम है जिसे फरवरी, 2022 में ओपन-सोर्स किया गया था। फाइसीवी को मूल रूप से मई 2022 में जलाली-लैब @यूसीएलए द्वारा विकसित और ओपन-सोर्स किया गया था। पी. एच. सी. वी. के प्रारंभिक विमोचन में, पी. एस. टी. और पी. ए. जी. ई. के मूल मुक्त स्रोत कोड को काफी हद तक संशोधित किया गया है और मॉड्यूलर, अधिक कुशल, जी. पी. यू.-त्वरित और वस्तु-उन्मुख होने के लिए सुधार किया गया है। वी. ई. वी. आई. डी. एक कम रोशनी और रंग वृद्धि एल्गोरिदम है जिसे नवंबर 2022 में पी. आई. सी. वी. में जोड़ा गया था। बैकग्राउंड फेज-स्ट्रेच ट्रांसफॉर्म (पी. एस. टी.) फेज-स्ट्रेच ट्रांसफॉर्म (पी. एस. टी.) दृष्टिबाधित छवियों में असाधारण प्रदर्शन के साथ एक कम्प्यूटेशनल रूप से कुशल एज और टेक्सचर डिटेक्शन एल्गोरिदम है। एल्गोरिथ्म इंजीनियर डिफ्रैक्टिव प्रॉपर्टी के साथ एक उपकरण के माध्यम से प्रकाश के प्रसार का अनुकरण करके छवि को बदल देता है जिसके बाद सुसंगत पहचान होती है। इसे एम. आर. आई. छवि के संकल्प में सुधार, रेटिना छवियों में रक्त वाहिकाओं को निकालने, डॉल्फिन की पहचान और अपशिष्ट जल उपचार, एकल अणु जैविक इमेजिंग और माइक्रो डॉप्लर इमेजिंग का उपयोग करके यू. ए. वी. के वर्गीकरण में लागू किया गया है। फेज-स्ट्रेच एडेप्टिव ग्रेडिएंट-फील्ड एक्सट्रैक्टर (पी. ए. जी. ई.) फेज-स्ट्रेच एडेप्टिव ग्रेडिएंट-फील्ड एक्सट्रैक्टर (पी. ए. जी. ई.) विभिन्न पैमानों पर डिजिटल छवियों में किनारों और उनके अभिविन्यास का पता लगाने के लिए एक भौतिकी-प्रेरित एल्गोरिदम है। एल्गोरिथ्म प्रकाशिकी के विवर्तन समीकरणों पर आधारित है। रूपक रूप से, पेज एक विशिष्ट विवर्तनशील संरचना के साथ एक भौतिक उपकरण के माध्यम से द्विभाजक (अभिविन्यास-निर्भर) विवर्तनशील प्रसार के भौतिकी का अनुकरण करता है। प्रसार एक वास्तविक-मूल्यवान छवि को एक जटिल कार्य में परिवर्तित करता है। संबंधित जानकारी उत्पादन के वास्तविक और काल्पनिक घटकों में निहित होती है। आउटपुट जटिल कार्य के चरण का प्रतिनिधित्व करता है। आभासी विवर्तन और सुसंगत पहचान (वी. ई. वी. आई. डी.) के माध्यम से दृष्टि वृद्धि आभासी विवर्तन और सुसंगत पहचान (वी. ई. वी. आई. डी.) के माध्यम से दृष्टि वृद्धि एक कुशल और व्याख्यात्मक कम-प्रकाश और रंग वृद्धि एल्गोरिदम है जो एक डिजिटल छवि को एक स्थानिक रूप से भिन्न रूपक प्रकाश क्षेत्र के रूप में फिर से कल्पना करता है और फिर क्षेत्र को विवर्तन और सुसंगत पहचान के समान भौतिक प्रक्रियाओं के अधीन करता है। "आभासी" शब्द भौतिक दुनिया से विचलन को दर्शाता है। प्रकाश क्षेत्र पिक्सेलेटेड है और प्रसार आवृत्ति पर मनमाने ढंग से निर्भरता के साथ एक चरण प्रदान करता है जो भौतिक विवर्तन के द्विघात व्यवहार से अलग हो सकता है। वी. ई. वी. आई. डी. को गणितीय अनुमानों के माध्यम से और तेज किया जा सकता है जो छवि की गुणवत्ता में सराहनीय त्याग के बिना गणना के समय को कम करते हैं। वी. ई. वी. आई. डी. के लिए एक बंद-रूप सन्निकटन जिसे हम वी. ई. वी. आई. डी.-लाइट कहते हैं, 4के वीडियो वृद्धि के लिए 200 एफ. पी. एस. तक प्राप्त कर सकता है। कम आयामी और उच्च दक्षता वाले किनारे पर फाइसीवी, एज कंप्यूटिंग अनुप्रयोगों के लिए आदर्श है। इस खंड में, हम वास्तविक समय में एनवीडिया जेट्सन नैनो पर फाइसीवी चलाने का प्रदर्शन करते हैं। एनवीडिया जेट्सन नैनो डेवलपर किट एनवीडिया जेट्सन नैनो डेवलपर किट एज कंप्यूटिंग अनुप्रयोगों के लिए एक छोटे आकार का और शक्ति-कुशल मंच है। यह 128 सीयूडीए कोर के साथ एनवीडिया मैक्सवेल आर्किटेक्चर जीपीयू, एक क्वाड-कोर एआरएम कॉर्टेक्स-ए57 सीपीयू, 4 जीबी 64-बिट एलपीडीडीआर4 रैम से लैस है और 4के रिज़ॉल्यूशन तक वीडियो एन्कोडिंग और डिकोडिंग का समर्थन करता है। जेट्सन नैनो कनेक्टिविटी और विस्तार के लिए विभिन्न प्रकार के इंटरफेस भी प्रदान करता है, जो इसे एआई और आईओटी अनुप्रयोगों की एक विस्तृत श्रृंखला के लिए आदर्श बनाता है। हमारे सेटअप में, हम वीडियो प्राप्त करने के लिए एक यू. एस. बी. कैमरे को जेट्सन नैनो से जोड़ते हैं और वीडियो को वास्तविक समय में संसाधित करने के लिए फाइसीवी का उपयोग करके प्रदर्शित करते हैं। हम एनवीडिया जेटपैक एसडीके संस्करण 4.6.1 के साथ जेट्सन नैनो (4जीबी) का उपयोग करते हैं, जो पहले से स्थापित पायथन 3.6, सीयूडीए 10.2 और ओपनसीवी 4.1.1 के साथ आता है। हम जी. पी. यू. त्वरित पी. आई. सी. वी. को सक्षम करने के लिए पायटॉर्च 1.10 को स्थापित करते हैं। हम किनारे का पता लगाने और कम रोशनी बढ़ाने वाले कार्यों के लिए वास्तविक समय में जेट्सन नैनो पर फाइसीवी चलाने के परिणामों और मेट्रिक्स का प्रदर्शन करते हैं। 480पी वीडियो के लिए, दोनों संचालन 38 एफपीएस से अधिक प्राप्त करते हैं, जो 30 एफपीएस पर वीडियो लेने वाले अधिकांश कैमरों के लिए पर्याप्त है। 720पी वीडियो के लिए, फाइसीवी कम-प्रकाश वृद्धि 24 एफपीएस पर काम कर सकती है और फाइसीवी एज डिटेक्शन 17 एफपीएस पर काम कर सकती है। मॉड्यूलर कोड आर्किटेक्चर पर प्रकाश डालते हुए फाइसीवी में कोड में एक मॉड्यूलर डिज़ाइन है जो उस भौतिक प्रक्रिया का ईमानदारी से पालन करता है जिससे एल्गोरिथ्म की उत्पत्ति हुई थी। पी. एस. टी. और पी. ए. जी. ई. दोनों मॉड्यूल फाइ. सी. वी. पुस्तकालय में एक उपकरण के माध्यम से इनपुट संकेत (मूल डिजिटल छवि) के प्रसार का अनुकरण करते हैं जिसमें इंजीनियर डिफ्रैक्टिव गुण होता है और उसके बाद सुसंगत (चरण) पहचान होती है। फैलाव प्रसार मूल छवि के आवृत्ति क्षेत्र में एक चरण कर्नेल लागू करता है। इस प्रक्रिया में सामान्य रूप से तीन चरण होते हैं, छवि को लोड करना, कर्नेल को आरंभ करना और कर्नेल को लागू करना। फाइसीवी के कार्यान्वयन में, प्रत्येक एल्गोरिथ्म को पायथन में एक वर्ग के रूप में दर्शाया जाता है और प्रत्येक वर्ग में ऐसी विधियाँ होती हैं जो ऊपर वर्णित चरणों का अनुकरण करती हैं। मॉड्यूलर कोड वास्तुकला एल्गोरिथ्म के पीछे भौतिकी का अनुसरण करती है। अधिक जानकारी के लिए कृपया गिटहब पर स्रोत कोड देखें। जी. पी. यू. त्वरण फाइ. सी. वी. जी. पी. यू. त्वरण का समर्थन करता है। पी. एस. टी. और पी. ए. जी. ई. के जी. पी. यू. संस्करण सी. यू. डी. ए. टूलकिट द्वारा त्वरित किए गए पायटॉर्च पर बनाए गए हैं। त्वरण वास्तविक समय छवि वीडियो प्रसंस्करण और अन्य गहन शिक्षण कार्यों में एल्गोरिदम को लागू करने के लिए फायदेमंद है। विभिन्न संकल्पों पर वीडियो के लिए सीपीयू (इंटेल आई 9-9900 के) और जीपीयू (एनवीडिया टाइटन आरटीएक्स) पर फाइसीवी एल्गोरिदम के प्रति फ्रेम चलने का समय नीचे दिखाया गया है। ध्यान दें कि फाइसीवी लो-लाइट एन्हांसमेंट एचएसवी कलर स्पेस में काम करता है, इसलिए चलने के समय में आरजीबी से एचएसवी रूपांतरण भी शामिल है। हालाँकि, जी. पी. यू. का उपयोग करने वाले सभी समय के लिए, हम सी. पी. यू. से जी. पी. यू. में डेटा स्थानांतरित करने के समय को अनदेखा करते हैं और केवल एल्गोरिथ्म संचालन समय की गणना करते हैं। स्थापना और उदाहरण कृपया एक विस्तृत तकनीकी प्रलेखन के लिए GitHub README फ़ाइल देखें। वास्तविक समय वीडियो प्रसंस्करण के लिए वर्तमान सीमाएँ आई/ओ (इनपुट/आउटपुट) अड़चन जब कैमरों से वास्तविक समय वीडियो धाराओं से निपटते हैं, तो फ्रेम को सीपीयू में कैप्चर और बफर किया जाता है और जीपीयू-त्वरित फाइसीवी एल्गोरिदम को चलाने के लिए जीपीयू में स्थानांतरित किया जाता है। यह प्रक्रिया समय लेने वाली है और यह वास्तविक समय वीडियो-प्रसंस्करण एल्गोरिदम के लिए एक आम अड़चन है। विभिन्न छवियों के लिए पैरामीटर अनुकूलन की कमी वर्तमान में, विभिन्न छवियों के लिए फाइसीवी एल्गोरिदम के मापदंडों को मैन्युअल रूप से ट्यून करना पड़ता है। यद्यपि पूर्व-चयनित मापदंडों का एक समूह छवियों की एक विस्तृत श्रृंखला के लिए अपेक्षाकृत अच्छी तरह से काम करता है, विभिन्न छवियों के लिए मापदंड अनुकूलनशीलता की कमी अभी के लिए एक सीमा बनी हुई है। एज डिटेक्शन फीचर डिटेक्शन (कंप्यूटर विजन) टाइम स्ट्रेच एनालॉग-टू-डिजिटल कनवर्टर टाइम स्ट्रेच डिस्पर्सिव फूरियर ट्रांसफॉर्म फेज स्ट्रेच ट्रांसफॉर्म संदर्भ कंप्यूटर दृष्टि सॉफ्टवेयर कंप्यूटर दृष्टि