PhyCV
இயற்பியல் நிகழ்வுகளை நிர்வகிக்கும் இயற்பியல் சமன்பாடுகளிலிருந்து நேரடியாக பெறப்பட்ட வழிமுறைகளைப் பயன்படுத்தும் முதல் கணினி பார்வை நூலகம் பைசிவி ஆகும். முதல் வெளியீட்டில் தோன்றும் வழிமுறைகள் இயற்கையான மற்றும் வடிவமைக்கப்பட்ட விலகல் பண்புகளுடன் ஒரு இயற்பியல் ஊடகத்தின் மூலம் ஒளியைப் பரப்புவதைப் பின்பற்றுகின்றன, அதைத் தொடர்ந்து ஒத்திசைவான கண்டறிதல். கையால் வடிவமைக்கப்பட்ட அனுபவ விதிகளின் வரிசையாக இருக்கும் பாரம்பரிய வழிமுறைகளைப் போலல்லாமல், இயற்பியல்-ஈர்க்கப்பட்ட வழிமுறைகள் இயற்கையின் இயற்பியல் விதிகளை வரைபடங்களாகப் பயன்படுத்துகின்றன. கூடுதலாக, இந்த வழிமுறைகள், கொள்கையளவில், அனலாக் கம்ப்யூட்டிங் வடிவத்தில் வேகமான மற்றும் திறமையான கணக்கீட்டிற்கான உண்மையான இயற்பியல் சாதனங்களில் செயல்படுத்தப்படலாம். தற்போது ஃபைசிவி மூன்று வழிமுறைகளைக் கொண்டுள்ளது, பேஸ்-ஸ்ட்ரெட்ச் டிரான்ஸ்ஃபார்ம் (பிஎஸ்டி) மற்றும் பேஸ்-ஸ்ட்ரெட்ச் அடாப்டிவ் கிரேடியன்ட்-ஃபீல்ட் எக்ஸ்ட்ராக்டர் (பிஏஜிஇ), மற்றும் மெய்நிகர் விவரக்குறிப்பு மற்றும் ஒத்திசைவான கண்டறிதல் (விஇவிஐடி) வழியாக பார்வை மேம்பாடு. அனைத்து வழிமுறைகளும் CPU மற்றும் GPU பதிப்புகளைக் கொண்டுள்ளன. ஃபைசிவி இப்போது கிட்ஹப்பில் கிடைக்கிறது மற்றும் குழாயிலிருந்து நிறுவப்படலாம். PhyCV இல் உள்ள வரலாற்று வழிமுறைகள் ஃபோட்டோனிக் நேர நீட்சியின் இயற்பியலால் ஈர்க்கப்பட்டுள்ளன (அல்ட்ராஃபாஸ்ட் மற்றும் ஒற்றை-ஷாட் தரவு கையகப்படுத்தலுக்கான வன்பொருள் நுட்பம்). பிஎஸ்டி என்பது ஒரு விளிம்பைக் கண்டறிதல் வழிமுறையாகும், இது 2016 ஆம் ஆண்டில் திறந்த மூலமாகும், மேலும் கிட்ஹப்பில் 800 + நட்சத்திரங்கள் மற்றும் 200 + ஃபோர்க்குகளைக் கொண்டுள்ளது. PAGE என்பது ஒரு திசை விளிம்பு கண்டறிதல் வழிமுறையாகும், இது பிப்ரவரி, 2022 இல் திறந்த மூலமாகும். ஃபைசிவி முதலில் மே 2022 இல் ஜலாலி-லேப் @யுசிஎல்ஏ ஆல் உருவாக்கப்பட்டது மற்றும் திறந்த மூலமாகும். PhyCV இன் ஆரம்ப வெளியீட்டில், PST மற்றும் PAGE இன் அசல் திறந்த மூல குறியீடு கணிசமாக மறுசீரமைக்கப்பட்டு, மாடுலர், மிகவும் திறமையான, ஜிபியு-முடுக்கப்பட்ட மற்றும் பொருள் சார்ந்ததாக மேம்படுத்தப்பட்டுள்ளது. VEViD என்பது குறைந்த ஒளி மற்றும் வண்ண மேம்பாட்டு வழிமுறையாகும், இது நவம்பர் 2022 இல் PhyCV இல் சேர்க்கப்பட்டது. பின்னணி கட்டம்-நீட்சி உருமாற்றம் (பி. எஸ். டி) கட்டம்-நீட்சி உருமாற்றம் (பி. எஸ். டி) என்பது கணக்கீட்டு ரீதியாக திறமையான விளிம்பு மற்றும் அமைப்பு கண்டறிதல் வழிமுறையாகும், இது பார்வையற்ற படங்களில் விதிவிலக்கான செயல்திறனைக் கொண்டுள்ளது. பொறிக்கப்பட்ட விலகல் பண்புடன் ஒரு சாதனம் மூலம் ஒளியைப் பரப்புவதைப் பின்பற்றுவதன் மூலம் இந்த வழிமுறை படத்தை மாற்றுகிறது, அதைத் தொடர்ந்து ஒத்திசைவான கண்டறிதல். எம்ஆர்ஐ இமேஜின் தெளிவுத்திறனை மேம்படுத்துதல், விழித்திரை படங்களில் இரத்த நாளங்களை பிரித்தெடுத்தல், டால்பின் அடையாளம் மற்றும் கழிவு நீர் சிகிச்சை, ஒற்றை மூலக்கூறு உயிரியல் இமேஜிங் மற்றும் மைக்ரோ டாப்ளர் இமேஜிங் பயன்படுத்தி யுஎவி வகைப்படுத்துதல் ஆகியவற்றில் இது பயன்படுத்தப்பட்டுள்ளது. பேஸ்-ஸ்ட்ரெச் அடாப்டிவ் கிரேடியன்ட்-ஃபீல்ட் எக்ஸ்ட்ராக்டர் (PAGE) பேஸ்-ஸ்ட்ரெச் அடாப்டிவ் கிரேடியன்ட்-ஃபீல்ட் எக்ஸ்ட்ராக்டர் (PAGE) என்பது பல்வேறு அளவுகளில் டிஜிட்டல் படங்களில் விளிம்புகள் மற்றும் அவற்றின் நோக்குநிலைகளைக் கண்டறிவதற்கான இயற்பியல்-ஈர்க்கப்பட்ட வழிமுறையாகும். இந்த வழிமுறை ஒளியியலின் விலகல் சமன்பாடுகளை அடிப்படையாகக் கொண்டது. உருவகமாகப் பார்த்தால், PAGE ஒரு குறிப்பிட்ட விலகல் கட்டமைப்பைக் கொண்ட ஒரு இயற்பியல் சாதனத்தின் மூலம் பைர்ஃபிரைன்ஜென்ட் (நோக்குநிலை-சார்பு) விலகல் பரப்புதலின் இயற்பியலைப் பின்பற்றுகிறது. பரப்புதல் ஒரு உண்மையான மதிப்புள்ள படத்தை ஒரு சிக்கலான செயல்பாடாக மாற்றுகிறது. தொடர்புடைய தகவல்கள் வெளியீட்டின் உண்மையான மற்றும் கற்பனை கூறுகளில் உள்ளன. வெளியீடு சிக்கலான செயல்பாட்டின் கட்டத்தைக் குறிக்கிறது. மெய்நிகர் விவரக்குறிப்பு மற்றும் ஒத்திசைவான கண்டறிதல் (VEViD) மூலம் பார்வை மேம்பாடு மெய்நிகர் விவரக்குறிப்பு மற்றும் ஒத்திசைவான கண்டறிதல் (VEViD) மூலம் பார்வை மேம்பாடு ஒரு திறமையான மற்றும் விளக்கக்கூடிய குறைந்த ஒளி மற்றும் வண்ண மேம்பாட்டு வழிமுறை, இது ஒரு டிஜிட்டல் படத்தை ஒரு இடஞ்சார்ந்த மாறுபட்ட உருவக ஒளி புலமாக மறுபரிசீலனை செய்கிறது, பின்னர் புலத்தை விவரக்குறிப்பு மற்றும் ஒத்திசைவான கண்டறிதல் போன்ற இயற்பியல் செயல்முறைகளுக்கு உட்படுத்துகிறது. "மெய்நிகர்" என்ற சொல் இயற்பியல் உலகத்திலிருந்து விலகுவதைப் பிடிக்கிறது. ஒளிப்புலம் பிக்சல் செய்யப்படுகிறது மற்றும் பரப்புதல் அதிர்வெண்ணில் தன்னிச்சையான சார்புடன் ஒரு கட்டத்தை வழங்குகிறது, இது இயற்பியல் விலகல்களின் இருபடி நடத்தையிலிருந்து வேறுபட்டிருக்கலாம். படத்தின் தரத்தில் பாராட்டத்தக்க தியாகம் இல்லாமல் கணக்கீட்டு நேரத்தைக் குறைக்கும் கணித தோராயங்கள் மூலம் VEViD ஐ மேலும் துரிதப்படுத்த முடியும். VEViD-லைட் என்று நாம் அழைக்கும் VEViD க்கான ஒரு மூடிய வடிவ தோராயமானது 4K வீடியோ மேம்பாட்டிற்கு 200 FPS வரை அடைய முடியும். குறைந்த பரிமாணம் மற்றும் உயர் செயல்திறன் கொண்ட விளிம்பில் உள்ள ஃபைசிவி, ஃபைசிவி எட்ஜ் கம்ப்யூட்டிங் பயன்பாடுகளுக்கு ஏற்றது. இந்த பிரிவில், என்விடியா ஜெட்சன் நானோவில் நிகழ்நேரத்தில் பைசிவி இயங்குவதை நாங்கள் நிரூபிக்கிறோம். என்விடியா ஜெட்சன் நானோ டெவலப்பர் கிட் என்விடியா ஜெட்சன் நானோ டெவலப்பர் கிட் என்பது எட்ஜ் கம்ப்யூட்டிங் பயன்பாடுகளுக்கான சிறிய அளவிலான மற்றும் சக்தி திறன் கொண்ட தளமாகும். இது 128 CUDA கோர்களுடன் ஒரு என்விடியா மேக்ஸ்வெல் கட்டமைப்பு ஜிபியு, ஒரு குவாட் கோர் ஏஆர்எம் கார்டெக்ஸ்-ஏ 57 சிபியு, 4 ஜிபி 64-பிட் எல்பிடிடிஆர் 4 ரேம் மற்றும் 4 கே தெளிவுத்திறன் வரை வீடியோ குறியாக்கம் மற்றும் டிகோடிங்கை ஆதரிக்கிறது. ஜெட்சன் நானோ இணைப்பு மற்றும் விரிவாக்கத்திற்கான பல்வேறு இடைமுகங்களையும் வழங்குகிறது, இது பரந்த அளவிலான AI மற்றும் IOT பயன்பாடுகளுக்கு ஏற்றதாக அமைகிறது. எங்கள் அமைப்பில், வீடியோக்களைப் பெறுவதற்கும், வீடியோக்களை நிகழ்நேரத்தில் செயலாக்க PhyCV ஐப் பயன்படுத்துவதை நிரூபிப்பதற்கும் ஒரு யூ. எஸ். பி கேமராவை ஜெட்சன் நானோவுடன் இணைக்கிறோம். ஜெட்சன் நானோவில் நிகழ்நேர பைசிவி நாம் ஜெட்சன் நானோவை (4 ஜிபி) என்விடியா ஜெட்பேக் எஸ்டிகே பதிப்பு 4.6.1 உடன் பயன்படுத்துகிறோம், இது முன்பே நிறுவப்பட்ட பைதான் 3.6, CUDA 10.2 மற்றும் ஓபன்சிவி 4.1.1 உடன் வருகிறது. ஜிபியு துரிதப்படுத்தப்பட்ட பைசிவி இயக்க பைடோர்ச் 1.1 ஐ மேலும் நிறுவுகிறோம். விளிம்பைக் கண்டறிதல் மற்றும் குறைந்த ஒளி மேம்பாட்டு பணிகளுக்காக ஜெட்சன் நானோவில் பைசிவி இயக்கும் முடிவுகள் மற்றும் அளவீடுகளை நிகழ்நேரத்தில் நாங்கள் நிரூபிக்கிறோம். 480பி வீடியோக்களுக்கு, இரண்டு செயல்பாடுகளும் 38 எஃப். பி. எஸ். க்கு அப்பால் அடையும், இது 30 எஃப். பி. எஸ். இல் வீடியோக்களைப் பிடிக்கும் பெரும்பாலான கேமராக்களுக்கு போதுமானது. 720பி வீடியோக்களுக்கு, ஃபைசிவி குறைந்த ஒளி மேம்பாடு 24 எஃப். பி. எஸ் இல் செயல்பட முடியும் மற்றும் ஃபைசிவி விளிம்பைக் கண்டறிதல் 17 எஃப். பி. எஸ் இல் செயல்பட முடியும். ஹைலைட்ஸ் மாடுலர் கோட் ஆர்கிடெக்சர் ஃபைசிவி-யில் உள்ள குறியீடு ஒரு மாடுலர் வடிவமைப்பைக் கொண்டுள்ளது, இது வழிமுறை தோன்றிய இயற்பியல் செயல்முறையை உண்மையுடன் பின்பற்றுகிறது. ஃபைசிவி நூலகத்தில் உள்ள பிஎஸ்டி மற்றும் பேஜ் தொகுதிகள் இரண்டும் உள்ளீட்டு சமிக்ஞையின் (அசல் டிஜிட்டல் படம்) பிரச்சாரத்தை வடிவமைக்கப்பட்ட விலகல் பண்புடன் ஒரு சாதனம் மூலம் பின்பற்றுகின்றன, அதைத் தொடர்ந்து ஒத்திசைவான (கட்டம்) கண்டறிதல். சிதறல் பரப்புதல் அசல் படத்தின் அதிர்வெண் களத்திற்கு ஒரு கட்ட கர்னலைப் பயன்படுத்துகிறது. இந்த செயல்முறை பொதுவாக மூன்று படிகளைக் கொண்டுள்ளது, படத்தை ஏற்றுதல், கர்னலை துவக்குதல் மற்றும் கர்னலைப் பயன்படுத்துதல். PhyCV ஐ செயல்படுத்துவதில், ஒவ்வொரு வழிமுறையும் பைத்தானில் ஒரு வகுப்பாக குறிப்பிடப்படுகிறது, மேலும் ஒவ்வொரு வகுப்பிலும் மேலே விவரிக்கப்பட்ட படிகளை உருவகப்படுத்தும் முறைகள் உள்ளன. மட்டு குறியீடு கட்டமைப்பு வழிமுறைக்குப் பின்னால் உள்ள இயற்பியலைப் பின்பற்றுகிறது. மேலும் விவரங்களுக்கு கிட்ஹப்பில் உள்ள மூலக் குறியீட்டைப் பார்க்கவும். ஜிபியு முடுக்கம் பைசிவி ஜிபியு முடுக்கத்தை ஆதரிக்கிறது. PST மற்றும் PAGE இன் ஜி. பி. யூ பதிப்புகள் CUDA கருவித்தொகுப்பால் துரிதப்படுத்தப்பட்ட பைடோர்ச்சில் கட்டப்பட்டுள்ளன. நிகழ்நேர பட வீடியோ செயலாக்கம் மற்றும் பிற ஆழமான கற்றல் பணிகளில் வழிமுறைகளைப் பயன்படுத்துவதற்கு முடுக்கம் பயனுள்ளதாக இருக்கும். வெவ்வேறு தீர்மானங்களில் உள்ள வீடியோக்களுக்கான CPU (இன்டெல் i 9-9900 K) மற்றும் ஜிபியு (என்விடியா டைட்டன் ஆர்டிஎக்ஸ்) ஆகியவற்றில் ஃபைசிவி வழிமுறைகளின் ஒரு சட்டகத்தின் இயக்க நேரம் கீழே காட்டப்பட்டுள்ளது. பைசிவி குறைந்த ஒளி மேம்பாடு எச்எஸ்வி வண்ண இடத்தில் இயங்குகிறது என்பதை நினைவில் கொள்க, எனவே இயங்கும் நேரத்தில் ஆர்ஜிபி முதல் எச்எஸ்வி மாற்றமும் அடங்கும். இருப்பினும், ஜிபியுக்களைப் பயன்படுத்தும் அனைத்து இயக்க நேரங்களுக்கும், சிபியுக்களில் இருந்து ஜிபியுக்களுக்கு தரவை நகர்த்தும் நேரத்தை நாம் புறக்கணிக்கிறோம் மற்றும் வழிமுறை செயல்பாட்டு நேரத்தை மட்டுமே கணக்கிடுகிறோம். நிறுவல் மற்றும் எடுத்துக்காட்டுகள் விரிவான தொழில்நுட்ப ஆவணப்படுத்தலுக்கு கிட்ஹப் README கோப்பைப் பார்க்கவும். நிகழ்நேர வீடியோ செயலாக்கத்திற்கான தற்போதைய வரம்புகள் I/O (உள்ளீடு/வெளியீடு) இடையூறு கேமராக்களிலிருந்து நிகழ்நேர வீடியோ ஸ்ட்ரீம்களைக் கையாளும் போது, பிரேம்கள் கைப்பற்றப்பட்டு CPU இல் இடையகப்படுத்தப்படுகின்றன, மேலும் அவை ஜிபியு-முடுக்கப்பட்ட ஃபைசிவி வழிமுறைகளை இயக்க ஜிபியு-க்கு நகர்த்தப்பட வேண்டும். இந்த செயல்முறை நேரத்தை எடுத்துக்கொள்கிறது மற்றும் நிகழ்நேர வீடியோ செயலாக்க வழிமுறைகளுக்கு இது ஒரு பொதுவான இடையூறாகும். வெவ்வேறு படங்களுக்கான அளவுரு தழுவல் இல்லாதது தற்போது, பைசிவி வழிமுறைகளின் அளவுருக்கள் வெவ்வேறு படங்களுக்கு கைமுறையாக டியூன் செய்யப்பட வேண்டும். முன் தேர்ந்தெடுக்கப்பட்ட அளவுருக்களின் தொகுப்பு பரந்த அளவிலான படங்களுக்கு ஒப்பீட்டளவில் நன்றாக வேலை செய்தாலும், வெவ்வேறு படங்களுக்கான அளவுரு தகவமைப்பு இல்லாதது இப்போதைக்கு ஒரு வரம்பாக உள்ளது. எட்ஜ் டிடெக்ஷன் ஃபீச்சர் டிடெக்ஷன் (கம்ப்யூட்டர் விஷன்) டைம் ஸ்ட்ரெச் அனலாக்-டு-டிஜிட்டல் கன்வெர்ட்டர் டைம் ஸ்ட்ரெச் டிஸ்பெர்சிவ் ஃபோரியர் டிரான்ஸ்ஃபார்ம் பேஸ் ஸ்ட்ரெச் டிரான்ஸ்ஃபார்ம் குறிப்புகள் கம்ப்யூட்டர் விஷன் சாப்ட்வேர் கம்ப்யூட்டர் விஷன்