PhyCV
فائی سی وی پہلی کمپیوٹر وژن لائبریری ہے جو جسمانی مظاہر کو کنٹرول کرنے والی طبیعیات کی مساوات سے براہ راست اخذ کردہ الگورتھم کا استعمال کرتی ہے۔ پہلی ریلیز میں ظاہر ہونے والے الگورتھم قدرتی اور انجینیئرڈ ڈفریکٹیو خصوصیات کے ساتھ فزیکل میڈیم کے ذریعے روشنی کے پھیلاؤ کی تقلید کرتے ہیں جس کے بعد مربوط پتہ لگاتا ہے۔ روایتی الگورتھم کے برعکس جو ہاتھ سے تیار کردہ تجرباتی اصولوں کا ایک سلسلہ ہے، طبیعیات سے متاثر الگورتھم فطرت کے جسمانی قوانین کو بلیو پرنٹ کے طور پر استعمال کرتے ہیں۔ اس کے علاوہ، ان الگورتھم کو، اصولی طور پر، اینالاگ کمپیوٹنگ کی شکل میں تیز اور موثر کمپیوٹیشن کے لیے حقیقی فزیکل آلات میں لاگو کیا جا سکتا ہے۔ فی الحال فائی سی وی میں تین الگورتھم ہیں، فیز-اسٹریچ ٹرانسفارم (پی ایس ٹی) اور فیز-اسٹریچ اڈاپٹو گریڈینٹ-فیلڈ ایکسٹریکٹر (پی اے جی ای)، اور ورچوئل ڈفریکشن اور کوہرنٹ ڈیٹیکشن (وی ای وی آئی ڈی) کے ذریعے بصارت میں اضافہ۔ تمام الگورتھم میں سی پی یو اور جی پی یو ورژن ہوتے ہیں۔ فائی سی وی اب گٹ ہب پر دستیاب ہے اور اسے پائپ سے نصب کیا جا سکتا ہے۔ فائی سی وی میں ہسٹری الگورتھم فوٹونک ٹائم اسٹریچ (الٹرا فاسٹ اور سنگل شاٹ ڈیٹا کے حصول کے لیے ایک ہارڈ ویئر تکنیک) کی طبیعیات سے متاثر ہیں۔ پی ایس ٹی ایک ایج ڈٹیکشن الگورتھم ہے جو 2016 میں اوپن سورس کیا گیا تھا اور اس میں گٹ ہب پر 800 سے زیادہ ستارے اور 200 سے زیادہ کانٹے ہیں۔ پی اے جی ای ایک دشاتمک کنارے کا پتہ لگانے والا الگورتھم ہے جو فروری 2022 میں اوپن سورس کیا گیا تھا۔ فائی سی وی کو اصل میں مئی 2022 میں جلالی لیب @یو سی ایل اے نے تیار اور اوپن سورس کیا تھا۔ فائی سی وی کی ابتدائی ریلیز میں، پی ایس ٹی اور پی اے جی ای کے اصل اوپن سورس کوڈ کو نمایاں طور پر ری فیکٹور کیا گیا ہے اور اسے ماڈیولر، زیادہ موثر، جی پی یو تیز اور آبجیکٹ پر مبنی بنانے کے لیے بہتر بنایا گیا ہے۔ وی ای وی آئی ڈی ایک کم روشنی اور رنگ بڑھانے کا الگورتھم ہے جسے نومبر 2022 میں فائی سی وی میں شامل کیا گیا تھا۔ بیک گراؤنڈ فیز-اسٹریچ ٹرانسفارم (پی ایس ٹی) فیز-اسٹریچ ٹرانسفارم (پی ایس ٹی) ایک کمپیوٹیشنل طور پر موثر ایج اور ٹیکسٹچر ڈٹیکشن الگورتھم ہے جس میں بصارت سے محروم تصاویر میں غیر معمولی کارکردگی ہے۔ الگورتھم انجینئرنگ ڈفریکٹیو پراپرٹی کے ساتھ ایک ڈیوائس کے ذریعے روشنی کے پھیلاؤ کی تقلید کرکے تصویر کو تبدیل کرتا ہے جس کے بعد مربوط پتہ لگاتا ہے۔ اس کا اطلاق ایم آر آئی امیج کے ریزولوشن کو بہتر بنانے، ریٹنا امیجز میں خون کی شریانوں کو نکالنے، ڈولفن کی شناخت، اور گندے پانی کے علاج، سنگل مالیکیول بائیولوجیکل امیجنگ، اور مائیکرو ڈوپلر امیجنگ کا استعمال کرتے ہوئے یو اے وی کی درجہ بندی میں کیا گیا ہے۔ فیز-اسٹریچ اڈاپٹو گریڈینٹ-فیلڈ ایکسٹریکٹر (پی اے جی ای) فیز-اسٹریچ اڈاپٹو گریڈینٹ-فیلڈ ایکسٹریکٹر (پی اے جی ای) مختلف پیمانوں پر ڈیجیٹل امیجز میں کناروں اور ان کی سمتوں کا پتہ لگانے کے لیے طبیعیات سے متاثر الگورتھم ہے۔ الگورتھم آپٹکس کے ڈفریکشن مساوات پر مبنی ہے۔ استعاراتی طور پر، پی اے جی ای ایک مخصوص ڈفریکٹیو ڈھانچے کے ساتھ ایک فزیکل ڈیوائس کے ذریعے بائیرفرینجینٹ (واقفیت پر منحصر) ڈفریکٹیو پروپیگنڈے کی طبیعیات کی تقلید کرتا ہے۔ پروپیگنڈا ایک حقیقی قدر والی تصویر کو ایک پیچیدہ فنکشن میں تبدیل کرتا ہے۔ متعلقہ معلومات آؤٹ پٹ کے حقیقی اور خیالی اجزاء میں موجود ہوتی ہیں۔ آؤٹ پٹ پیچیدہ فنکشن کے مرحلے کی نمائندگی کرتا ہے۔ ورچوئل ڈفریکشن اینڈ کوہرنٹ ڈیٹیکشن (وی ای وی آئی ڈی) کے ذریعے بینائی میں اضافہ ورچوئل ڈفریکشن اینڈ کوہرنٹ ڈیٹیکشن (وی ای وی آئی ڈی) کے ذریعے بینائی میں اضافہ ایک موثر اور قابل تشریح کم روشنی اور رنگ میں اضافہ کرنے والا الگورتھم ہے جو ڈیجیٹل امیج کو مقامی طور پر مختلف استعاراتی روشنی کے میدان کے طور پر دوبارہ تصور کرتا ہے اور پھر میدان کو جسمانی عمل کے تابع کرتا ہے جیسے کہ ڈفریکشن اور کوہرنٹ ڈٹیکشن۔ اصطلاح "ورچوئل" جسمانی دنیا سے انحراف کو ظاہر کرتی ہے۔ روشنی کا میدان پکسل شدہ ہوتا ہے اور پھیلاؤ تعدد پر صوابدیدی انحصار کے ساتھ ایک مرحلہ فراہم کرتا ہے جو جسمانی انحراف کے کواڈریٹک رویے سے مختلف ہو سکتا ہے۔ وی ای وی آئی ڈی کو ریاضیاتی تخمینوں کے ذریعے مزید تیز کیا جا سکتا ہے جو تصویر کے معیار میں قابل تعریف قربانی کے بغیر حساب کتاب کے وقت کو کم کرتے ہیں۔ وی ای وی آئی ڈی کے لیے ایک بند شکل کا تخمینہ جسے ہم وی ای وی آئی ڈی-لائٹ کہتے ہیں، 4 کے ویڈیو بڑھانے کے لیے 200 ایف پی ایس تک حاصل کر سکتا ہے۔ کم جہتی اور اعلی کارکردگی والے کنارے پر فائی سی وی، ایج کمپیوٹنگ ایپلی کیشنز کے لیے مثالی ہے۔ اس حصے میں، ہم حقیقی وقت میں این ویڈیا جیٹسن نینو پر فائی سی وی چلانے کا مظاہرہ کرتے ہیں۔ این ویڈیا جیٹسن نینو ڈویلپر کٹ این ویڈیا جیٹسن نینو ڈویلپر کٹ ایج کمپیوٹنگ ایپلی کیشنز کے لیے ایک چھوٹے سائز کا اور طاقت سے موثر پلیٹ فارم ہے۔ یہ 128 سی یو ڈی اے کور کے ساتھ این ویڈیا میکسویل آرکیٹیکچر جی پی یو، ایک کواڈ کور اے آر ایم کورٹیکس-اے 57 سی پی یو، 4 جی بی 64 بٹ ایل پی ڈی ڈی آر 4 رام سے لیس ہے، اور 4 کے ریزولوشن تک ویڈیو انکوڈنگ اور ڈیکوڈنگ کی حمایت کرتا ہے۔ جیٹسن نینو کنیکٹوٹی اور توسیع کے لیے مختلف قسم کے انٹرفیس بھی پیش کرتا ہے، جو اسے اے آئی اور آئی او ٹی ایپلی کیشنز کی وسیع رینج کے لیے مثالی بناتا ہے۔ اپنے سیٹ اپ میں، ہم یو ایس بی کیمرہ کو جیٹسن نینو سے جوڑتے ہیں تاکہ ویڈیوز حاصل کر سکیں اور حقیقی وقت میں ویڈیوز پر کارروائی کرنے کے لیے فائی سی وی کا استعمال کرتے ہوئے مظاہرہ کر سکیں۔ جیٹسن نینو پر ریئل ٹائم فائی سی وی ہم جیٹسن نینو (4 جی بی) کو این ویڈیا جیٹ پیک ایس ڈی کے ورژن 4.6.1 کے ساتھ استعمال کرتے ہیں، جو پہلے سے انسٹال ازگر 3.6، سی یو ڈی اے 10.2، اور اوپن سی وی 4.1 کے ساتھ آتا ہے۔ ہم مزید پائ ٹورچ 1.10 انسٹال کرتے ہیں تاکہ جی پی یو ایکسلریٹڈ فائی سی وی کو فعال کیا جا سکے۔ ہم کنارے کا پتہ لگانے اور کم روشنی میں اضافے کے کاموں کے لیے حقیقی وقت میں جیٹسن نینو پر فائی سی وی چلانے کے نتائج اور میٹرکس کا مظاہرہ کرتے ہیں۔ 480 پی ویڈیوز کے لیے، دونوں آپریشنز 38 ایف پی ایس سے آگے حاصل کرتے ہیں، جو زیادہ تر کیمروں کے لیے کافی ہے جو 30 ایف پی ایس پر ویڈیوز کھینچتے ہیں۔ 720 پی ویڈیوز کے لیے، فائی سی وی کم روشنی میں اضافہ 24 ایف پی ایس پر کام کر سکتا ہے اور فائی سی وی ایج کا پتہ لگانے والا 17 ایف پی ایس پر کام کر سکتا ہے۔ ماڈیولر کوڈ آرکیٹیکچر کی جھلکیاں فائی سی وی میں کوڈ کا ایک ماڈیولر ڈیزائن ہے جو وفاداری کے ساتھ اس جسمانی عمل کی پیروی کرتا ہے جس سے الگورتھم کی ابتدا ہوئی تھی۔ فائی سی وی لائبریری میں پی ایس ٹی اور پی اے جی ای دونوں ماڈیول انجینئرنگ ڈفریکٹیو پراپرٹی والے ڈیوائس کے ذریعے ان پٹ سگنل (اصل ڈیجیٹل امیج) کے پھیلاؤ کی تقلید کرتے ہیں جس کے بعد مربوط (فیز) پتہ لگانا ہوتا ہے۔ منتشر پھیلاؤ اصل تصویر کے فریکوئنسی ڈومین پر فیز کرنل کا اطلاق کرتا ہے۔ اس عمل میں عام طور پر تین مراحل ہوتے ہیں، تصویر کو لوڈ کرنا، دانا شروع کرنا اور دانا لگانا۔ فائی سی وی کے نفاذ میں، ہر الگورتھم کو ازگر میں ایک کلاس کے طور پر پیش کیا جاتا ہے اور ہر کلاس میں ایسے طریقے ہوتے ہیں جو اوپر بیان کردہ مراحل کی تقلید کرتے ہیں۔ ماڈیولر کوڈ فن تعمیر الگورتھم کے پیچھے طبیعیات کی پیروی کرتا ہے۔ براہ کرم مزید تفصیلات کے لیے گٹ ہب پر موجود سورس کوڈ کا حوالہ دیں۔ جی پی یو ایکسلریشن فائی سی وی جی پی یو ایکسلریشن کو سپورٹ کرتا ہے۔ پی ایس ٹی اور پی اے جی ای کے جی پی یو ورژن سی یو ڈی اے ٹول کٹ کے ذریعے تیز کردہ پائ ٹورچ پر بنائے گئے ہیں۔ ایکسلریشن ریئل ٹائم امیج ویڈیو پروسیسنگ اور دیگر گہری سیکھنے کے کاموں میں الگورتھم کو لاگو کرنے کے لیے فائدہ مند ہے۔ مختلف قراردادوں پر ویڈیوز کے لیے سی پی یو (انٹیل آئی 9-9900 کے) اور جی پی یو (این ویڈیا ٹائٹن آر ٹی ایکس) پر فائی سی وی الگورتھم کے فی فریم چلانے کا وقت ذیل میں دکھایا گیا ہے۔ نوٹ کریں کہ فائی سی وی کم روشنی میں اضافہ ایچ ایس وی رنگ کی جگہ میں کام کرتا ہے، لہذا چلنے کے وقت میں آر جی بی سے ایچ ایس وی میں تبدیلی بھی شامل ہے۔ تاہم، جی پی یوز کا استعمال کرتے ہوئے چلنے والے تمام اوقات کے لیے، ہم سی پی یوز سے جی پی یوز میں ڈیٹا منتقل کرنے کے وقت کو نظر انداز کرتے ہیں اور صرف الگورتھم آپریشن کا وقت شمار کرتے ہیں۔ انسٹالیشن اور مثالیں براہ کرم تفصیلی تکنیکی دستاویزات کے لیے گٹ ہب ریڈمی فائل دیکھیں۔ ریئل ٹائم ویڈیو پروسیسنگ کے لیے موجودہ حدود I/O (ان پٹ/آؤٹ پٹ) رکاوٹ کیمرے سے ریئل ٹائم ویڈیو اسٹریمز سے نمٹنے کے دوران، فریموں کو سی پی یو میں پکڑا جاتا ہے اور بفر کیا جاتا ہے اور جی پی یو تیز رفتار فائی سی وی الگورتھم کو چلانے کے لیے انہیں جی پی یو میں منتقل کرنا پڑتا ہے۔ یہ عمل وقت طلب ہے اور یہ ریئل ٹائم ویڈیو پروسیسنگ الگورتھم کے لیے ایک عام رکاوٹ ہے۔ مختلف تصاویر کے لیے پیرامیٹر موافقت کی کمی فی الحال، مختلف تصاویر کے لیے فائی سی وی الگورتھم کے پیرامیٹرز کو دستی طور پر ٹیون کرنا پڑتا ہے۔ اگرچہ پہلے سے منتخب کردہ پیرامیٹرز کا ایک سیٹ تصاویر کی ایک وسیع رینج کے لیے نسبتا اچھی طرح سے کام کرتا ہے، لیکن مختلف تصاویر کے لیے پیرامیٹر موافقت کی کمی ابھی تک ایک حد بنی ہوئی ہے۔ ایج ڈٹیکشن فیچر ڈٹیکشن (کمپیوٹر وژن) ٹائم اسٹریچ اینالاگ ٹو ڈیجیٹل کنورٹر ٹائم اسٹریچ ڈسپرسیو فورئیر ٹرانسفارم فیز اسٹریچ ٹرانسفارم حوالہ جات کمپیوٹر وژن سافٹ ویئر کمپیوٹر وژن