PhyCV
ফাইসিভি হল প্রথম কম্পিউটার ভিশন লাইব্রেরি যা শারীরিক ঘটনা নিয়ন্ত্রণকারী পদার্থবিজ্ঞানের সমীকরণ থেকে সরাসরি প্রাপ্ত অ্যালগরিদম ব্যবহার করে। প্রথম প্রকাশে প্রদর্শিত অ্যালগরিদমগুলি প্রাকৃতিক এবং ইঞ্জিনিয়ারড বিচ্ছুরণ বৈশিষ্ট্য সহ একটি ভৌত মাধ্যমের মাধ্যমে আলোর প্রসারণকে অনুকরণ করে এবং তারপরে সুসঙ্গত সনাক্তকরণ করে। ঐতিহ্যবাহী অ্যালগরিদমগুলির বিপরীতে যা হাতে তৈরি অভিজ্ঞতাগত নিয়মগুলির একটি ক্রম, পদার্থবিজ্ঞান-অনুপ্রাণিত অ্যালগরিদমগুলি প্রকৃতির ভৌত আইনগুলিকে নীলনকশা হিসাবে কাজে লাগায়। উপরন্তু, এই অ্যালগরিদমগুলি নীতিগতভাবে, অ্যানালগ কম্পিউটিং আকারে দ্রুত এবং দক্ষ গণনার জন্য বাস্তব শারীরিক যন্ত্রগুলিতে প্রয়োগ করা যেতে পারে। বর্তমানে ফাইসিভির তিনটি অ্যালগরিদম রয়েছে, ফেজ-স্ট্রেচ ট্রান্সফর্ম (পি. এস. টি) এবং ফেজ-স্ট্রেচ অ্যাডাপটিভ গ্রেডিয়েন্ট-ফিল্ড এক্সট্র্যাক্টর (পি. এ. জি. ই), এবং ভার্চ্যুয়াল ডিফ্রাকশন এবং কোহেরেন্ট ডিটেকশনের মাধ্যমে দৃষ্টিশক্তি বৃদ্ধি (ভি. ই. ভি. আই. ডি)। সমস্ত অ্যালগরিদমের সিপিইউ এবং জিপিইউ সংস্করণ রয়েছে। ফাইসিভি এখন গিটহাব-এ পাওয়া যায় এবং পাইপ থেকে ইনস্টল করা যায়। ফাইসিভির ইতিহাস অ্যালগরিদমগুলি ফোটোনিক টাইম স্ট্রেচের পদার্থবিজ্ঞান (আল্ট্রাফাস্ট এবং একক-শট ডেটা অধিগ্রহণের জন্য একটি হার্ডওয়্যার কৌশল) দ্বারা অনুপ্রাণিত হয়। পি. এস. টি হল একটি প্রান্ত সনাক্তকরণ অ্যালগরিদম যা 2016 সালে ওপেন সোর্স করা হয়েছিল এবং গিটহাব-এ 800 + তারা এবং 200 + কাঁটাচামচ রয়েছে। পেজ একটি দিকনির্দেশক প্রান্ত সনাক্তকরণ অ্যালগরিদম যা 2022 সালের ফেব্রুয়ারিতে ওপেন সোর্স করা হয়েছিল। ফাইসিভি মূলত জালালি-ল্যাব @ইউসিএলএ দ্বারা 2022 সালের মে মাসে তৈরি এবং ওপেন সোর্স করা হয়েছিল। ফাইসিভির প্রাথমিক প্রকাশে, পিএসটি এবং পিএজিই-এর মূল ওপেন-সোর্স কোডটি উল্লেখযোগ্যভাবে রিফ্যাক্টর করা হয়েছে এবং মডুলার, আরও দক্ষ, জিপিইউ-ত্বরান্বিত এবং অবজেক্ট-ওরিয়েন্টেড হতে উন্নত করা হয়েছে। ভি. ই. ভি. আই. ডি হল একটি স্বল্প-আলো এবং রঙ বৃদ্ধির অ্যালগরিদম যা 2022 সালের নভেম্বরে ফাইসিভিতে যুক্ত করা হয়েছিল। ব্যাকগ্রাউন্ড ফেজ-স্ট্রেচ ট্রান্সফর্ম (পি. এস. টি) ফেজ-স্ট্রেচ ট্রান্সফর্ম (পি. এস. টি) একটি গণনামূলকভাবে দক্ষ প্রান্ত এবং টেক্সচার সনাক্তকরণ অ্যালগরিদম যা দৃষ্টি প্রতিবন্ধী চিত্রগুলিতে ব্যতিক্রমী পারফরম্যান্স সহ। অ্যালগরিদমটি সমন্বিত সনাক্তকরণের পরে ইঞ্জিনিয়ারড ডিফ্র্যাক্টিভ সম্পত্তি সহ একটি ডিভাইসের মাধ্যমে আলোর প্রসারণ অনুকরণ করে চিত্রটিকে রূপান্তরিত করে। এটি এমআরআই ইমেজের রেজোলিউশন উন্নত করতে, রেটিনা ইমেজে রক্তনালী বের করতে, ডলফিন সনাক্তকরণ এবং বর্জ্য জল চিকিত্সা, একক অণু জৈবিক ইমেজিং এবং মাইক্রো ডপলার ইমেজিং ব্যবহার করে ইউএভি-র শ্রেণিবিন্যাসে প্রয়োগ করা হয়েছে। ফেজ-স্ট্রেচ অ্যাডাপটিভ গ্রেডিয়েন্ট-ফিল্ড এক্সট্র্যাক্টর (পিএজিই) ফেজ-স্ট্রেচ অ্যাডাপটিভ গ্রেডিয়েন্ট-ফিল্ড এক্সট্র্যাক্টর (পিএজিই) একটি পদার্থবিজ্ঞান-অনুপ্রাণিত অ্যালগরিদম যা বিভিন্ন স্কেলে ডিজিটাল চিত্রগুলিতে প্রান্ত এবং তাদের অভিমুখ সনাক্ত করার জন্য। অ্যালগরিদমটি আলোকবিজ্ঞানের বিচ্ছুরণ সমীকরণের উপর ভিত্তি করে তৈরি। রূপকভাবে বলতে গেলে, পেজ একটি নির্দিষ্ট বিচ্ছুরিত কাঠামো সহ একটি ভৌত যন্ত্রের মাধ্যমে বাইরফ্রিনজেন্ট (অভিযোজন-নির্ভর) বিচ্ছুরিত প্রসারণের পদার্থবিজ্ঞানকে অনুকরণ করে। প্রচার একটি বাস্তব-মূল্যবান চিত্রকে একটি জটিল ফাংশনে রূপান্তরিত করে। সংশ্লিষ্ট তথ্য আউটপুটের বাস্তব এবং কাল্পনিক উপাদানগুলিতে থাকে। আউটপুট জটিল ফাংশনের পর্যায়কে উপস্থাপন করে। ভার্চ্যুয়াল বিচ্ছুরণ এবং সুসঙ্গত সনাক্তকরণের মাধ্যমে দৃষ্টিশক্তি বৃদ্ধি (ভিইভিআইডি) ভার্চ্যুয়াল বিচ্ছুরণ এবং সুসঙ্গত সনাক্তকরণের মাধ্যমে দৃষ্টিশক্তি বৃদ্ধি (ভিইভিআইডি) একটি দক্ষ এবং ব্যাখ্যাযোগ্য স্বল্প-আলো এবং রঙ বর্ধন অ্যালগরিদম যা একটি ডিজিটাল চিত্রকে একটি স্থানিকভাবে পরিবর্তিত রূপক আলো ক্ষেত্র হিসাবে পুনরায় কল্পনা করে এবং তারপরে ক্ষেত্রটিকে বিচ্ছুরণ এবং সুসঙ্গত সনাক্তকরণের মতো শারীরিক প্রক্রিয়াগুলির সাপেক্ষে করে। "ভার্চ্যুয়াল" শব্দটি ভৌত জগত থেকে বিচ্যুতি ধারণ করে। আলোর ক্ষেত্রটি পিক্সেলেটেড এবং প্রসারণ ফ্রিকোয়েন্সির উপর নির্বিচারে নির্ভরতার সাথে একটি পর্যায় প্রদান করে যা শারীরিক বিচ্ছুরণের দ্বিঘাত আচরণ থেকে আলাদা হতে পারে। গাণিতিক অনুমানের মাধ্যমে ভি. ই. ভি. আই. ডি-কে আরও ত্বরান্বিত করা যেতে পারে যা চিত্রের গুণমানকে প্রশংসনীয় ত্যাগ না করে গণনার সময়কে হ্রাস করে। ভি. ই. ভি. আই. ডি-এর জন্য একটি ক্লোজ-ফর্ম অনুমান, যাকে আমরা ভি. ই. ভি. আই. ডি-লাইট বলি, 4কে ভিডিও বৃদ্ধির জন্য 200 এফ. পি. এস পর্যন্ত অর্জন করতে পারে। প্রান্তের ফাইসিভি নিম্ন-মাত্রিক এবং উচ্চ-দক্ষতার বৈশিষ্ট্যযুক্ত, ফাইসিভি এজ কম্পিউটিং অ্যাপ্লিকেশনের জন্য আদর্শ। এই বিভাগে, আমরা বাস্তব সময়ে এনভিডিয়া জেটসন ন্যানোতে ফাইসিভি চালানোর প্রদর্শন করি। এনভিডিয়া জেটসন ন্যানো ডেভেলপার কিট এনভিডিয়া জেটসন ন্যানো ডেভেলপার কিট হল এজ কম্পিউটিং অ্যাপ্লিকেশনের জন্য একটি ছোট আকারের এবং শক্তি-দক্ষ প্ল্যাটফর্ম। এটি 128 সিইউডিএ কোর সহ একটি এনভিডিয়া ম্যাক্সওয়েল আর্কিটেকচার জিপিইউ, একটি কোয়াড-কোর এআরএম কর্টেক্স-এ57 সিপিইউ, 4 জিবি 64-বিট এলপিডিডিআর4 র্যাম এবং 4কে রেজোলিউশন পর্যন্ত ভিডিও এনকোডিং এবং ডিকোডিং সমর্থন করে। জেটসন ন্যানো সংযোগ এবং সম্প্রসারণের জন্য বিভিন্ন ধরনের ইন্টারফেসও সরবরাহ করে, যা এটিকে বিভিন্ন ধরনের এআই এবং আইওটি অ্যাপ্লিকেশনের জন্য আদর্শ করে তোলে। আমাদের সেটআপে, আমরা একটি ইউ. এস. বি ক্যামেরা জেটসন ন্যানোর সাথে সংযুক্ত করি যাতে ভিডিওগুলি সংগ্রহ করা যায় এবং বাস্তব সময়ে ভিডিওগুলি প্রক্রিয়া করার জন্য ফাইসিভি ব্যবহার করে প্রদর্শন করা যায়। জেটসন ন্যানোতে রিয়েল-টাইম ফাইসিভি আমরা এনভিডিয়া জেটপ্যাক এসডিকে সংস্করণ 4.6.1-এর সঙ্গে জেটসন ন্যানো (4 জিবি) ব্যবহার করি, যা প্রি-ইনস্টল করা পাইথন 3.6, সিইউডিএ 10.2 এবং ওপেনসিভি 4.1.1-এর সঙ্গে আসে। জিপিইউ এক্সিলারেটেড ফাইসিভি সক্ষম করতে আমরা পাইটর্চ 1.10 ইনস্টল করি। আমরা প্রান্ত সনাক্তকরণ এবং কম আলো বৃদ্ধির কাজের জন্য রিয়েল-টাইমে জেটসন ন্যানোতে ফাইসিভি চালানোর ফলাফল এবং মেট্রিক্স প্রদর্শন করি। 480পি ভিডিওর জন্য, উভয় অপারেশনই 38 এফপিএস অতিক্রম করে, যা 30 এফপিএসে ভিডিও ধারণকারী বেশিরভাগ ক্যামেরার জন্য যথেষ্ট। 720পি ভিডিওর জন্য, ফাইসিভি কম-আলো বর্ধন 24 এফপিএসে কাজ করতে পারে এবং ফাইসিভি প্রান্ত সনাক্তকরণ 17 এফপিএসে কাজ করতে পারে। হাইলাইটস মডুলার কোড আর্কিটেকচার ফাইসিভির কোডে একটি মডুলার ডিজাইন রয়েছে যা বিশ্বস্তভাবে সেই শারীরিক প্রক্রিয়াটি অনুসরণ করে যেখান থেকে অ্যালগরিদমটি উদ্ভূত হয়েছিল। ফাইসিভি গ্রন্থাগারের পি. এস. টি এবং পিএজিই মডিউল উভয়ই সমন্বিত (পর্যায়) সনাক্তকরণের পরে ইঞ্জিনিয়ারড ডিফ্র্যাক্টিভ সম্পত্তি সহ একটি ডিভাইসের মাধ্যমে ইনপুট সিগন্যালের (মূল ডিজিটাল চিত্র) প্রচারকে অনুকরণ করে। বিচ্ছুরিত প্রসারণ মূল চিত্রের ফ্রিকোয়েন্সি ডোমেনে একটি ফেজ কার্নেল প্রয়োগ করে। এই প্রক্রিয়ার সাধারণভাবে তিনটি ধাপ রয়েছে, ছবি লোড করা, কার্নেল শুরু করা এবং কার্নেল প্রয়োগ করা। ফাইসিভি বাস্তবায়নে, প্রতিটি অ্যালগরিদমকে পাইথনে একটি শ্রেণী হিসাবে উপস্থাপন করা হয় এবং প্রতিটি শ্রেণীর এমন পদ্ধতি রয়েছে যা উপরে বর্ণিত পদক্ষেপগুলি অনুকরণ করে। মডুলার কোড স্থাপত্য অ্যালগরিদমের পিছনে পদার্থবিজ্ঞান অনুসরণ করে। আরও বিস্তারিত জানার জন্য দয়া করে গিটহাবের সোর্স কোডটি দেখুন। জিপিইউ ত্বরণ ফাইসিভি জিপিইউ ত্বরণ সমর্থন করে। পিএসটি এবং পিএজিই-এর জিপিইউ সংস্করণগুলি সিইউডিএ টুলকিট দ্বারা ত্বরান্বিত পাইটর্চের উপর নির্মিত। রিয়েল-টাইম ইমেজ ভিডিও প্রসেসিং এবং অন্যান্য গভীর শিক্ষার কাজে অ্যালগরিদম প্রয়োগের জন্য ত্বরণ উপকারী। বিভিন্ন রেজোলিউশনে ভিডিওর জন্য সিপিইউ (ইন্টেল আই 9-9900 কে) এবং জিপিইউ (এনভিডিয়া টাইটান আরটিএক্স)-তে ফাইসিভি অ্যালগরিদমের প্রতি ফ্রেমে চলমান সময় নীচে দেখানো হয়েছে। মনে রাখবেন যে ফাইসিভি কম-আলো বর্ধন এইচএসভি রঙের জায়গায় কাজ করে, তাই চলমান সময়ে আরজিবি থেকে এইচএসভি রূপান্তরও অন্তর্ভুক্ত থাকে। যাইহোক, জিপিইউ ব্যবহার করে সমস্ত চলমান সময়ের জন্য, আমরা সিপিইউ থেকে জিপিইউতে ডেটা সরানোর সময়কে উপেক্ষা করি এবং শুধুমাত্র অ্যালগরিদম অপারেশনের সময় গণনা করি। ইনস্টলেশন এবং উদাহরণ একটি বিস্তারিত প্রযুক্তিগত ডকুমেন্টেশনের জন্য দয়া করে গিটহাব রিডমে ফাইলটি দেখুন। রিয়েল-টাইম ভিডিও প্রক্রিয়াকরণের জন্য বর্তমান সীমাবদ্ধতা আই/ও (ইনপুট/আউটপুট) বাধা ক্যামেরা থেকে রিয়েল-টাইম ভিডিও স্ট্রিমগুলির সাথে কাজ করার সময়, ফ্রেমগুলি ক্যাপচার করা হয় এবং সিপিইউতে বাফার করা হয় এবং জিপিইউ-ত্বরান্বিত ফাইসিভি অ্যালগরিদম চালানোর জন্য জিপিইউতে স্থানান্তরিত করতে হয়। এই প্রক্রিয়াটি সময়সাপেক্ষ এবং রিয়েল-টাইম ভিডিও-প্রসেসিং অ্যালগরিদমগুলির জন্য এটি একটি সাধারণ বাধা। বিভিন্ন ছবির জন্য পরামিতি অভিযোজনের অভাব বর্তমানে, ফাইসিভি অ্যালগরিদমের পরামিতিগুলি বিভিন্ন ছবির জন্য ম্যানুয়ালি সুর করতে হয়। যদিও পূর্ব-নির্বাচিত পরামিতিগুলির একটি সেট চিত্রের বিস্তৃত পরিসরের জন্য তুলনামূলকভাবে ভাল কাজ করে, তবে বিভিন্ন চিত্রের জন্য পরামিতি অভিযোজনের অভাব এখনকার জন্য একটি সীমাবদ্ধতা রয়ে গেছে। আরও দেখুন প্রান্ত সনাক্তকরণ বৈশিষ্ট্য সনাক্তকরণ (কম্পিউটার দৃষ্টি) টাইম স্ট্রেচ অ্যানালগ-টু-ডিজিটাল রূপান্তরকারী টাইম স্ট্রেচ ডিসপারসিভ ফুরিয়ার ট্রান্সফর্ম ফেজ স্ট্রেচ ট্রান্সফর্ম রেফারেন্স কম্পিউটার দৃষ্টি সফ্টওয়্যার কম্পিউটার দৃষ্টি