Facial motion capture
फेशियल मोशन कैप्चर कैमरा या लेजर स्कैनर का उपयोग करके किसी व्यक्ति के चेहरे की गतिविधियों को इलेक्ट्रॉनिक रूप से डिजिटल डेटाबेस में परिवर्तित करने की प्रक्रिया है। इस डेटाबेस का उपयोग कंप्यूटर ग्राफिक्स (सी. जी.), फिल्मों, खेलों या वास्तविक समय के अवतारों के लिए कंप्यूटर एनीमेशन बनाने के लिए किया जा सकता है। क्योंकि सी. जी. वर्णों की गति वास्तविक लोगों की गतिविधियों से प्राप्त होती है, इसके परिणामस्वरूप एनीमेशन को मैन्युअल रूप से बनाए जाने की तुलना में अधिक यथार्थवादी और सूक्ष्म कंप्यूटर चरित्र एनीमेशन होता है। एक चेहरे की गति को पकड़ने वाला डेटाबेस अभिनेता के चेहरे पर संदर्भ बिंदुओं के निर्देशांक या सापेक्ष स्थितियों का वर्णन करता है। पकड़ना दो आयामों में हो सकता है, इस मामले में पकड़ने की प्रक्रिया को कभी-कभी "एक्सप्रेशन ट्रैकिंग" या तीन आयामों में कहा जाता है। एकल कैमरा और कैप्चर सॉफ्टवेयर का उपयोग करके द्वि-आयामी कैप्चर प्राप्त किया जा सकता है। यह कम परिष्कृत ट्रैकिंग उत्पन्न करता है, और सिर के घूर्णन जैसे त्रि-आयामी गतियों को पूरी तरह से पकड़ने में असमर्थ है। बहु-कैमरा रिग या लेजर मार्कर प्रणाली का उपयोग करके त्रि-आयामी कब्जा पूरा किया जाता है। इस तरह की प्रणालियाँ आम तौर पर कहीं अधिक महंगी, जटिल और समय लेने वाली होती हैं। दो प्रमुख प्रौद्योगिकियां मौजूद हैंः मार्कर और मार्कर-लेस ट्रैकिंग सिस्टम। चेहरे की गति पकड़ना शरीर की गति पकड़ने से संबंधित है, लेकिन आंखों और होंठों की छोटी गतिविधियों से संभव सूक्ष्म अभिव्यक्तियों का पता लगाने और उन पर नज़र रखने के लिए उच्च संकल्प आवश्यकताओं के कारण अधिक चुनौतीपूर्ण है। ये चालें अक्सर कुछ मिलीमीटर से भी कम होती हैं, जिनके लिए आम तौर पर पूरे शरीर को पकड़ने में उपयोग की जाने वाली तकनीकों की तुलना में अधिक संकल्प और निष्ठा और विभिन्न फ़िल्टरिंग तकनीकों की आवश्यकता होती है। चेहरे की अतिरिक्त बाधाएं भी मॉडल और नियमों का उपयोग करने के लिए अधिक अवसर प्रदान करती हैं। फेशियल एक्सप्रेशन कैपचर फेशियल मोशन कैपचर के समान है। यह मानव चेहरों से इनपुट के साथ कंप्यूटर द्वारा उत्पन्न वर्णों में हेरफेर करने या उपयोगकर्ता की भावनाओं को पहचानने के लिए दृश्य या यांत्रिक साधनों का उपयोग करने की एक प्रक्रिया है। इतिहास प्रदर्शन-संचालित एनीमेशन पर चर्चा करने वाले पहले पत्रों में से एक 1990 में लांस विलियम्स द्वारा प्रकाशित किया गया था। वहाँ, वे 'वास्तविक रूपों की अभिव्यक्तियों को प्राप्त करने और उन्हें कंप्यूटर द्वारा उत्पन्न चेहरों पर लागू करने के साधन' का वर्णन करते हैं। प्रौद्योगिकी मार्कर-आधारित पारंपरिक मार्कर आधारित प्रणालियाँ अभिनेताओं के चेहरे पर 350 मार्करों को लागू करती हैं और उच्च रिज़ॉल्यूशन वाले कैमरों के साथ मार्कर की गति को ट्रैक करती हैं। इसका उपयोग द पोलर एक्सप्रेस और बेवुल्फ जैसी फिल्मों में टॉम हैंक्स जैसे अभिनेता को कई अलग-अलग पात्रों के चेहरे के भावों को चलाने की अनुमति देने के लिए किया गया है। दुर्भाग्य से यह अपेक्षाकृत बोझिल है और एक बार स्मूथिंग और फ़िल्टरिंग होने के बाद अभिनेता के भावों को अत्यधिक प्रेरित करता है। कैप्टिव मोशन जैसी अगली पीढ़ी की प्रणालियाँ उच्च स्तर के विवरणों के साथ पारंपरिक मार्कर आधारित प्रणाली की शाखाओं का उपयोग करती हैं। सक्रिय एल. ई. डी. मार्कर तकनीक का उपयोग वर्तमान में उपयोगकर्ता प्रतिक्रिया प्रदान करने के लिए वास्तविक समय में चेहरे के एनीमेशन को चलाने के लिए किया जा रहा है। मार्करलेस तकनीकें चेहरे की विशेषताओं जैसे कि नासिका, होंठ और आंखों के कोनों और झुर्रियों का उपयोग करती हैं और फिर उन्हें ट्रैक करती हैं। इस तकनीक पर चर्चा और प्रदर्शन सीएमयू, आईबीएम, मैनचेस्टर विश्वविद्यालय (जहां इसका अधिकांश हिस्सा टिम कूट्स, गैरेथ एडवर्ड्स और क्रिस टेलर के साथ शुरू हुआ) और अन्य स्थानों पर किया जाता है, जिसमें सक्रिय उपस्थिति मॉडल, प्रमुख घटक विश्लेषण, आइगन ट्रैकिंग, विकृत सतह मॉडल और अन्य तकनीकों का उपयोग किया जाता है ताकि फ्रेम से फ्रेम तक वांछित चेहरे की विशेषताओं को ट्रैक किया जा सके। यह तकनीक बहुत कम बोझिल है, और अभिनेता के लिए अधिक अभिव्यक्ति की अनुमति देती है। इन दृष्टि आधारित दृष्टिकोणों में पुतली की गति, पलकें, होंठ और जीभ द्वारा दांतों के अवरोध को ट्रैक करने की क्षमता भी होती है, जो अधिकांश कंप्यूटर-एनिमेटेड विशेषताओं में स्पष्ट समस्याएं हैं। दृष्टि आधारित दृष्टिकोण की विशिष्ट सीमाएँ रिज़ॉल्यूशन और फ्रेम दर हैं, जो दोनों कम हो रहे हैं क्योंकि उच्च गति, उच्च रिज़ॉल्यूशन वाले CMOS कैमरे कई स्रोतों से उपलब्ध हो जाते हैं। मार्करलेस फेस ट्रैकिंग के लिए तकनीक एक फेशियल रिकग्निशन सिस्टम से संबंधित है, क्योंकि एक फेशियल रिकग्निशन सिस्टम को संभावित रूप से वीडियो के प्रत्येक फ्रेम पर क्रमिक रूप से लागू किया जा सकता है, जिसके परिणामस्वरूप फेस ट्रैकिंग होती है। उदाहरण के लिए, नेवेन दृष्टि प्रणाली (पूर्व में आईमैटिक्स, जिसे अब गूगल द्वारा अधिग्रहित किया गया है) ने बिना किसी व्यक्ति-विशिष्ट प्रशिक्षण के वास्तविक समय में 2डी चेहरे पर नज़र रखने की अनुमति दी; उनकी प्रणाली अमेरिकी सरकार के 2002 के चेहरे की पहचान विक्रेता परीक्षण (एफआरवीटी) में सबसे अच्छा प्रदर्शन करने वाली चेहरे की पहचान करने वाली प्रणालियों में से एक थी। दूसरी ओर, कुछ मान्यता प्रणालियाँ स्पष्ट रूप से अभिव्यक्तियों को ट्रैक नहीं करती हैं या गैर-तटस्थ अभिव्यक्तियों पर भी विफल हो जाती हैं, और इसलिए ट्रैकिंग के लिए उपयुक्त नहीं हैं। इसके विपरीत, विकृत सतह मॉडल जैसी प्रणालियाँ अधिक मजबूत परिणाम प्राप्त करने और प्राप्त करने के लिए अस्थायी जानकारी एकत्र करती हैं, और इस प्रकार एक तस्वीर से लागू नहीं किया जा सकता है। मार्करलेस फेस ट्रैकिंग ने इमेज मेट्रिक्स जैसी वाणिज्यिक प्रणालियों में प्रगति की है, जिसे द मैट्रिक्स सीक्वल और द क्यूरियस केस ऑफ बेंजामिन बटन जैसी फिल्मों में लागू किया गया है। उत्तरार्द्ध ने एक विकृत चेहरे के मॉडल को पकड़ने के लिए मोवा प्रणाली का उपयोग किया, जिसे तब मैनुअल और दृष्टि ट्रैकिंग के संयोजन के साथ एनिमेटेड किया गया था। अवतार एक और प्रमुख प्रदर्शन कैप्चर फिल्म थी, हालांकि इसमें मार्कर रहित होने के बजाय चित्रित मार्करों का उपयोग किया गया था। डायनेमिक्स एक अन्य वाणिज्यिक प्रणाली है जो वर्तमान में उपयोग में है। मार्कर रहित प्रणालियों को कई विशिष्ट मानदंडों के अनुसार वर्गीकृत किया जा सकता हैः 2डी बनाम 3डी ट्रैकिंग कि क्या व्यक्ति-विशिष्ट प्रशिक्षण या अन्य मानव सहायता की वास्तविक समय प्रदर्शन की आवश्यकता है (जो केवल तभी संभव है जब कोई प्रशिक्षण या पर्यवेक्षण की आवश्यकता न हो) क्या उन्हें जानकारी के अतिरिक्त स्रोत की आवश्यकता है जैसे कि अनुमानित पैटर्न या अदृश्य पेंट जैसे कि मोवा प्रणाली में उपयोग किया जाता है। आज तक, इन सभी मानदंडों के संबंध में कोई भी प्रणाली आदर्श नहीं है। उदाहरण के लिए, नेवेन दृष्टि प्रणाली पूरी तरह से स्वचालित थी और इसके लिए किसी छिपे हुए पैटर्न या प्रति व्यक्ति प्रशिक्षण की आवश्यकता नहीं थी, लेकिन यह 2डी थी। फेस/ऑफ सिस्टम 3डी, स्वचालित और वास्तविक समय है लेकिन इसके लिए अनुमानित पैटर्न की आवश्यकता होती है। फेशियल एक्सप्रेशन कैपचर टेक्नोलॉजी डिजिटल वीडियो-आधारित विधियों को तेजी से पसंद किया जा रहा है, क्योंकि यांत्रिक प्रणालियाँ बोझिल और उपयोग करने में कठिन होती हैं। डिजिटल कैमरों का उपयोग करके, इनपुट उपयोगकर्ता के भावों को सिर की मुद्रा प्रदान करने के लिए संसाधित किया जाता है, जो सॉफ्टवेयर को फिर आंखों, नाक और मुंह को खोजने की अनुमति देता है। चेहरे को शुरू में एक तटस्थ अभिव्यक्ति का उपयोग करके कैलिब्रेट किया जाता है। फिर वास्तुकला के आधार पर, भौहें, पलकें, गाल और मुंह को तटस्थ अभिव्यक्ति से अंतर के रूप में संसाधित किया जा सकता है। यह उदाहरण के लिए होंठों के किनारों को देखकर और इसे एक अनूठी वस्तु के रूप में पहचानकर किया जाता है। अक्सर कंट्रास्ट बढ़ाने वाले मेकअप या मार्कर पहने जाते हैं, या प्रसंस्करण को तेज करने के लिए कोई अन्य विधि। आवाज पहचानने की तरह, सबसे अच्छी तकनीकें केवल 90 प्रतिशत समय अच्छी होती हैं, जिसमें हाथ से बहुत अधिक बदलाव या त्रुटियों के लिए सहिष्णुता की आवश्यकता होती है। चूँकि कंप्यूटर द्वारा उत्पन्न वर्णों में वास्तव में मांसपेशियाँ नहीं होती हैं, इसलिए समान परिणाम प्राप्त करने के लिए विभिन्न तकनीकों का उपयोग किया जाता है। कुछ एनिमेटर हड्डियों या वस्तुओं को बनाते हैं जो कैप्चर सॉफ्टवेयर द्वारा नियंत्रित होते हैं, और उन्हें उसी के अनुसार स्थानांतरित करते हैं, जो जब चरित्र को सही ढंग से ठीक किया जाता है तो एक अच्छा अनुमान देता है। चूँकि चेहरे बहुत लोचदार होते हैं, इस तकनीक को अक्सर दूसरों के साथ मिलाया जाता है, त्वचा की लोच और वांछित अभिव्यक्तियों के आधार पर अन्य कारकों के लिए वजन को अलग-अलग तरीके से समायोजित किया जाता है। उपयोग कई वाणिज्यिक कंपनियाँ ऐसे उत्पाद विकसित कर रही हैं जिनका उपयोग किया गया है, लेकिन वे महंगे हैं। यह उम्मीद की जाती है कि एक बार सॉफ्टवेयर एक किफायती प्रारूप में उपलब्ध हो जाने के बाद यह कंप्यूटर गेम के लिए एक प्रमुख इनपुट उपकरण बन जाएगा, लेकिन पिछले 15 वर्षों के शोध के बावजूद हार्डवेयर और सॉफ्टवेयर अभी तक मौजूद नहीं हैं, जो लगभग उपयोग करने योग्य परिणाम देते हैं। आई ट्रैकिंग कंप्यूटर फेशियल एनीमेशन डीपफेक फेशियल रिकग्निशन सिस्टम फेशियल एक्शन कोडिंग सिस्टम अनकैनी वैली संदर्भ बाहरी लिंक कार्नेगी मेलन यूनिवर्सिटी डेल्फ्ट यूनिवर्सिटी ऑफ टेक्नोलॉजी इंटेल शेफील्ड और ओटागो कंप्यूटर एनीमेशन फेशियल एक्सप्रेशन कंप्यूटिंग इनपुट डिवाइस मोशन कैप्चर