Facial motion capture
ફેસિયલ મોશન કેપ્ચર એ કેમેરા અથવા લેસર સ્કેનર્સનો ઉપયોગ કરીને વ્યક્તિના ચહેરાની હિલચાલને ડિજિટલ ડેટાબેઝમાં ઇલેક્ટ્રોનિક રીતે રૂપાંતરિત કરવાની પ્રક્રિયા છે. આ ડેટાબેઝનો ઉપયોગ પછી કોમ્પ્યુટર ગ્રાફિક્સ (CG), ચલચિત્રો, રમતો અથવા વાસ્તવિક સમયના અવતારો માટે કોમ્પ્યુટર એનિમેશન બનાવવા માટે થઈ શકે છે. કારણ કે CG અક્ષરોની ગતિ વાસ્તવિક લોકોની હિલચાલમાંથી મેળવવામાં આવે છે, તે એનિમેશન જાતે બનાવવામાં આવ્યું હોય તેના કરતાં વધુ વાસ્તવિક અને સૂક્ષ્મ કમ્પ્યુટર પાત્ર એનિમેશનમાં પરિણમે છે. ચહેરાની ગતિ કેપ્ચર ડેટાબેઝ અભિનેતાના ચહેરા પરના સંદર્ભ બિંદુઓના કોઓર્ડિનેટ્સ અથવા સંબંધિત સ્થાનોનું વર્ણન કરે છે. કેપ્ચર બે પરિમાણોમાં હોઈ શકે છે, આ કિસ્સામાં કેપ્ચર પ્રક્રિયાને કેટલીકવાર "એક્સપ્રેશન ટ્રેકિંગ" અથવા ત્રણ પરિમાણોમાં કહેવામાં આવે છે. એક જ કેમેરા અને કેપ્ચર સોફ્ટવેરનો ઉપયોગ કરીને દ્વિ-પરિમાણીય કેપ્ચર પ્રાપ્ત કરી શકાય છે. આ ઓછા વ્યવહારદક્ષ ટ્રેકિંગનું ઉત્પાદન કરે છે, અને માથાના પરિભ્રમણ જેવી ત્રિ-પરિમાણીય ગતિઓને સંપૂર્ણપણે પકડવામાં અસમર્થ છે. ત્રિ-પરિમાણીય કેપ્ચર મલ્ટી-કેમેરા રિગ્સ અથવા લેસર માર્કર સિસ્ટમનો ઉપયોગ કરીને પૂર્ણ થાય છે. આવી પ્રણાલીઓ સામાન્ય રીતે વધુ ખર્ચાળ, જટિલ અને ઉપયોગમાં લેવાતી હોય છે. બે મુખ્ય તકનીકો અસ્તિત્વમાં છેઃ માર્કર અને માર્કર-લેસ ટ્રેકિંગ સિસ્ટમ્સ. ફેસિયલ મોશન કેપ્ચર બોડી મોશન કેપ્ચર સાથે સંબંધિત છે, પરંતુ આંખો અને હોઠની નાની હિલચાલથી શક્ય સૂક્ષ્મ અભિવ્યક્તિઓને શોધવા અને ટ્રેક કરવા માટે ઉચ્ચ રીઝોલ્યુશન જરૂરિયાતોને કારણે વધુ પડકારજનક છે. આ હલનચલન ઘણીવાર થોડા મિલીમીટર કરતા ઓછી હોય છે, જેમાં સામાન્ય રીતે સંપૂર્ણ બોડી કેપ્ચરમાં ઉપયોગમાં લેવાતા કરતાં વધુ રીઝોલ્યુશન અને વફાદારી અને વિવિધ ગાળણ તકનીકોની જરૂર પડે છે. ચહેરાના વધારાના અવરોધો પણ નમૂનાઓ અને નિયમોનો ઉપયોગ કરવા માટે વધુ તકો આપે છે. ચહેરાના હાવભાવ કેપ્ચર ચહેરાના ગતિ કેપ્ચર જેવું જ છે. તે માનવ ચહેરાઓમાંથી ઇનપુટ સાથે કમ્પ્યુટર જનરેટેડ અક્ષરોને ચાલાકીથી ચલાવવા અથવા વપરાશકર્તાની લાગણીઓને ઓળખવા માટે દ્રશ્ય અથવા યાંત્રિક માધ્યમોનો ઉપયોગ કરવાની પ્રક્રિયા છે. પ્રદર્શન-સંચાલિત એનિમેશનની ચર્ચા કરતા પ્રથમ કાગળોમાંથી એક 1990 માં લાન્સ વિલિયમ્સ દ્વારા પ્રકાશિત કરવામાં આવ્યું હતું. ત્યાં, તેઓ 'વાસ્તવિક અભિવ્યક્તિઓ પ્રાપ્ત કરવા અને તેમને કોમ્પ્યુટર-જનરેટેડ ચહેરાઓ પર લાગુ કરવાના સાધન' નું વર્ણન કરે છે. તકનીકીઓ માર્કર-આધારિત પરંપરાગત માર્કર આધારિત પ્રણાલીઓ અભિનેતાઓના ચહેરા પર 350 માર્કર્સ લાગુ કરે છે અને ઉચ્ચ રીઝોલ્યુશન કેમેરા સાથે માર્કરની હિલચાલને ટ્રેક કરે છે. આનો ઉપયોગ ધ પોલર એક્સપ્રેસ અને બિયોવુલ્ફ જેવી ફિલ્મોમાં ટોમ હેન્ક્સ જેવા અભિનેતાને વિવિધ પાત્રોના ચહેરાના હાવભાવને ચલાવવાની મંજૂરી આપવા માટે કરવામાં આવ્યો છે. કમનસીબે આ પ્રમાણમાં બોજારૂપ છે અને એકવાર સ્મૂથિંગ અને ફિલ્ટરિંગ થઈ જાય પછી અભિનેતાના હાવભાવને વધુ પડતા પ્રેરિત કરે છે. કેપ્ટિવ મોશન જેવી આગામી પેઢીની પ્રણાલીઓ ઉચ્ચ સ્તરની વિગતો સાથે પરંપરાગત માર્કર આધારિત પ્રણાલીની શાખાઓનો ઉપયોગ કરે છે. સક્રિય એલઇડી માર્કર તકનીકનો ઉપયોગ હાલમાં વપરાશકર્તા પ્રતિસાદ પ્રદાન કરવા માટે વાસ્તવિક સમયમાં ચહેરાના એનિમેશનને ચલાવવા માટે કરવામાં આવી રહ્યો છે. માર્કરલેસ માર્કરલેસ તકનીકો ચહેરાના લક્ષણો જેમ કે નસકોરાં, હોઠ અને આંખોના ખૂણાઓ અને કરચલીઓનો ઉપયોગ કરે છે અને પછી તેમને ટ્રેક કરે છે. સીએમયુ, આઇબીએમ, માન્ચેસ્ટર યુનિવર્સિટી (જ્યાં આની શરૂઆત ટિમ કૂટ્સ, ગેરેથ એડવર્ડ્સ અને ક્રિસ ટેલર સાથે થઈ હતી) અને અન્ય સ્થળોએ સક્રિય દેખાવના નમૂનાઓ, મુખ્ય ઘટક વિશ્લેષણ, આઈગન ટ્રેકિંગ, વિકૃત સપાટીના નમૂનાઓ અને ચહેરાના ઇચ્છિત લક્ષણોને ફ્રેમથી ફ્રેમ સુધી ટ્રેક કરવા માટે અન્ય તકનીકોનો ઉપયોગ કરીને આ તકનીકની ચર્ચા અને પ્રદર્શન કરવામાં આવે છે. આ તકનીક ઘણી ઓછી બોજારૂપ છે, અને અભિનેતા માટે વધુ અભિવ્યક્તિની મંજૂરી આપે છે. આ દ્રષ્ટિ આધારિત અભિગમોમાં વિદ્યાર્થીનીની હિલચાલ, પોપચા, હોઠ અને જીભ દ્વારા દાંતના અવરોધને ટ્રેક કરવાની ક્ષમતા પણ હોય છે, જે મોટાભાગના કમ્પ્યુટર-એનિમેટેડ સુવિધાઓમાં સ્પષ્ટ સમસ્યાઓ છે. દ્રષ્ટિ આધારિત અભિગમોની લાક્ષણિક મર્યાદાઓ રીઝોલ્યુશન અને ફ્રેમ રેટ છે, જે બંને ઉચ્ચ ઝડપ, ઉચ્ચ રીઝોલ્યુશન CMOS કેમેરા બહુવિધ સ્રોતોમાંથી ઉપલબ્ધ થતાં મુદ્દાઓ તરીકે ઘટી રહ્યા છે. માર્કરલેસ ફેસ ટ્રેકિંગ માટેની તકનીક ફેશિયલ રેકગ્નિશન સિસ્ટમ સાથે સંબંધિત છે, કારણ કે ફેશિયલ રેકગ્નિશન સિસ્ટમ સંભવિત રીતે વીડિયોની દરેક ફ્રેમ પર ક્રમિક રીતે લાગુ કરી શકાય છે, પરિણામે ફેસ ટ્રેકિંગ થાય છે. ઉદાહરણ તરીકે, નેવેન વિઝન સિસ્ટમ (અગાઉ આઈમેટિક્સ, જે હવે ગૂગલ દ્વારા હસ્તગત કરવામાં આવી છે) એ કોઈ વ્યક્તિ-વિશિષ્ટ તાલીમ વિના રીઅલ-ટાઇમ 2D ફેસ ટ્રેકિંગની મંજૂરી આપી હતી; તેમની સિસ્ટમ યુ. એસ. સરકારની 2002 ફેસિયલ રેકગ્નિશન વેન્ડર ટેસ્ટ (એફઆરવીટી) માં શ્રેષ્ઠ પ્રદર્શન કરતી ચહેરાની ઓળખ પ્રણાલીઓમાંની એક હતી. બીજી બાજુ, કેટલીક માન્યતા પ્રણાલીઓ સ્પષ્ટ રીતે અભિવ્યક્તિઓને ટ્રેક કરતી નથી અથવા બિન-તટસ્થ અભિવ્યક્તિઓ પર પણ નિષ્ફળ જાય છે, અને તેથી ટ્રેકિંગ માટે યોગ્ય નથી. તેનાથી વિપરીત, વિકૃત સપાટીના નમૂનાઓ જેવી પ્રણાલીઓ અસ્પષ્ટતા લાવવા અને વધુ મજબૂત પરિણામો મેળવવા માટે અસ્થાયી માહિતીને એકત્રિત કરે છે, અને આમ એક જ ફોટોગ્રાફમાંથી લાગુ કરી શકાતી નથી. માર્કરલેસ ફેસ ટ્રેકિંગ ઇમેજ મેટ્રિક્સ જેવી વ્યાવસાયિક પ્રણાલીઓમાં પ્રગતિ કરી છે, જે ધ મેટ્રિક્સ સિક્વલ અને ધ ક્યુરિયસ કેસ ઓફ બેન્જામિન બટન જેવી ફિલ્મોમાં લાગુ કરવામાં આવી છે. બાદમાં વિકૃત ચહેરાના મોડેલને પકડવા માટે મોવા સિસ્ટમનો ઉપયોગ કર્યો હતો, જે પછી મેન્યુઅલ અને વિઝન ટ્રેકિંગના સંયોજન સાથે એનિમેટેડ કરવામાં આવ્યું હતું. અવતાર અન્ય એક અગ્રણી પર્ફોર્મન્સ કેપ્ચર ફિલ્મ હતી, જોકે તેમાં માર્કરલેસ બનવાને બદલે પેઇન્ટેડ માર્કર્સનો ઉપયોગ કરવામાં આવ્યો હતો. ડાયનેમિક્સાઇઝ એ હાલમાં ઉપયોગમાં લેવાતી અન્ય એક વ્યાપારી પ્રણાલી છે. માર્કરલેસ સિસ્ટમોને કેટલાક વિશિષ્ટ માપદંડ અનુસાર વર્ગીકૃત કરી શકાય છેઃ 2D વિરુદ્ધ 3D ટ્રેકિંગ કે શું વ્યક્તિ-વિશિષ્ટ તાલીમ અથવા અન્ય માનવ સહાયની વાસ્તવિક-સમયની કામગીરીની જરૂર છે (જે કોઈ તાલીમ અથવા દેખરેખની જરૂર ન હોય તો જ શક્ય છે) શું તેમને અંદાજિત પેટર્ન અથવા અદૃશ્ય રંગ જેવી માહિતીના વધારાના સ્રોતની જરૂર છે જેમ કે મોવા સિસ્ટમમાં વપરાય છે. આજની તારીખે, આ તમામ માપદંડોના સંદર્ભમાં કોઈ પણ વ્યવસ્થા આદર્શ નથી. ઉદાહરણ તરીકે, નેવેન વિઝન સિસ્ટમ સંપૂર્ણપણે સ્વચાલિત હતી અને તેમાં કોઈ છુપાયેલી પેટર્ન અથવા વ્યક્તિ દીઠ તાલીમની જરૂર નહોતી, પરંતુ તે 2D હતી. ફેસ/ઓફ સિસ્ટમ 3ડી, ઓટોમેટિક અને રીઅલ-ટાઇમ છે પરંતુ તેને અંદાજિત પેટર્નની જરૂર છે. ફેશિયલ એક્સપ્રેશન કેપ્ચર ટેકનોલોજી ડિજિટલ વિડિયો-આધારિત પદ્ધતિઓ વધુને વધુ પસંદ કરવામાં આવી રહી છે, કારણ કે યાંત્રિક પ્રણાલીઓ બોજારૂપ અને ઉપયોગમાં મુશ્કેલ હોય છે. ડિજિટલ કેમેરાનો ઉપયોગ કરીને, ઇનપુટ વપરાશકર્તાના હાવભાવને માથાની મુદ્રા પ્રદાન કરવા માટે પ્રક્રિયા કરવામાં આવે છે, જે સોફ્ટવેરને પછી આંખો, નાક અને મોં શોધવાની મંજૂરી આપે છે. ચહેરાને શરૂઆતમાં તટસ્થ અભિવ્યક્તિનો ઉપયોગ કરીને માપાંકિત કરવામાં આવે છે. પછી સ્થાપત્યના આધારે, ભમર, પોપચાં, ગાલ અને મોં પર તટસ્થ અભિવ્યક્તિથી તફાવત તરીકે પ્રક્રિયા કરી શકાય છે. આ ઉદાહરણ તરીકે હોઠની કિનારીઓ શોધીને અને તેને એક અનન્ય વસ્તુ તરીકે ઓળખીને કરવામાં આવે છે. ઘણીવાર કોન્ટ્રાસ્ટ એન્હાન્સિંગ મેકઅપ અથવા માર્કર્સ પહેરવામાં આવે છે, અથવા પ્રક્રિયાને ઝડપી બનાવવા માટે કોઈ અન્ય પદ્ધતિ. અવાજની ઓળખની જેમ, શ્રેષ્ઠ તકનીકો માત્ર 90 ટકા સમય સારી હોય છે, જેમાં હાથ દ્વારા મોટા ફેરફાર અથવા ભૂલો માટે સહિષ્ણુતાની જરૂર પડે છે. કમ્પ્યુટર દ્વારા પેદા થયેલા અક્ષરોમાં ખરેખર સ્નાયુઓ હોતા નથી, તેથી સમાન પરિણામો પ્રાપ્ત કરવા માટે વિવિધ તકનીકોનો ઉપયોગ કરવામાં આવે છે. કેટલાક એનિમેટરો હાડકાં અથવા વસ્તુઓ બનાવે છે જે કેપ્ચર સોફ્ટવેર દ્વારા નિયંત્રિત થાય છે, અને તે મુજબ તેમને ખસેડે છે, જે જ્યારે પાત્રને યોગ્ય રીતે સજ્જ કરવામાં આવે છે ત્યારે સારો અંદાજ આપે છે. ચહેરાઓ ખૂબ જ સ્થિતિસ્થાપક હોવાથી આ તકનીકને ઘણીવાર અન્ય લોકો સાથે મિશ્રિત કરવામાં આવે છે, ત્વચાની સ્થિતિસ્થાપકતા અને ઇચ્છિત અભિવ્યક્તિઓના આધારે અન્ય પરિબળો માટે વજનને અલગ રીતે સમાયોજિત કરવામાં આવે છે. ઉપયોગ કેટલીક વ્યાપારી કંપનીઓ એવા ઉત્પાદનો વિકસાવી રહી છે જેનો ઉપયોગ કરવામાં આવ્યો છે, પરંતુ તે મોંઘા છે. એવી અપેક્ષા રાખવામાં આવે છે કે એકવાર સોફ્ટવેર પોસાય તેવા સ્વરૂપમાં ઉપલબ્ધ થઈ જાય પછી કમ્પ્યુટર રમતો માટે આ એક મુખ્ય ઇનપુટ ઉપકરણ બની જશે, પરંતુ હાર્ડવેર અને સોફ્ટવેર હજુ સુધી અસ્તિત્વમાં નથી, તેમ છતાં છેલ્લા 15 વર્ષથી સંશોધન લગભગ ઉપયોગી પરિણામો ઉત્પન્ન કરે છે. આઈ ટ્રેકિંગ કોમ્પ્યુટર ફેશિયલ એનિમેશન ડીપફેક ફેશિયલ રેકગ્નિશન સિસ્ટમ ફેશિયલ એક્શન કોડિંગ સિસ્ટમ અનકેની વેલી રેફરન્સ બાહ્ય કડીઓ કાર્નેગી મેલોન યુનિવર્સિટી ડેલ્ફ્ટ યુનિવર્સિટી ઓફ ટેકનોલોજી ઇન્ટેલ શેફિલ્ડ અને ઓટાગો કોમ્પ્યુટર એનિમેશન ફેશિયલ એક્સપ્રેશન કમ્પ્યુટિંગ ઇનપુટ ડિવાઇસીસ મોશન કેપ્ચર