Perceiver
પર્સીવર એ એક ટ્રાન્સફોર્મર છે જે છબીઓ, અવાજો અને વિડિયો અને અવકાશી ડેટા જેવા બિન-શાબ્દિક ડેટા પર પ્રક્રિયા કરવા માટે અનુકૂળ છે. ટ્રાન્સફોર્મર્સ બી. ઈ. આર. ટી. અને જી. પી. ટી.-3 જેવી અન્ય નોંધપાત્ર પ્રણાલીઓને આધાર આપે છે, જે પર્સીવરથી આગળ હતી. તે સુપ્ત અવરોધમાં ઇનપુટ્સને નિસ્યંદિત કરવા માટે અસમપ્રમાણ ધ્યાન પદ્ધતિ અપનાવે છે, જે તેને મોટી માત્રામાં વિજાતીય માહિતીમાંથી શીખવાની મંજૂરી આપે છે. પર્સીવર વર્ગીકરણ કાર્યો પર વિશિષ્ટ નમૂનાઓ સાથે મેળ ખાય છે અથવા તેમને પાછળ છોડી દે છે. પર્સીવરને જૂન 2021માં ડીપમાઇન્ડ દ્વારા રજૂ કરવામાં આવ્યું હતું. તે પછી ઓગસ્ટ 2021 માં પર્સીવર આઇઓ દ્વારા અનુસરવામાં આવ્યું હતું. ડિઝાઇન પર્સીવરની રચના પદ્ધતિ-વિશિષ્ટ ઘટકો વિના કરવામાં આવી છે. ઉદાહરણ તરીકે, તેમાં છબીઓ, અથવા ટેક્સ્ટ અથવા ઓડિયોને હેન્ડલ કરવા માટે વિશિષ્ટ તત્વો નથી. વધુમાં તે વિજાતીય પ્રકારોના બહુવિધ સહસંબંધિત ઇનપુટ પ્રવાહોને સંભાળી શકે છે. તે સુપ્ત એકમોના નાના સમૂહનો ઉપયોગ કરે છે જે ધ્યાન અવરોધ બનાવે છે જેના દ્વારા ઇનપુટ્સ પસાર થવું આવશ્યક છે. એક ફાયદો એ છે કે પ્રારંભિક ટ્રાન્સફોર્મર્સમાં જોવા મળતી દ્વિઘાત સ્કેલિંગ સમસ્યાને દૂર કરવી. અગાઉના કાર્યમાં દરેક પદ્ધતિ માટે કસ્ટમ સુવિધા એક્સટ્રેક્ટરનો ઉપયોગ થતો હતો. તે દરેક ઇનપુટ તત્વ સાથે સ્થિતિ અને પદ્ધતિ-વિશિષ્ટ સુવિધાઓને સાંકળે છે (દા. ત. દરેક પિક્સેલ, અથવા ઓડિયો નમૂનો). આ સુવિધાઓ ઉચ્ચ-વફાદારી ફોરિયર સુવિધાઓનો ઉપયોગ કરીને શીખી શકાય છે અથવા બનાવી શકાય છે. પર્સીવર રેખીય જટિલતા સ્તરો ઉત્પન્ન કરવા અને ઇનપુટ કદથી નેટવર્કની ઊંડાઈને અલગ કરવા માટે ક્રોસ-અટેન્શનનો ઉપયોગ કરે છે. આ ડીકપલિંગ ઊંડા આર્કિટેક્ચરને મંજૂરી આપે છે. ઘટકો એક ક્રોસ-અટેન્શન મોડ્યુલ (મોટા) બાઈટ એરે (દા. ત., એક પિક્સેલ એરે) અને એક સુપ્ત એરે (નાના) ને અન્ય સુપ્ત એરેમાં મેપ કરે છે, જે પરિમાણને ઘટાડે છે. ટ્રાન્સફોર્મર ટાવર એક સુપ્ત એરેને અન્ય સુપ્ત એરેમાં મેપ કરે છે, જેનો ઉપયોગ ઇનપુટને ફરીથી ક્વેરી કરવા માટે થાય છે. બે ઘટકો વૈકલ્પિક છે. બંને ઘટકો ક્વેરી-કી-વેલ્યુ (ક્યુ. કે. વી.) ધ્યાનનો ઉપયોગ કરે છે. ક્યુ. કે. વી. ધ્યાન ક્વેરી, કી અને મૂલ્ય નેટવર્કને લાગુ કરે છે, જે સામાન્ય રીતે મલ્ટીલેયર પર્સેપ્ટ્રોન હોય છે-ઇનપુટ એરેના દરેક ઘટક માટે, ત્રણ એરે ઉત્પન્ન કરે છે જે તેમના ઇનપુટ્સની અનુક્રમણિકા પરિમાણ (અથવા અનુક્રમ લંબાઈ) ને જાળવી રાખે છે. પર્સીવર IO પર્સીવર IO મનસ્વી કદ અને સિમેન્ટિક્સના આઉટપુટનું ઉત્પાદન કરવા માટે મોડેલની સુપ્ત જગ્યાને લવચીક રીતે ક્વેરી કરી શકે છે. તે કુદરતી ભાષા અને વિઝ્યુઅલ સમજણ, સ્ટારક્રાફ્ટ II અને મલ્ટી-ટાસ્કિંગ જેવા માળખાગત આઉટપુટ જગ્યાઓ સાથેના કાર્યો પર પરિણામો પ્રાપ્ત કરે છે. પર્સીવર IO ઇનપુટ ટોકનાઇઝેશનની જરૂરિયાત વિના GLUE લેંગ્વેજ બેન્ચમાર્ક પર ટ્રાન્સફોર્મર-આધારિત BERT બેઝલાઇન સાથે મેળ ખાય છે અને સિન્ટલ ઓપ્ટિકલ ફ્લો એસ્ટિમેશન પર અત્યાધુનિક પ્રદર્શન પ્રાપ્ત કરે છે. આઉટપુટ તે ચોક્કસ આઉટપુટ સાથે સંકળાયેલ ચોક્કસ આઉટપુટ ક્વેરીનો ઉપયોગ કરીને સુપ્ત એરેમાં હાજરી આપીને ઉત્પન્ન થાય છે. ઉદાહરણ તરીકે, એક પિક્સેલ પર ઓપ્ટિકલ પ્રવાહની આગાહી કરવા માટે ક્વેરી પિક્સેલના xy કોઓર્ડિનેટ્સ વત્તા એક ફ્લો વેક્ટર ઉત્પન્ન કરવા માટે ઓપ્ટિકલ ફ્લો ટાસ્ક એમ્બેડિંગનો ઉપયોગ કરીને હાજરી આપશે. તે અન્ય ડિઝાઇનમાં ઉપયોગમાં લેવાતા એન્કોડર/ડીકોડર આર્કિટેક્ચર પરની વિવિધતા છે. પરફોર્મન્સ પર્સીવરનું પ્રદર્શન 2D કોન્વોલ્યુશન વિના ઇમેજનેટ પર રેસનેટ-50 અને વીઆઇટી સાથે તુલનાત્મક છે. તે 50,000 પિક્સેલ્સ સુધી પહોંચે છે. તે ઓડિયોસેટમાં તમામ પદ્ધતિઓમાં સ્પર્ધાત્મક છે. કન્વોલ્યુશનલ ન્યુરલ નેટવર્ક ટ્રાન્સફોર્મર (મશીન લર્નિંગ મોડેલ) સંદર્ભો બાહ્ય કડીઓ પણ જુઓ, જેમાં મશીન લર્નિંગની વધુ વિગતવાર સમજાવેલી ફોરિયર સુવિધાઓ છે.