Perceiver
पर्सीवर एक ट्रांसफॉर्मर है जिसे गैर-पाठ्य डेटा, जैसे छवियों, ध्वनियों और वीडियो और स्थानिक डेटा को संसाधित करने में सक्षम होने के लिए अनुकूलित किया गया है। ट्रांसफॉर्मर बी. ई. आर. टी. और जी. पी. टी.-3 जैसी अन्य उल्लेखनीय प्रणालियों को रेखांकित करते हैं, जो पर्सीवर से पहले थीं। यह एक अव्यक्त अड़चन में निवेश को आसुत करने के लिए एक असममित ध्यान तंत्र को अपनाता है, जिससे यह बड़ी मात्रा में विषम डेटा से सीखने की अनुमति देता है। पर्सीवर वर्गीकरण कार्यों पर विशेष मॉडल से मेल खाता है या बेहतर प्रदर्शन करता है। पर्सिवर को जून 2021 में डीपमाइंड द्वारा पेश किया गया था। इसके बाद अगस्त 2021 में पर्सीवर आई. ओ. आया। डिजाइन पर्सिवर को तौर-तरीके-विशिष्ट तत्वों के बिना डिज़ाइन किया गया है। उदाहरण के लिए, इसमें छवियों, या पाठ, या ऑडियो को संभालने के लिए विशिष्ट तत्व नहीं हैं। इसके अलावा यह विषम प्रकार की कई सहसंबद्ध इनपुट धाराओं को संभाल सकता है। यह अव्यक्त इकाइयों के एक छोटे समूह का उपयोग करता है जो एक ध्यान बाधा बनाता है जिसके माध्यम से निवेश को गुजरना पड़ता है। एक लाभ प्रारंभिक ट्रांसफॉर्मरों में पाई जाने वाली द्विघात स्केलिंग समस्या को समाप्त करना है। पहले के काम में प्रत्येक मोडलिटी के लिए कस्टम फीचर एक्सट्रैक्टर्स का उपयोग किया जाता था। यह प्रत्येक इनपुट तत्व के साथ स्थिति और तौर-तरीके-विशिष्ट विशेषताओं को जोड़ता है (जैसे। प्रत्येक पिक्सेल, या ऑडियो नमूना)। इन विशेषताओं को उच्च-निष्ठा फूरियर विशेषताओं का उपयोग करके सीखा या बनाया जा सकता है। पर्सीवर रैखिक जटिलता परतों का उत्पादन करने और इनपुट आकार से नेटवर्क की गहराई को अलग करने के लिए क्रॉस-अटेंशन का उपयोग करता है। यह विच्छेदन गहरी वास्तुकला की अनुमति देता है। घटक एक क्रॉस-अटेंशन मॉड्यूल एक (बड़े) बाइट सरणी (जैसे, एक पिक्सेल सरणी) और एक अव्यक्त सरणी (छोटे) को एक अन्य अव्यक्त सरणी में मैप करता है, जो आयामीता को कम करता है। एक ट्रांसफॉर्मर टावर एक अव्यक्त सरणी को दूसरे अव्यक्त सरणी में मैप करता है, जिसका उपयोग इनपुट को फिर से क्वेरी करने के लिए किया जाता है। दोनों घटक बारी-बारी से होते हैं। दोनों घटक क्वेरी-की-वैल्यू (क्यूकेवी) ध्यान का उपयोग करते हैं। क्यूकेवी ध्यान क्वेरी, कुंजी और मूल्य नेटवर्क को लागू करता है, जो आम तौर पर बहुस्तरीय परसेप्ट्रॉन होते हैं-एक इनपुट सरणी के प्रत्येक तत्व के लिए, तीन सरणी का उत्पादन करते हैं जो उनके इनपुट की सूचकांक आयामी (या अनुक्रम लंबाई) को संरक्षित करते हैं। पर्सिवर आई. ओ. पर्सिवर आई. ओ. मनमाने आकार और शब्दार्थ के आउटपुट का उत्पादन करने के लिए मॉडल के अव्यक्त स्थान से आसानी से पूछताछ कर सकता है। यह प्राकृतिक भाषा और दृश्य समझ, स्टारक्राफ्ट II और मल्टी-टास्किंग जैसे संरचित आउटपुट स्पेस वाले कार्यों पर परिणाम प्राप्त करता है। पर्सिवर आई. ओ. इनपुट टोकनाइजेशन की आवश्यकता के बिना जी. एल. यू. ई. भाषा बेंचमार्क पर एक ट्रांसफॉर्मर-आधारित बी. ई. आर. टी. आधार रेखा से मेल खाता है और सिंटेल ऑप्टिकल प्रवाह आकलन पर अत्याधुनिक प्रदर्शन प्राप्त करता है। उस विशेष आउटपुट से जुड़े एक विशिष्ट आउटपुट क्वेरी का उपयोग करके अव्यक्त सरणी में भाग लेकर आउटपुट का उत्पादन किया जाता है। उदाहरण के लिए एक पिक्सेल पर ऑप्टिकल प्रवाह की भविष्यवाणी करने के लिए एक प्रश्न पिक्सेल के xy निर्देशांक और एक एकल प्रवाह सदिश का उत्पादन करने के लिए एक ऑप्टिकल प्रवाह कार्य एम्बेडिंग का उपयोग करके उपस्थित होगा। यह अन्य डिजाइनों में उपयोग किए जाने वाले एनकोडर/डिकोडर वास्तुकला पर एक भिन्नता है। परसेवर के प्रदर्शन की तुलना 2डी कन्वोलुशन के बिना इमेजनेट पर रेसनेट-50 और वीआईटी से की जा सकती है। यह 50,000 पिक्सेल तक पहुँचता है। यह ऑडियोसेट में सभी रूपों में प्रतिस्पर्धी है। कन्वोलुशनल न्यूरल नेटवर्क ट्रांसफॉर्मर (मशीन लर्निंग मॉडल) संदर्भ बाहरी लिंक भी देखें, जिसमें मशीन लर्निंग की फोरियर विशेषताओं को अधिक विस्तार से समझाया गया है।