Perceiver
পার্সিভার হল একটি ট্রান্সফরমার যা অ-পাঠ্য তথ্য, যেমন চিত্র, শব্দ এবং ভিডিও এবং স্থানিক তথ্য প্রক্রিয়াকরণ করতে সক্ষম। ট্রান্সফর্মারগুলি অন্যান্য উল্লেখযোগ্য সিস্টেম যেমন বি. ই. আর. টি এবং জি. পি. টি-3-এর অধীনে রয়েছে, যা পার্সিভারের আগে ছিল। এটি একটি সুপ্ত প্রতিবন্ধকতার মধ্যে ইনপুটগুলি পাতন করার জন্য একটি অসমমিত মনোযোগ প্রক্রিয়া গ্রহণ করে, যা এটিকে প্রচুর পরিমাণে বৈচিত্র্যময় তথ্য থেকে শিখতে দেয়। শ্রেণিবিন্যাসের কাজগুলিতে পার্সিভার বিশেষ মডেলগুলির সাথে মেলে বা ছাড়িয়ে যায়। পারসিভার 2021 সালের জুন মাসে ডিপমাইন্ড দ্বারা চালু করা হয়েছিল। এর পরে আসে 2021 সালের আগস্টে পার্সিভার আইও। ডিজাইন পার্সিভার পদ্ধতি-নির্দিষ্ট উপাদান ছাড়াই ডিজাইন করা হয়েছে। উদাহরণস্বরূপ, এতে ছবি, বা পাঠ্য বা অডিও পরিচালনা করার জন্য বিশেষ উপাদান নেই। এছাড়াও এটি বৈচিত্র্যময় ধরনের একাধিক পরস্পর সম্পর্কিত ইনপুট প্রবাহ পরিচালনা করতে পারে। এটি সুপ্ত এককগুলির একটি ছোট সেট ব্যবহার করে যা একটি মনোযোগের বাধা তৈরি করে যার মধ্য দিয়ে ইনপুটগুলি অবশ্যই যেতে হবে। একটি সুবিধা হল প্রাথমিক ট্রান্সফরমারগুলিতে পাওয়া চতুর্ভুজ স্কেলিং সমস্যাটি দূর করা। পূর্ববর্তী কাজগুলি প্রতিটি পদ্ধতির জন্য কাস্টম বৈশিষ্ট্য এক্সট্র্যাক্টর ব্যবহার করত। এটি প্রতিটি ইনপুট উপাদানের সাথে অবস্থান এবং পদ্ধতি-নির্দিষ্ট বৈশিষ্ট্যগুলিকে সংযুক্ত করে (যেমন। প্রতিটি পিক্সেল, বা অডিও নমুনা)। এই বৈশিষ্ট্যগুলি উচ্চ-বিশ্বস্ত ফুরিয়ার বৈশিষ্ট্যগুলি ব্যবহার করে শেখা বা নির্মাণ করা যেতে পারে। পার্সিভার রৈখিক জটিলতার স্তর তৈরি করতে এবং ইনপুট আকার থেকে নেটওয়ার্কের গভীরতা আলাদা করতে ক্রস-অ্যাটেনশন ব্যবহার করে। এই বিচ্ছিন্নকরণ গভীর স্থাপত্যের অনুমতি দেয়। একটি ক্রস-অ্যাটেনশন মডিউল একটি (বড়) বাইট অ্যারে (যেমন, একটি পিক্সেল অ্যারে) এবং একটি সুপ্ত অ্যারে (ছোট) কে অন্য সুপ্ত অ্যারেতে ম্যাপ করে, যা মাত্রা হ্রাস করে। একটি ট্রান্সফরমার টাওয়ার একটি সুপ্ত অ্যারেকে অন্য সুপ্ত অ্যারেতে ম্যাপ করে, যা আবার ইনপুট অনুসন্ধান করতে ব্যবহৃত হয়। দুটি উপাদান পরিবর্তিত হয়। উভয় উপাদানই ক্যোয়ারি-কী-ভ্যালু (কিউ. কে. ভি) মনোযোগ ব্যবহার করে। কিউকেভি মনোযোগ প্রশ্ন, কী এবং মান নেটওয়ার্কগুলি প্রয়োগ করে, যা সাধারণত মাল্টিলেয়ার পারসেপ্ট্রন-একটি ইনপুট অ্যারের প্রতিটি উপাদানের জন্য, তিনটি অ্যারে তৈরি করে যা তাদের ইনপুটগুলির সূচক মাত্রা (বা ক্রম দৈর্ঘ্য) সংরক্ষণ করে। পার্সিভার আইও পার্সিভার আইও নমনীয়ভাবে মডেলের সুপ্ত স্থান অনুসন্ধান করতে পারে নির্বিচারে আকার এবং শব্দার্থের আউটপুট তৈরি করতে। এটি প্রাকৃতিক ভাষা এবং চাক্ষুষ বোঝার, স্টারক্রাফট 2 এবং মাল্টি-টাস্কিংয়ের মতো কাঠামোগত আউটপুট স্পেস সহ কাজগুলিতে ফলাফল অর্জন করে। পার্সিভার আইও ইনপুট টোকেনাইজেশনের প্রয়োজন ছাড়াই জি. এল. ইউ. ই ভাষার মানদণ্ডে একটি ট্রান্সফরমার-ভিত্তিক বি. ই. আর. টি বেসলাইনের সাথে মেলে এবং সিন্টেল অপটিক্যাল প্রবাহের অনুমানের উপর অত্যাধুনিক কর্মক্ষমতা অর্জন করে। সেই নির্দিষ্ট আউটপুটের সাথে সম্পর্কিত একটি নির্দিষ্ট আউটপুট প্রশ্ন ব্যবহার করে সুপ্ত অ্যারেতে উপস্থিত হয়ে আউটপুট তৈরি করা হয়। উদাহরণস্বরূপ, একটি পিক্সেলে অপটিক্যাল প্রবাহের পূর্বাভাস দেওয়ার জন্য একটি প্রশ্ন পিক্সেলের xy স্থানাঙ্ক এবং একটি অপটিক্যাল ফ্লো টাস্ক এম্বেডিং ব্যবহার করে একটি একক প্রবাহ ভেক্টর তৈরি করবে। এটি অন্যান্য নকশায় ব্যবহৃত এনকোডার/ডিকোডার স্থাপত্যের একটি বৈচিত্র। পার্সিভারের পারফরম্যান্স 2ডি কনভোলিউশন ছাড়াই ইমেজনেটের রেসনেট-50 এবং ভিআইটির সাথে তুলনীয়। এটি 50,000 পিক্সেল পর্যন্ত উপস্থিত থাকে। এটি অডিওসেটের সমস্ত পদ্ধতিতে প্রতিযোগিতামূলক। আরও দেখুন কনভোলিউশনাল নিউরাল নেটওয়ার্ক ট্রান্সফরমার (মেশিন লার্নিং মডেল) রেফারেন্স বাহ্যিক লিঙ্ক, ফুরিয়ার বৈশিষ্ট্যগুলি আরও বিস্তারিতভাবে ব্যাখ্যা করা হয়েছে মেশিন লার্নিং