Deep learning
গভীর শিক্ষা হল মেশিন লার্নিং পদ্ধতির উপসেট যা উপস্থাপনা শিক্ষার সাথে কৃত্রিম স্নায়বিক নেটওয়ার্কের উপর ভিত্তি করে। গভীর শিক্ষায় "গভীর" বিশেষণটি নেটওয়ার্কে একাধিক স্তরের ব্যবহারকে বোঝায়। ব্যবহৃত পদ্ধতিগুলি হয় তত্ত্বাবধান করা যেতে পারে, আধা-তত্ত্বাবধান করা যেতে পারে অথবা তত্ত্বাবধানহীন হতে পারে। গভীর নিউরাল নেটওয়ার্ক, গভীর বিশ্বাস নেটওয়ার্ক, গভীর শক্তিবৃদ্ধি শিক্ষা, পুনরাবৃত্ত নিউরাল নেটওয়ার্ক, কনভোলিউশনাল নিউরাল নেটওয়ার্ক এবং ট্রান্সফরমারের মতো গভীর-শিক্ষার স্থাপত্যগুলি কম্পিউটার দৃষ্টি, বক্তৃতা স্বীকৃতি, প্রাকৃতিক ভাষা প্রক্রিয়াকরণ, মেশিন অনুবাদ, বায়োইনফরম্যাটিক্স, ড্রাগ ডিজাইন, মেডিকেল ইমেজ বিশ্লেষণ, জলবায়ু বিজ্ঞান, উপাদান পরিদর্শন এবং বোর্ড গেম প্রোগ্রাম সহ ক্ষেত্রগুলিতে প্রয়োগ করা হয়েছে, যেখানে তারা মানব বিশেষজ্ঞের পারফরম্যান্সের সাথে তুলনীয় এবং কিছু ক্ষেত্রে ছাড়িয়ে গেছে। কৃত্রিম স্নায়ুতন্ত্রগুলি (এ. এন. এন) তথ্য প্রক্রিয়াকরণ এবং জৈবিক ব্যবস্থায় বিতরণকৃত যোগাযোগ নোড দ্বারা অনুপ্রাণিত হয়েছিল। এ. এন. এন-এর জৈবিক মস্তিষ্কের থেকে বিভিন্ন পার্থক্য রয়েছে। বিশেষত, কৃত্রিম স্নায়ুতন্ত্রগুলি স্থির এবং প্রতীকী হতে থাকে, যেখানে বেশিরভাগ জীবিত প্রাণীর জৈবিক মস্তিষ্ক গতিশীল (প্লাস্টিক) এবং এনালগ। গভীর শিক্ষা হল মেশিন লার্নিং অ্যালগরিদমের একটি শ্রেণী যা কাঁচা ইনপুট থেকে ক্রমবর্ধমানভাবে উচ্চ-স্তরের বৈশিষ্ট্যগুলি বের করতে একাধিক স্তর ব্যবহার করে। উদাহরণস্বরূপ, চিত্র প্রক্রিয়াকরণে, নীচের স্তরগুলি প্রান্তগুলি সনাক্ত করতে পারে, অন্যদিকে উচ্চতর স্তরগুলি মানুষের সাথে প্রাসঙ্গিক ধারণাগুলি যেমন সংখ্যা বা অক্ষর বা মুখগুলি সনাক্ত করতে পারে। গভীর শিক্ষাকে অন্য দৃষ্টিকোণ থেকে দেখার জন্য, গভীর শিক্ষাকে একটি উৎস (যেমন, কুকুরের একটি চিত্র) থেকে একটি শিক্ষিত বস্তু (কুকুর) পর্যন্ত "কম্পিউটার-সিমুলেট" বা "স্বয়ংক্রিয়" মানব শিক্ষণ প্রক্রিয়াকে বোঝায়। অতএব, "গভীর" শিক্ষা বা "গভীরতম" শিক্ষা হিসাবে তৈরি একটি ধারণা অর্থপূর্ণ। গভীরতম শিক্ষা বলতে একটি উৎস থেকে একটি চূড়ান্ত শেখা বস্তুতে সম্পূর্ণ স্বয়ংক্রিয় শিক্ষাকে বোঝায়। গভীর শিক্ষা এইভাবে একটি মিশ্র শিক্ষণ প্রক্রিয়াকে বোঝায়ঃ একটি উৎস থেকে একটি শেখা আধা-বস্তুতে একটি মানব শেখার প্রক্রিয়া, তারপরে একটি কম্পিউটার শেখার প্রক্রিয়া যা মানুষের শেখা আধা-বস্তু থেকে একটি চূড়ান্ত শেখা বস্তুতে পরিণত হয়। বেশিরভাগ আধুনিক গভীর শিক্ষার মডেলগুলি বহু-স্তরযুক্ত কৃত্রিম নিউরাল নেটওয়ার্ক যেমন কনভোলিউশনাল নিউরাল নেটওয়ার্ক এবং ট্রান্সফর্মারগুলির উপর ভিত্তি করে তৈরি করা হয়, যদিও এগুলিতে গভীর জেনারেটিভ মডেল যেমন গভীর বিশ্বাসের নেটওয়ার্ক এবং গভীর বোল্টজম্যান মেশিনের নোডগুলিতে স্তর-ভিত্তিক সংগঠিত প্রস্তাবমূলক সূত্র বা সুপ্ত ভেরিয়েবলও অন্তর্ভুক্ত থাকতে পারে। গভীর শিক্ষায়, প্রতিটি স্তর তার ইনপুট তথ্যকে কিছুটা বেশি বিমূর্ত এবং যৌগিক উপস্থাপনায় রূপান্তরিত করতে শেখে। একটি চিত্র শনাক্তকরণ অ্যাপ্লিকেশনে, কাঁচা ইনপুট পিক্সেলের একটি ম্যাট্রিক্স হতে পারে; প্রথম প্রতিনিধিত্বমূলক স্তরটি পিক্সেলগুলি বিমূর্ত করতে পারে এবং প্রান্তগুলি এনকোড করতে পারে; দ্বিতীয় স্তরটি প্রান্তগুলির বিন্যাস রচনা এবং এনকোড করতে পারে; তৃতীয় স্তরটি একটি নাক এবং চোখকে এনকোড করতে পারে; এবং চতুর্থ স্তরটি সনাক্ত করতে পারে যে চিত্রটিতে একটি মুখ রয়েছে। গুরুত্বপূর্ণভাবে, একটি গভীর শিক্ষণ প্রক্রিয়া শিখতে পারে যে কোন বৈশিষ্ট্যগুলি সর্বোত্তমভাবে কোন স্তরে স্থাপন করা যায়। এটি হ্যান্ড-টিউনিংয়ের প্রয়োজনীয়তা দূর করে না; উদাহরণস্বরূপ, বিভিন্ন সংখ্যক স্তর এবং স্তরের আকার বিমূর্ততার বিভিন্ন মাত্রা প্রদান করতে পারে। "গভীর শিক্ষণ"-এ "গভীর" শব্দটি সেই স্তরগুলির সংখ্যাকে বোঝায় যার মাধ্যমে তথ্য রূপান্তরিত হয়। আরও সুনির্দিষ্টভাবে বলতে গেলে, গভীর শিক্ষণ ব্যবস্থার একটি উল্লেখযোগ্য ক্রেডিট অ্যাসাইনমেন্ট পাথ (সিএপি) গভীরতা রয়েছে। সিএপি হল ইনপুট থেকে আউটপুটে রূপান্তরের শৃঙ্খল। সিএপিগুলি ইনপুট এবং আউটপুটের মধ্যে সম্ভাব্য কার্যকারণ সংযোগগুলি বর্ণনা করে। একটি ফিড ফরওয়ার্ড নিউরাল নেটওয়ার্কের জন্য, সিএপি-র গভীরতা হল নেটওয়ার্কের গভীরতা এবং লুকানো স্তরগুলির সংখ্যা প্লাস এক (কারণ আউটপুট স্তরটিও প্যারামিটারাইজ করা হয়)। পুনরাবৃত্ত স্নায়বিক নেটওয়ার্কগুলির জন্য, যেখানে একটি সংকেত একাধিকবার একটি স্তরের মাধ্যমে প্রচারিত হতে পারে, সিএপি গভীরতা সম্ভাব্য সীমাহীন। গভীরতার কোনও সর্বজনীন সম্মত সীমা গভীর শিক্ষা থেকে অগভীর শিক্ষাকে বিভক্ত করে না, তবে বেশিরভাগ গবেষক একমত যে গভীর শিক্ষায় সিএপি গভীরতা 2 এর চেয়ে বেশি জড়িত। গভীরতা 2-এর সিএপি একটি সর্বজনীন আনুমানিক হিসাবে দেখানো হয়েছে এই অর্থে যে এটি যে কোনও ফাংশন অনুকরণ করতে পারে। এর বাইরে, আরও স্তর নেটওয়ার্কের ফাংশন আনুমানিক ক্ষমতা যোগ করে না। গভীর মডেলগুলি (সিএপি> 2) অগভীর মডেলগুলির তুলনায় আরও ভাল বৈশিষ্ট্যগুলি বের করতে সক্ষম এবং তাই, অতিরিক্ত স্তরগুলি কার্যকরভাবে বৈশিষ্ট্যগুলি শিখতে সহায়তা করে। গভীর শিক্ষার স্থাপত্যগুলি একটি লোভী স্তর-দ্বারা-স্তর পদ্ধতিতে তৈরি করা যেতে পারে। গভীর শিক্ষা এই বিমূর্ত বিষয়গুলিকে বিচ্ছিন্ন করতে এবং কোন বৈশিষ্ট্যগুলি কর্মক্ষমতার উন্নতি করে তা বেছে নিতে সহায়তা করে। তত্ত্বাবধানে শেখার কাজগুলির জন্য, গভীর শিক্ষণ পদ্ধতিগুলি বৈশিষ্ট্য প্রকৌশলকে সরিয়ে দেয়, প্রধান উপাদানগুলির অনুরূপ সংক্ষিপ্ত মধ্যবর্তী উপস্থাপনায় ডেটা অনুবাদ করে এবং স্তরযুক্ত কাঠামো তৈরি করে যা উপস্থাপনায় অপ্রয়োজনীয়তা সরিয়ে দেয়। গভীর শিক্ষার অ্যালগরিদমগুলি তত্ত্বাবধানহীন শেখার কাজগুলিতে প্রয়োগ করা যেতে পারে। এটি একটি গুরুত্বপূর্ণ সুবিধা কারণ লেবেলবিহীন তথ্য লেবেলযুক্ত তথ্যের চেয়ে বেশি পরিমাণে পাওয়া যায়। গভীর কাঠামোর উদাহরণ যা তত্ত্বাবধানহীন পদ্ধতিতে প্রশিক্ষিত করা যেতে পারে তা হল গভীর বিশ্বাসের নেটওয়ার্ক। গভীর স্নায়ুতন্ত্রগুলি সাধারণত সর্বজনীন আনুমানিক উপপাদ্য বা সম্ভাব্য অনুমানের পরিপ্রেক্ষিতে ব্যাখ্যা করা হয়। ক্লাসিক সার্বজনীন আনুমানিক উপপাদ্যটি আনুমানিক অবিচ্ছিন্ন ফাংশনগুলির জন্য সীমাবদ্ধ আকারের একক লুকানো স্তর সহ ফিড ফরোয়ার্ড নিউরাল নেটওয়ার্কগুলির ক্ষমতা নিয়ে উদ্বেগ প্রকাশ করে। 1989 সালে, সিগময়েড অ্যাক্টিভেশন ফাংশনের জন্য জর্জ সাইবেঙ্কো প্রথম প্রমাণ প্রকাশ করেছিলেন এবং 1991 সালে কার্ট হর্নিক দ্বারা ফিড-ফরোয়ার্ড মাল্টি-লেয়ার আর্কিটেকচারের জন্য সাধারণীকরণ করা হয়েছিল। সাম্প্রতিক গবেষণায় আরও দেখা গেছে যে সর্বজনীন অনুমান কুনিহিকো ফুকুশিমার সংশোধিত রৈখিক ইউনিটের মতো অ-সীমাবদ্ধ সক্রিয়করণ ফাংশনের ক্ষেত্রেও প্রযোজ্য। গভীর স্নায়ুতন্ত্রের জন্য সর্বজনীন আনুমানিক উপপাদ্যটি সীমাবদ্ধ প্রস্থের নেটওয়ার্কগুলির ক্ষমতা নিয়ে উদ্বেগ প্রকাশ করে তবে গভীরতা বাড়ানোর অনুমতি দেওয়া হয়। লু এবং অন্যান্য। প্রমাণ করে যে, যদি আরইএলইউ সক্রিয়করণ সহ একটি গভীর স্নায়ুতন্ত্রের প্রস্থ ইনপুট মাত্রার তুলনায় কঠোরভাবে বড় হয়, তবে নেটওয়ার্কটি যে কোনও লেবস্গু ইন্টিগ্রেবল ফাংশনকে আনুমানিক করতে পারে; যদি প্রস্থটি ইনপুট মাত্রার চেয়ে ছোট বা সমান হয়, তবে একটি গভীর স্নায়ুতন্ত্র সর্বজনীন আনুমানিক নয়। সম্ভাব্য ব্যাখ্যাটি মেশিন লার্নিংয়ের ক্ষেত্র থেকে উদ্ভূত হয়েছে। এতে অনুমানের পাশাপাশি যথাক্রমে ফিটিং এবং সাধারণীকরণ সম্পর্কিত প্রশিক্ষণ এবং পরীক্ষার অপ্টিমাইজেশান ধারণাগুলি রয়েছে। আরও সুনির্দিষ্টভাবে, সম্ভাব্য ব্যাখ্যাটি সক্রিয়করণ অরৈখিকতাকে একটি ক্রমবর্ধমান বিতরণ ফাংশন হিসাবে বিবেচনা করে। সম্ভাব্য ব্যাখ্যার ফলে নিউরাল নেটওয়ার্কে নিয়মিতকারী হিসাবে ড্রপআউটের প্রবর্তন ঘটে। সম্ভাব্য ব্যাখ্যাটি হপফিল্ড, উইড্রো এবং নরেন্দ্র সহ গবেষকদের দ্বারা প্রবর্তিত হয়েছিল এবং বিশপের মতো সমীক্ষায় জনপ্রিয় হয়েছিল। দুই ধরনের নিউরাল নেটওয়ার্ক রয়েছেঃ ফিড ফরওয়ার্ড নিউরাল নেটওয়ার্ক (এফএনএন) এবং পুনরাবৃত্ত নিউরাল নেটওয়ার্ক (আরএনএন)। আর. এন. এনগুলির সংযোগ কাঠামোতে চক্র রয়েছে, এফ. এন. এনগুলির নেই। 1920-এর দশকে, উইলহেলম লেনজ এবং আর্নস্ট আইসিং আইসিং মডেল তৈরি ও বিশ্লেষণ করেন যা মূলত নিউরনের মতো প্রান্তিক উপাদানগুলির সমন্বয়ে গঠিত একটি অ-শিক্ষণ আরএনএন স্থাপত্য। 1972 সালে, শুনইচি আমারি এই স্থাপত্যকে অভিযোজিত করে তোলেন। 1982 সালে জন হপফিল্ড তাঁর আর. এন. এন শিক্ষাকে জনপ্রিয় করে তোলেন। আরএনএনগুলি বক্তৃতা স্বীকৃতি এবং ভাষা প্রক্রিয়াকরণের জন্য কেন্দ্রীয় হয়ে উঠেছে। চার্লস ট্যাপার্ট লিখেছেন যে ফ্রাঙ্ক রোজেনব্ল্যাট আজকের গভীর শিক্ষণ ব্যবস্থার সমস্ত মৌলিক উপাদানগুলি বিকাশ ও অন্বেষণ করেছেন, রোজেনব্ল্যাটের 1962 সালের বইয়ের কথা উল্লেখ করে যা 3 টি স্তর সহ একটি মাল্টিলেয়ার পারসেপ্ট্রন (এমএলপি) প্রবর্তন করেছেঃ একটি ইনপুট স্তর, এলোমেলো ওজন সহ একটি লুকানো স্তর যা শেখেনি এবং একটি আউটপুট স্তর। যাইহোক, যেহেতু শুধুমাত্র আউটপুট স্তরের শেখার সংযোগ ছিল, এটি এখনও গভীর শিক্ষা ছিল না। একে পরবর্তীকালে চরম শিক্ষার যন্ত্র বলা হত। 1967 সালে আলেক্সি ইভাখনেঙ্কো এবং লাপা তত্ত্বাবধানে, গভীর, ফিডফারওয়ার্ড, মাল্টিলেয়ার পারসেপ্ট্রনগুলির জন্য প্রথম সাধারণ, কার্যকরী লার্নিং অ্যালগরিদম প্রকাশ করেছিলেন। 1971 সালের একটি গবেষণাপত্রে ডেটা হ্যান্ডলিংয়ের গ্রুপ পদ্ধতি দ্বারা প্রশিক্ষিত আটটি স্তর সহ একটি গভীর নেটওয়ার্কের বর্ণনা দেওয়া হয়েছে। স্টোকাস্টিক গ্রেডিয়েন্ট ডিসেন্ট দ্বারা প্রশিক্ষিত প্রথম গভীর শিক্ষার মাল্টিলেয়ার পারসেপ্ট্রন 1967 সালে শুনইচি আমারি দ্বারা প্রকাশিত হয়েছিল। আমারির ছাত্র সাইতো দ্বারা পরিচালিত কম্পিউটার পরীক্ষায়, দুটি পরিবর্তনযোগ্য স্তর সহ একটি পাঁচ স্তরের এমএলপি অ-রৈখিকভাবে পৃথক প্যাটার্ন ক্লাসগুলিকে শ্রেণীবদ্ধ করার জন্য অভ্যন্তরীণ উপস্থাপনা শিখেছে। 1987 সালে ম্যাথিউ ব্র্যান্ড রিপোর্ট করেছিলেন যে প্রশস্ত 12-স্তরের অরৈখিক পারসেপ্ট্রনগুলি এলোমেলো ইনপুট/আউটপুট নমুনার ছোট ব্যাচগুলিতে গ্রেডিয়েন্ট ডিসেন্টের মাধ্যমে নন-ট্রিভিয়াল সার্কিট গভীরতার লজিক ফাংশন পুনরুত্পাদন করার জন্য সম্পূর্ণরূপে শেষ থেকে শেষ পর্যন্ত প্রশিক্ষিত হতে পারে, তবে এই সিদ্ধান্তে পৌঁছেছে যে সমসাময়িক হার্ডওয়্যারের (সাব-মেগাফ্লপ কম্পিউটার) প্রশিক্ষণের সময় কৌশলটিকে অবাস্তব করে তুলেছে এবং একক পরিবর্তনযোগ্য স্তরের জন্য ইনপুট হ্যাশ হিসাবে নির্দিষ্ট এলোমেলো প্রাথমিক স্তরগুলি ব্যবহার করার প্রস্তাব দিয়েছে। পরিবর্তে, হার্ডওয়্যার এবং হাইপারপ্যারামিটার টিউনিংয়ের পরবর্তী উন্নয়নগুলি এন্ড-টু-এন্ড স্টোকাস্টিক গ্রেডিয়েন্ট ডিসেন্টকে বর্তমানে প্রভাবশালী প্রশিক্ষণ কৌশল করে তুলেছে। 1970 সালে, সেপ্পো লিনাইনমা নেস্টেড ডিফারেনশিয়েবল ফাংশনের বিচ্ছিন্ন সংযুক্ত নেটওয়ার্কগুলির স্বয়ংক্রিয় পার্থক্যের বিপরীত মোড প্রকাশ করে। এটি ব্যাকপ্রোপেগেশন নামে পরিচিত হয়ে ওঠে। এটি 1673 সালে গটফ্রিড উইলহেম লেইবনিজ দ্বারা প্রাপ্ত চেইন রুলের একটি দক্ষ প্রয়োগ যা ডিফারেনশিয়েবল নোডের নেটওয়ার্কে প্রয়োগ করা হয়। "ব্যাক-প্রপাগেটিং এররস" পরিভাষাটি আসলে 1962 সালে রোজেনব্ল্যাট দ্বারা প্রবর্তিত হয়েছিল, তবে তিনি কীভাবে এটি বাস্তবায়ন করতে হয় তা জানতেন না, যদিও হেনরি জে. কেলির নিয়ন্ত্রণ তত্ত্বের প্রেক্ষাপটে ইতিমধ্যে 1960 সালে ব্যাক-প্রপাগেশনের একটি অবিচ্ছিন্ন অগ্রদূত ছিল। 1982 সালে, পল ওয়ার্বোস এম. এল. পি-তে ব্যাকপ্রোপেগেশন প্রয়োগ করেছিলেন যা মানসম্মত হয়ে উঠেছে। 1985 সালে ডেভিড ই. রুমেলহার্ট ও অন্যান্যরা। কৌশলটির একটি পরীক্ষামূলক বিশ্লেষণ প্রকাশ করেছে। 1980 সালে কুনিহিকো ফুকুশিমা দ্বারা প্রবর্তিত নিওকগনিট্রন দিয়ে কনভোলিউশনাল স্তর এবং ডাউনসাম্পলিং স্তরগুলির সাথে কনভোলিউশনাল নিউরাল নেটওয়ার্কগুলির (সিএনএন) জন্য গভীর শিক্ষার স্থাপত্য শুরু হয়েছিল। 1969 সালে তিনি আরইএলইউ (রেক্টিফায়েড লিনিয়ার ইউনিট) অ্যাক্টিভেশন ফাংশনও চালু করেন। রেক্টিফায়ার সিএনএন এবং সাধারণভাবে গভীর শিক্ষার জন্য সবচেয়ে জনপ্রিয় অ্যাক্টিভেশন ফাংশন হয়ে উঠেছে। সিএনএন কম্পিউটার ভিশনের জন্য একটি অপরিহার্য হাতিয়ার হয়ে উঠেছে। ডিপ লার্নিং শব্দটি 1986 সালে রিনা ডেচার দ্বারা মেশিন লার্নিং সম্প্রদায়ের কাছে এবং 2000 সালে ইগর আইজেনবার্গ এবং সহকর্মীদের দ্বারা বুলিয়ান থ্রেশহোল্ড নিউরনের প্রসঙ্গে কৃত্রিম নিউরাল নেটওয়ার্কের কাছে প্রবর্তিত হয়েছিল। 1988 সালে, ওয়েই ঝাং এবং অন্যান্যরা। বর্ণমালা শনাক্তকরণের জন্য একটি কনভোলিউশনাল নিউরাল নেটওয়ার্কে (চিত্র বৈশিষ্ট্য স্তর এবং শেষ সম্পূর্ণ সংযুক্ত স্তরের মধ্যে কনভোলিউশনাল আন্তঃসংযোগ সহ একটি সরলীকৃত নিওকগনিট্রন) ব্যাকপ্রোপেগেশন অ্যালগরিদম প্রয়োগ করা হয়। তারা অপটিক্যাল কম্পিউটিং সিস্টেম সহ সিএনএন বাস্তবায়নেরও প্রস্তাব দেয়। 1989 সালে, ইয়ান লেকুন এবং অন্যান্যরা। মেইলে হাতে লেখা জিপ কোডগুলি সনাক্ত করার উদ্দেশ্যে সিএনএন-এ ব্যাকপ্রোপেগেশন প্রয়োগ করা হয়েছিল। অ্যালগরিদমটি কাজ করার সময়, প্রশিক্ষণের জন্য 3 দিনের প্রয়োজন ছিল। পরবর্তীকালে, ওয়েই ঝাং এবং অন্যান্যরা। শেষ সম্পূর্ণরূপে সংযুক্ত স্তরটি সরিয়ে তাদের মডেলটি সংশোধন করে এবং 1991 সালে মেডিকেল ইমেজ অবজেক্ট সেগমেন্টেশন এবং 1994 সালে ম্যামোগ্রামগুলিতে স্তন ক্যান্সার সনাক্তকরণের জন্য এটি প্রয়োগ করে। লেনট-5 (1998), ইয়ান লেকুন এবং অন্যান্যদের দ্বারা একটি 7-স্তরের সিএনএন, যা অঙ্কগুলিকে শ্রেণীবদ্ধ করে, 32x32 পিক্সেল ছবিতে ডিজিটাইজ করা চেকগুলিতে হাতে লেখা সংখ্যাগুলি সনাক্ত করার জন্য বেশ কয়েকটি ব্যাঙ্ক দ্বারা প্রয়োগ করা হয়েছিল। 1980-র দশকে, দীর্ঘ ক্রেডিট অ্যাসাইনমেন্টের পথ সহ গভীর শিক্ষার জন্য ব্যাকপ্রোপেগেশন ভাল কাজ করেনি। এই সমস্যা কাটিয়ে ওঠার জন্য, জার্গেন শ্মিডহুবার (1992) স্ব-তত্ত্বাবধানে শিক্ষার মাধ্যমে একটি সময়ে একটি স্তরে প্রাক-প্রশিক্ষিত আর. এন. এন-এর একটি শ্রেণিবিন্যাসের প্রস্তাব করেছিলেন। এটি একাধিক স্ব-সংগঠিত সময় স্কেলে অভ্যন্তরীণ উপস্থাপনা শিখতে ভবিষ্যদ্বাণীমূলক কোডিং ব্যবহার করে। এটি ডাউনস্ট্রিম গভীর শিক্ষাকে যথেষ্ট পরিমাণে সহজতর করতে পারে। একটি উচ্চ স্তরের চঙ্কার নেটওয়ার্ককে নিম্ন স্তরের অটোম্যাটাইজার নেটওয়ার্কে পাতন করে আরএনএন শ্রেণিবিন্যাসকে একক আরএনএন-এ ভেঙে ফেলা যেতে পারে। 1993 সালে, একটি চঙ্কার একটি গভীর শেখার কাজ সমাধান করে যার গভীরতা 1000 ছাড়িয়ে যায়। 1992 সালে, জার্গেন শ্মিডহুবার আরএনএন-এর একটি বিকল্পও প্রকাশ করেছিলেন যা এখন রৈখিক ট্রান্সফরমার বা রৈখিক স্ব-মনোযোগ সহ একটি ট্রান্সফরমার বলা হয় (একটি স্বাভাবিকীকরণ অপারেটরের জন্য সংরক্ষণ করুন)। এটি মনোযোগের অভ্যন্তরীণ স্পটলাইটগুলি শেখেঃ একটি ধীর গতির ফিড ফরোয়ার্ড নিউরাল নেটওয়ার্ক ফ্রম এবং টিও থেকে স্ব-উত্পাদিত অ্যাক্টিভেশন প্যাটার্নের বাইরের পণ্যগুলির মাধ্যমে অন্য নিউরাল নেটওয়ার্কের দ্রুত ওজন নিয়ন্ত্রণ করতে গ্রেডিয়েন্ট ডিসেন্ট দ্বারা শেখে (যা এখন স্ব-মনোযোগের জন্য কী এবং মান বলা হয়)। এই দ্রুত ওজন মনোযোগ ম্যাপিং একটি ক্যোয়ারি প্যাটার্নে প্রয়োগ করা হয়। আধুনিক ট্রান্সফরমারটি আশীষ বাসওয়ানি এবং অন্যান্যরা প্রবর্তন করেছিলেন। আল। তাদের 2017 সালের গবেষণাপত্রে "মনোযোগই আপনার প্রয়োজন"। এটি একটি সফ্টম্যাক্স অপারেটর এবং একটি প্রজেকশন ম্যাট্রিক্সের সাথে মিলিত হয়। রূপান্তরকারীগুলি ক্রমবর্ধমানভাবে প্রাকৃতিক ভাষা প্রক্রিয়াকরণের জন্য পছন্দের মডেল হয়ে উঠেছে। অনেক আধুনিক বড় ভাষার মডেল যেমন চ্যাটজিপিটি, জিপিটি-4 এবং বিইআরটি এটি ব্যবহার করে। কম্পিউটার দৃষ্টিতেও ট্রান্সফরমারের ব্যবহার ক্রমবর্ধমানভাবে হচ্ছে। 1991 সালে, জার্গেন শ্মিডহুবার প্রতিকূল স্নায়বিক নেটওয়ার্কগুলিও প্রকাশ করেছিলেন যা শূন্য-সমষ্টি গেমের আকারে একে অপরের সাথে প্রতিদ্বন্দ্বিতা করে, যেখানে একটি নেটওয়ার্কের লাভ অন্য নেটওয়ার্কের ক্ষতি। প্রথম নেটওয়ার্কটি একটি উৎপাদক মডেল যা আউটপুট প্যাটার্নের উপর সম্ভাব্যতা বিতরণের মডেল তৈরি করে। দ্বিতীয় নেটওয়ার্কটি এই নিদর্শনগুলির প্রতি পরিবেশের প্রতিক্রিয়াগুলির পূর্বাভাস দেওয়ার জন্য গ্রেডিয়েন্ট ডিসেন্ট দ্বারা শেখে। একে বলা হত "কৃত্রিম কৌতূহল"। 2014 সালে, ইয়ান গুডফেলো এবং অন্যান্যরা একটি উৎপাদক প্রতিকূল নেটওয়ার্ক (জিএএন)-এ এই নীতিটি ব্যবহার করেছিলেন। এখানে পরিবেশগত প্রতিক্রিয়া হল 1 বা 0, যা নির্ভর করে প্রথম নেটওয়ার্কের আউটপুট একটি প্রদত্ত সেটে রয়েছে কিনা তার উপর। এটি বাস্তবসম্মত ডিপফেক তৈরি করতে ব্যবহার করা যেতে পারে। টেরো কারাস এট দ্বারা প্রগ্রেসিভ জিএএন-এর উপর ভিত্তি করে এনভিডিয়ার স্টাইলজিএএন (2018) দ্বারা ছবির চমৎকার গুণমান অর্জন করা হয়েছে। আল। এখানে জিএএন জেনারেটর পিরামিড পদ্ধতিতে ছোট থেকে বড় আকারে চাষ করা হয়। সেপ হক্রিটারের ডিপ্লোমা থিসিসকে (1991) তাঁর তত্ত্বাবধায়ক শ্মিডহুবার "মেশিন লার্নিংয়ের ইতিহাসের অন্যতম গুরুত্বপূর্ণ নথি" বলে অভিহিত করেছিলেন। এটি কেবল নিউরাল হিস্ট্রি কম্প্রেসার পরীক্ষা করেনি, তবে অদৃশ্য হয়ে যাওয়া গ্রেডিয়েন্ট সমস্যাটিও চিহ্নিত ও বিশ্লেষণ করেছে। হক্রিটার এই সমস্যা সমাধানের জন্য পুনরাবৃত্ত অবশিষ্ট সংযোগের প্রস্তাব করেছিলেন। এর ফলে দীর্ঘ স্বল্পমেয়াদী স্মৃতি (এল. এস. টি. এম) নামে গভীর শিক্ষণ পদ্ধতি 1997 সালে প্রকাশিত হয়। এল. এস. টি. এম-এর পুনরাবৃত্ত নিউরাল নেটওয়ার্কগুলি দীর্ঘ ক্রেডিট অ্যাসাইনমেন্ট পাথ সহ "খুব গভীর শিক্ষণ" কাজগুলি শিখতে পারে যার জন্য হাজার হাজার বিচ্ছিন্ন সময় ধাপ আগে ঘটে যাওয়া ঘটনাগুলির স্মৃতি প্রয়োজন। 1999 সালে ফেলিক্স গের্স, শ্মিধুবার এবং ফ্রেড কামিন্স ফরগেট গেট সহ "ভ্যানিলা এল. এস. টি. এম" চালু করেন। এল. এস. টি. এম বিংশ শতাব্দীর সর্বাধিক উদ্ধৃত নিউরাল নেটওয়ার্কে পরিণত হয়েছে। 2015 সালে, রুপেশ কুমার শ্রীবাস্তব, ক্লাউস গ্রাফ এবং শ্মিধুবার এল. এস. টি. এম নীতিগুলি ব্যবহার করে হাইওয়ে নেটওয়ার্ক তৈরি করেছিলেন, যা শত শত স্তর সহ একটি ফিড ফরওয়ার্ড নিউরাল নেটওয়ার্ক, যা আগের নেটওয়ার্কগুলির তুলনায় অনেক গভীর। 7 মাস পরে, কাইমিং হে, জিয়াংয়ু ঝাং; শওকিং রেন এবং জিয়ান সান রেসিডুয়াল নিউরাল নেটওয়ার্ক নামে একটি ওপেন-গেটেড বা গেটলেস হাইওয়ে নেটওয়ার্ক বৈকল্পিকের সাথে ইমেজনেট 2015 প্রতিযোগিতা জিতেছে। এটি একবিংশ শতাব্দীর সর্বাধিক উদ্ধৃত নিউরাল নেটওয়ার্কে পরিণত হয়েছে। 1994 সালে, মাইক ফেয়ারহার্স্ট এবং ডেভিড বিসেটের সাথে আন্দ্রে ডি কারভালহো একটি মাল্টি-লেয়ার বুলিয়ান নিউরাল নেটওয়ার্কের পরীক্ষামূলক ফলাফল প্রকাশ করেন, যা একটি ওজনহীন নিউরাল নেটওয়ার্ক নামেও পরিচিত, যা একটি 3-স্তর স্ব-সংগঠিত বৈশিষ্ট্য নিষ্কাশন নিউরাল নেটওয়ার্ক মডিউল (এস. ও. এফ. টি) দ্বারা গঠিত এবং তারপরে একটি মাল্টি-লেয়ার ক্লাসিফিকেশন নিউরাল নেটওয়ার্ক মডিউল (জি. এস. এন), যা স্বাধীনভাবে প্রশিক্ষিত ছিল। বৈশিষ্ট্য নিষ্কাশন মডিউলের প্রতিটি স্তর পূর্ববর্তী স্তর সম্পর্কিত ক্রমবর্ধমান জটিলতার সাথে বৈশিষ্ট্যগুলি বের করে। 1995 সালে, ব্রেন্ডন ফ্রে প্রদর্শন করেছিলেন যে পিটার দায়ান এবং হিন্টনের সাথে সহ-বিকাশিত ওয়েক-স্লিপ অ্যালগরিদম ব্যবহার করে ছয়টি সম্পূর্ণ সংযুক্ত স্তর এবং কয়েকশ লুকানো ইউনিট সমন্বিত একটি নেটওয়ার্ককে প্রশিক্ষণ দেওয়া (দুই দিনের মধ্যে) সম্ভব ছিল। 1997 সাল থেকে, স্বেন বেনকে নিউরাল অ্যাবস্ট্রাকশন পিরামিডে পার্শ্বীয় এবং পশ্চাৎমুখী সংযোগের মাধ্যমে ফিড-ফরোয়ার্ড হায়ারার্কিক্যাল কনভোলিউশনাল পদ্ধতির সম্প্রসারণ করেছিলেন যাতে সিদ্ধান্তগুলিতে নমনীয়ভাবে প্রসঙ্গ অন্তর্ভুক্ত করা যায় এবং স্থানীয় অস্পষ্টতা পুনরাবৃত্তিমূলকভাবে সমাধান করা যায়। কৃত্রিম নিউরাল নেটওয়ার্কের (এ. এন. এন) গণনামূলক ব্যয় এবং মস্তিষ্ক কীভাবে তারের তারের জৈবিক নেটওয়ার্কগুলি ব্যবহার করে তা বোঝার অভাবের কারণে 1990 এবং 2000-এর দশকে গ্যাবর ফিল্টার এবং সাপোর্ট ভেক্টর মেশিন (এস. ভি. এম)-এর মতো কাজ-নির্দিষ্ট হস্তনির্মিত বৈশিষ্ট্যগুলি ব্যবহার করে এমন সহজ মডেলগুলি একটি জনপ্রিয় পছন্দ ছিল। বহু বছর ধরে বক্তৃতা স্বীকৃতির জন্য এ. এন. এন-এর অগভীর এবং গভীর শিক্ষা (যেমন, পুনরাবৃত্ত জাল) উভয়ই অন্বেষণ করা হয়েছে। এই পদ্ধতিগুলি বৈষম্যমূলকভাবে প্রশিক্ষিত বক্তৃতার উৎপাদক মডেলের উপর ভিত্তি করে অ-অভিন্ন অভ্যন্তরীণ-হস্তশিল্প গাউসিয়ান মিশ্রণ মডেল/হিডেন মার্কভ মডেল (জি. এম. এম-এইচ. এম. এম) প্রযুক্তিকে কখনই ছাপিয়ে যায়নি। স্নায়বিক ভবিষ্যদ্বাণীমূলক মডেলগুলিতে গ্রেডিয়েন্ট হ্রাস এবং দুর্বল সাময়িক পারস্পরিক সম্পর্ক কাঠামো সহ মূল সমস্যাগুলি বিশ্লেষণ করা হয়েছে। অতিরিক্ত সমস্যাগুলি ছিল প্রশিক্ষণের তথ্যের অভাব এবং সীমিত কম্পিউটিং ক্ষমতা। বেশিরভাগ বক্তৃতা শনাক্তকরণ গবেষকরা জেনারেটিভ মডেলিং অনুসরণ করার জন্য নিউরাল নেট থেকে দূরে সরে যান। 1990-এর দশকের শেষের দিকে এস. আর. আই ইন্টারন্যাশনালে একটি ব্যতিক্রম ছিল। মার্কিন সরকারের এন. এস. এ এবং ডি. এ. আর. পি. এ দ্বারা অর্থায়িত, এস. আর. আই বক্তৃতা এবং বক্তা স্বীকৃতিতে গভীর স্নায়বিক নেটওয়ার্কগুলি অধ্যয়ন করে। ল্যারি হেক-এর নেতৃত্বে স্পিকার স্বীকৃতি দল 1998 সালের ন্যাশনাল ইনস্টিটিউট অফ স্ট্যান্ডার্ডস অ্যান্ড টেকনোলজি স্পিকার স্বীকৃতি মূল্যায়নে বক্তৃতা প্রক্রিয়াকরণে গভীর স্নায়বিক নেটওয়ার্কগুলির সাথে উল্লেখযোগ্য সাফল্যের কথা জানিয়েছে। এস. আর. আই ডিপ নিউরাল নেটওয়ার্কটি তখন নুয়ান্স ভেরিফায়ারে স্থাপন করা হয়েছিল, যা গভীর শিক্ষার প্রথম প্রধান শিল্প প্রয়োগের প্রতিনিধিত্ব করে। হাতে তৈরি অপ্টিমাইজেশনের উপর "কাঁচা" বৈশিষ্ট্যগুলি উন্নত করার নীতিটি প্রথম 1990-এর দশকের শেষের দিকে "কাঁচা" স্পেকট্রোগ্রাম বা রৈখিক ফিল্টার-ব্যাঙ্ক বৈশিষ্ট্যগুলির উপর গভীর অটোএনকোডারের স্থাপত্যে সফলভাবে অন্বেষণ করা হয়েছিল, যা মেল-সেপস্ট্রাল বৈশিষ্ট্যগুলির উপর তার শ্রেষ্ঠত্ব দেখায় যা স্পেকট্রোগ্রাম থেকে নির্দিষ্ট রূপান্তরের পর্যায়গুলি ধারণ করে। কথোপকথনের কাঁচা বৈশিষ্ট্য, তরঙ্গ রূপ, পরে দুর্দান্ত বৃহত্তর-স্কেল ফলাফল তৈরি করে। বক্তৃতা স্বীকৃতি এল. এস. টি. এম দ্বারা গৃহীত হয়েছিল। 2003 সালে, এল. এস. টি. এম নির্দিষ্ট কিছু কাজে ঐতিহ্যবাহী বক্তৃতা শনাক্তকারীদের সাথে প্রতিযোগিতামূলক হতে শুরু করে। 2006 সালে, অ্যালেক্স গ্রেভস, সান্তিয়াগো ফার্নান্দেজ, ফস্টিনো গোমেজ এবং শ্মিধুবার এটিকে এল. এস. টি. এম আর. এন.-এর স্ট্যাকগুলিতে সংযোগবাদী অস্থায়ী শ্রেণিবিন্যাসের (সিটিসি) সাথে একত্রিত করেন। 2015 সালে, গুগলের বক্তৃতা স্বীকৃতি সিটিসি-প্রশিক্ষিত এলএসটিএম-এর মাধ্যমে 49 শতাংশের নাটকীয় পারফরম্যান্স লাফিয়েছিল, যা তারা গুগল ভয়েস সার্চের মাধ্যমে উপলব্ধ করেছিল। শিল্পে গভীর শিক্ষার প্রভাব 2000-এর দশকের গোড়ার দিকে শুরু হয়েছিল, যখন ইয়ান লেকানের মতে, সিএনএন ইতিমধ্যে মার্কিন যুক্তরাষ্ট্রে লেখা সমস্ত চেকের আনুমানিক 10 শতাংশ থেকে 20 শতাংশ প্রক্রিয়া করেছিল। গভীর শিক্ষার শিল্প প্রয়োগ থেকে শুরু করে বড় আকারের বক্তৃতা স্বীকৃতি 2010 সালের দিকে শুরু হয়। 2006 সালে, জিওফ হিন্টন, রুসলান সালাখুতদিনভ, ওসিন্ডেরো এবং তেহ-এর প্রকাশনাগুলি দেখায় যে কীভাবে একটি বহু-স্তরযুক্ত ফিড ফরোয়ার্ড নিউরাল নেটওয়ার্ক কার্যকরভাবে একবারে একটি স্তরকে প্রাক-প্রশিক্ষিত করা যেতে পারে, প্রতিটি স্তরকে একটি তত্ত্বাবধানহীন সীমাবদ্ধ বোল্টজম্যান মেশিন হিসাবে বিবেচনা করে, তারপরে তত্ত্বাবধানে ব্যাকপ্রোপেগেশন ব্যবহার করে এটি সূক্ষ্ম-সুর করা হয়। গবেষণাপত্রগুলি গভীর বিশ্বাসের জালের জন্য শেখার কথা উল্লেখ করেছিল। 2009 সালের এন. আই. পি. এস ওয়ার্কশপ অন ডিপ লার্নিং ফর স্পিচ রিকগনিশন বক্তৃতার গভীর উৎপাদক মডেলগুলির সীমাবদ্ধতার দ্বারা অনুপ্রাণিত হয়েছিল এবং আরও সক্ষম হার্ডওয়্যার এবং বড় আকারের ডেটা সেট দেওয়া হলে ডিপ নিউরাল নেট (ডি. এন. এন) ব্যবহারিক হয়ে উঠতে পারে। এটা বিশ্বাস করা হত যে ডিপ বিশ্বাস নেট (ডিবিএন)-এর উৎপাদক মডেল ব্যবহার করে ডিএনএন-এর প্রাক-প্রশিক্ষণ নিউরাল নেটের প্রধান সমস্যাগুলি কাটিয়ে উঠবে। যাইহোক, এটি আবিষ্কৃত হয়েছিল যে বড়, প্রসঙ্গ-নির্ভর আউটপুট স্তরগুলির সাথে ডিএনএন ব্যবহার করার সময় সহজবোধ্য ব্যাকপ্রোপেগেশনের জন্য প্রচুর পরিমাণে প্রশিক্ষণ ডেটা দিয়ে প্রাক-প্রশিক্ষণ প্রতিস্থাপন করার ফলে ত্রুটির হার তৎকালীন অত্যাধুনিক গাউসিয়ান মিশ্রণ মডেল (জি. এম. এম)/হিডেন মার্কভ মডেল (এইচ. এম. এম) এবং আরও উন্নত জেনারেটিভ মডেল-ভিত্তিক সিস্টেমের তুলনায় নাটকীয়ভাবে কম ছিল। দুই ধরনের ব্যবস্থার দ্বারা সৃষ্ট স্বীকৃতি ত্রুটির প্রকৃতি বৈশিষ্ট্যগতভাবে ভিন্ন ছিল, যা সমস্ত প্রধান বক্তৃতা স্বীকৃতি ব্যবস্থার দ্বারা নিযুক্ত বিদ্যমান অত্যন্ত দক্ষ, রান-টাইম স্পিচ ডিকোডিং ব্যবস্থায় গভীর শিক্ষাকে কীভাবে সংহত করা যায় সে সম্পর্কে প্রযুক্তিগত অন্তর্দৃষ্টি প্রদান করে। জি. এম. এম (এবং অন্যান্য উৎপাদক বক্তৃতা মডেল) বনাম ডি. এন. এন মডেলের বিপরীতে <আই. ডি1>-এর চারপাশে বিশ্লেষণ, বক্তৃতা স্বীকৃতির জন্য গভীর শিক্ষার ক্ষেত্রে প্রাথমিক শিল্প বিনিয়োগকে উদ্দীপিত করে। সেই বিশ্লেষণটি বৈষম্যমূলক ডি. এন. এন এবং উৎপাদক মডেলগুলির মধ্যে তুলনামূলক কর্মক্ষমতা (ত্রুটির হারে 1.5 শতাংশেরও কম) দিয়ে করা হয়েছিল। 2010 সালে, গবেষকরা ডিসিশন ট্রি দ্বারা নির্মিত প্রসঙ্গ-নির্ভর এইচ. এম. এম অবস্থার উপর ভিত্তি করে ডি. এন. এন-এর বড় আউটপুট স্তরগুলি গ্রহণ করে টি. আই. এম. আই. টি থেকে বড় শব্দভাণ্ডার বক্তৃতা স্বীকৃতি পর্যন্ত গভীর শিক্ষা প্রসারিত করেছিলেন। গভীর শিক্ষা বিভিন্ন শাখায়, বিশেষ করে কম্পিউটার ভিশন এবং অটোমেটিক স্পিচ রিকগনিশন (এ. এস. আর)-এর অত্যাধুনিক পদ্ধতির অংশ। টি. আই. এম. আই. টি (এ. এস. আর) এবং এম. এন. আই. এস. টি (ইমেজ ক্লাসিফিকেশন)-এর মতো সাধারণভাবে ব্যবহৃত মূল্যায়ন সেটগুলির ফলাফলের পাশাপাশি বড় শব্দভাণ্ডারের বক্তৃতা শনাক্তকরণের কাজগুলির একটি পরিসীমা ক্রমাগত উন্নত হয়েছে। কনভোলিউশনাল নিউরাল নেটওয়ার্কগুলি (সিএনএন) এলএসটিএম-এর জন্য সিটিসি দ্বারা এএসআর-এর জন্য প্রতিস্থাপিত হয়েছিল। কিন্তু কম্পিউটার দৃষ্টিতে বেশি সফল। হার্ডওয়্যারের অগ্রগতি গভীর শিক্ষার প্রতি নতুন করে আগ্রহ জাগিয়েছে। 2009 সালে, এনভিডিয়া গভীর শিক্ষার "বিগ ব্যাং"-এর সাথে জড়িত ছিল, কারণ গভীর-শিক্ষণ নিউরাল নেটওয়ার্কগুলি এনভিডিয়া গ্রাফিক্স প্রসেসিং ইউনিট (জিপিইউ)-এর সাথে প্রশিক্ষিত হয়েছিল। সেই বছর, অ্যান্ড্রু এনজি নির্ধারণ করেছিলেন যে জিপিইউগুলি গভীর-শিক্ষণ ব্যবস্থার গতি প্রায় 100 গুণ বাড়িয়ে দিতে পারে। বিশেষত, জিপিইউগুলি মেশিন লার্নিংয়ের সাথে জড়িত ম্যাট্রিক্স/ভেক্টর গণনার জন্য উপযুক্ত। জিপিইউগুলি মাত্রার ক্রম অনুসারে প্রশিক্ষণের অ্যালগরিদমগুলিকে ত্বরান্বিত করে, চলমান সময়কে সপ্তাহ থেকে দিনে হ্রাস করে। উপরন্তু, গভীর শিক্ষার মডেলগুলির দক্ষ প্রক্রিয়াকরণের জন্য বিশেষ হার্ডওয়্যার এবং অ্যালগরিদম অপ্টিমাইজেশান ব্যবহার করা যেতে পারে। গভীর শিক্ষার বিপ্লব 2000-এর দশকের শেষের দিকে, গভীর শিক্ষা মেশিন লার্নিং প্রতিযোগিতায় অন্যান্য পদ্ধতিগুলিকে ছাড়িয়ে যেতে শুরু করে। 2009 সালে, সংযোগবাদী সাময়িক শ্রেণিবিন্যাস দ্বারা প্রশিক্ষিত একটি দীর্ঘ স্বল্পমেয়াদী স্মৃতি (অ্যালেক্স গ্রেভস, সান্তিয়াগো ফার্নান্দেজ, ফস্টিনো গোমেজ এবং জার্গেন শ্মিধুবার, 2006) প্রথম আরএনএন প্যাটার্ন স্বীকৃতি প্রতিযোগিতা জিতেছিল, সংযুক্ত হাতের লেখার স্বীকৃতিতে তিনটি প্রতিযোগিতা জিতেছিল। গুগল পরে স্মার্টফোনে বক্তৃতা শনাক্তকরণের জন্য সিটিসি-প্রশিক্ষিত এলএসটিএম ব্যবহার করে। 2011 থেকে 2012 সাল পর্যন্ত ছবি বা বস্তু শনাক্তকরণে উল্লেখযোগ্য প্রভাব অনুভূত হয়েছিল। যদিও ব্যাকপ্রোপেগেশন দ্বারা প্রশিক্ষিত সিএনএন কয়েক দশক ধরে ছিল, এবং সিএনএন সহ বছরের পর বছর ধরে এনএন-এর জিপিইউ বাস্তবায়ন, কম্পিউটার দৃষ্টিতে অগ্রগতির জন্য জিপিইউ-তে সিএনএন-এর দ্রুত বাস্তবায়ন প্রয়োজন ছিল। 2011 সালে, ড্যান সিরেসান, ইউলি মায়ার, জোনাথন ম্যাস্কি, লুকা মারিয়া গ্যাম্বার্ডেলা এবং জার্গেন শ্মিধুবারের ড্যাননেট একটি ভিজ্যুয়াল প্যাটার্ন স্বীকৃতি প্রতিযোগিতায় প্রথমবারের জন্য অতিমানবীয় পারফরম্যান্স অর্জন করে, যা ঐতিহ্যবাহী পদ্ধতিগুলিকে 3 গুণক দ্বারা ছাড়িয়ে যায়। এছাড়াও 2011 সালে, ড্যাননেট আই. সি. ডি. এ. আর চীনা হাতের লেখা প্রতিযোগিতা জিতেছে এবং 2012 সালের মে মাসে, এটি আই. এস. বি. আই ইমেজ সেগমেন্টেশন প্রতিযোগিতা জিতেছে। 2011 সাল পর্যন্ত, সিএনএন কম্পিউটার ভিশন কনফারেন্সে প্রধান ভূমিকা পালন করেনি, কিন্তু জুন 2012 সালে, সিরসান এট আল-এর একটি গবেষণাপত্র। শীর্ষস্থানীয় সম্মেলনে সিভিপিআর দেখিয়েছিল যে কীভাবে জিপিইউতে সর্বাধিক-পুলিং সিএনএনগুলি অনেক দৃষ্টি মানদণ্ডের রেকর্ডকে নাটকীয়ভাবে উন্নত করতে পারে। 2012 সালের সেপ্টেম্বরে, ড্যাননেট ক্যান্সার সনাক্তকরণের জন্য বড় মেডিকেল চিত্র বিশ্লেষণের উপর আইসিপিআর প্রতিযোগিতা এবং পরের বছর একই বিষয়ে এমআইসিসিএআই গ্র্যান্ড চ্যালেঞ্জও জিতেছিল। 2012 সালের অক্টোবরে, অ্যালেক্স ক্রিজেভস্কি, ইলিয়া সাটস্কেভার এবং জিওফ্রে হিন্টনের অনুরূপ অ্যালেক্সনেট অগভীর মেশিন লার্নিং পদ্ধতির তুলনায় উল্লেখযোগ্য ব্যবধানে বড় আকারের ইমেজনেট প্রতিযোগিতা জিতেছিল। কারেন সিমোনিয়ান এবং অ্যান্ড্রু জিসারম্যানের ভিজিজি-16 নেটওয়ার্ক ত্রুটির হার আরও হ্রাস করে এবং বড় আকারের বক্তৃতা স্বীকৃতির অনুরূপ প্রবণতা অনুসরণ করে ইমেজনেট 2014 প্রতিযোগিতা জিতেছে। প্রায়শই সিএনএন এবং এলএসটিএম-এর সংমিশ্রণ হিসাবে চিত্রের শ্রেণিবিন্যাসকে চিত্রের জন্য বিবরণ (ক্যাপশন) তৈরির আরও চ্যালেঞ্জিং কাজে প্রসারিত করা হয়েছিল। 2012 সালে, জর্জ ই. ডালের নেতৃত্বে একটি দল একটি ওষুধের জৈব আণবিক লক্ষ্যের পূর্বাভাস দেওয়ার জন্য মাল্টি-টাস্ক ডিপ নিউরাল নেটওয়ার্ক ব্যবহার করে "মার্ক মলিকিউলার অ্যাক্টিভিটি চ্যালেঞ্জ" জিতেছিল। 2014 সালে, সেপ হক্রিটারের দল পুষ্টি, গৃহস্থালী পণ্য এবং ওষুধগুলিতে পরিবেশগত রাসায়নিকের লক্ষ্যহীন এবং বিষাক্ত প্রভাবগুলি সনাক্ত করতে গভীর শিক্ষা ব্যবহার করে এবং এন. আই. এইচ, এফ. ডি. এ এবং এন. সি. এ. টি. এস-এর "টক্স 21 ডেটা চ্যালেঞ্জ" জিতেছে। 2016 সালে, রজার পার্লফ একটি "গভীর শিক্ষার বিপ্লব" উল্লেখ করেছেন যা এআই শিল্পকে রূপান্তরিত করেছে। 2019 সালের মার্চ মাসে, ইয়োশুয়া বেঞ্জিও, জিওফ্রে হিন্টন এবং ইয়ান লেকুনকে ধারণাগত এবং প্রকৌশলগত অগ্রগতির জন্য টুরিং অ্যাওয়ার্ডে ভূষিত করা হয়েছিল যা গভীর স্নায়বিক নেটওয়ার্কগুলিকে কম্পিউটিংয়ের একটি গুরুত্বপূর্ণ উপাদান করে তুলেছে। নিউরাল নেটওয়ার্ক কৃত্রিম নিউরাল নেটওয়ার্ক (এ. এন. এন) বা সংযোগকারী ব্যবস্থা হল জৈবিক নিউরাল নেটওয়ার্ক দ্বারা অনুপ্রাণিত কম্পিউটিং সিস্টেম যা প্রাণীর মস্তিষ্ক গঠন করে। এই ধরনের পদ্ধতিগুলি সাধারণত কার্য-নির্দিষ্ট প্রোগ্রামিং ছাড়াই উদাহরণ বিবেচনা করে কাজগুলি করতে শেখে (ক্রমান্বয়ে তাদের ক্ষমতা উন্নত করে)। উদাহরণস্বরূপ, চিত্র শনাক্তকরণে, তারা বিড়াল ধারণকারী চিত্রগুলি সনাক্ত করতে শিখতে পারে উদাহরণস্বরূপ চিত্রগুলি বিশ্লেষণ করে যা ম্যানুয়ালি "বিড়াল" বা "বিড়াল নেই" হিসাবে লেবেল করা হয়েছে এবং অন্যান্য চিত্রগুলিতে বিড়ালদের সনাক্ত করতে বিশ্লেষণাত্মক ফলাফলগুলি ব্যবহার করে। নিয়ম-ভিত্তিক প্রোগ্রামিং ব্যবহার করে ঐতিহ্যবাহী কম্পিউটার অ্যালগরিদমের মাধ্যমে প্রকাশ করা অ্যাপ্লিকেশনগুলির বেশিরভাগ ব্যবহারকে তারা কঠিন বলে মনে করেছে। একটি এ. এন. এন কৃত্রিম স্নায়ুকোষ নামক সংযুক্ত এককগুলির একটি সংগ্রহের উপর ভিত্তি করে তৈরি, (জৈবিক মস্তিষ্কের জৈবিক স্নায়ুকোষের অনুরূপ)। নিউরনের মধ্যে প্রতিটি সংযোগ (সিনাপ্স) অন্য নিউরনে একটি সংকেত প্রেরণ করতে পারে। রিসিভিং (পোস্টসিনেপটিক) নিউরন সংকেত (গুলি) প্রক্রিয়া করতে পারে এবং তারপরে এটির সাথে সংযুক্ত ডাউনস্ট্রিম নিউরনগুলিকে সংকেত দিতে পারে। নিউরনগুলির অবস্থা থাকতে পারে, সাধারণত বাস্তব সংখ্যা দ্বারা প্রতিনিধিত্ব করা হয়, সাধারণত 0 এবং 1 এর মধ্যে। নিউরন এবং সিনাপ্সের একটি ওজনও থাকতে পারে যা শেখার অগ্রগতির সাথে পরিবর্তিত হয়, যা এটি নিম্নমুখী প্রেরণ করে এমন সংকেতের শক্তি বৃদ্ধি বা হ্রাস করতে পারে। সাধারণত, নিউরনগুলি স্তরগুলিতে সংগঠিত হয়। বিভিন্ন স্তর তাদের ইনপুটগুলিতে বিভিন্ন ধরনের রূপান্তর সম্পাদন করতে পারে। সংকেতগুলি প্রথম (ইনপুট) থেকে শেষ (আউটপুট) স্তরে ভ্রমণ করে, সম্ভবত স্তরগুলি একাধিকবার অতিক্রম করার পরে। নিউরাল নেটওয়ার্ক পদ্ধতির মূল লক্ষ্য ছিল মানুষের মস্তিষ্কের মতো একইভাবে সমস্যা সমাধান করা। সময়ের সাথে সাথে, নির্দিষ্ট মানসিক দক্ষতার মিলনের দিকে মনোনিবেশ করা হয়, যার ফলে জীববিজ্ঞান থেকে বিচ্যুতি ঘটে যেমন ব্যাকপ্রোপেগেশন, বা বিপরীত দিকে তথ্য প্রেরণ করা এবং সেই তথ্য প্রতিফলিত করার জন্য নেটওয়ার্ককে সামঞ্জস্য করা। নিউরাল নেটওয়ার্কগুলি কম্পিউটার দৃষ্টি, বক্তৃতা স্বীকৃতি, মেশিন অনুবাদ, সামাজিক নেটওয়ার্ক ফিল্টারিং, বোর্ড এবং ভিডিও গেম খেলা এবং চিকিৎসা নির্ণয় সহ বিভিন্ন কাজে ব্যবহার করা হয়েছে। 2017 সালের হিসাবে, নিউরাল নেটওয়ার্কগুলিতে সাধারণত কয়েক হাজার থেকে কয়েক মিলিয়ন ইউনিট এবং লক্ষ লক্ষ সংযোগ থাকে। এই সংখ্যাটি মানুষের মস্তিষ্কের নিউরনের সংখ্যার তুলনায় কয়েক ক্রম কম হওয়া সত্ত্বেও, এই নেটওয়ার্কগুলি মানুষের চেয়েও বেশি স্তরে অনেক কাজ করতে পারে (যেমন, মুখগুলি শনাক্ত করা বা "গো" খেলা)। ডিপ নিউরাল নেটওয়ার্ক (ডি. এন. এন) হল একটি কৃত্রিম নিউরাল নেটওয়ার্ক (এ. এন. এন) যার ইনপুট এবং আউটপুট স্তরগুলির মধ্যে একাধিক স্তর থাকে। বিভিন্ন ধরনের নিউরাল নেটওয়ার্ক রয়েছে তবে সেগুলি সর্বদা একই উপাদান নিয়ে গঠিতঃ নিউরন, সিনাপ্স, ওজন, পক্ষপাত এবং ফাংশন। এই উপাদানগুলি একটি সম্পূর্ণ মানব মস্তিষ্কের মতো কাজ করে এবং অন্য যে কোনও এমএল অ্যালগরিদমের মতো প্রশিক্ষিত হতে পারে। উদাহরণস্বরূপ, কুকুরের জাতগুলি সনাক্ত করার জন্য প্রশিক্ষিত একটি ডি. এন. এন প্রদত্ত চিত্রের উপর দিয়ে যাবে এবং চিত্রের কুকুরটি একটি নির্দিষ্ট জাত হওয়ার সম্ভাবনা গণনা করবে। ব্যবহারকারী ফলাফলগুলি পর্যালোচনা করতে পারেন এবং নির্বাচন করতে পারেন যে নেটওয়ার্কের কোন সম্ভাবনাগুলি প্রদর্শন করা উচিত (একটি নির্দিষ্ট সীমার উপরে ইত্যাদি)। এবং প্রস্তাবিত লেবেলটি ফেরত দিন। প্রতিটি গাণিতিক ম্যানিপুলেশনকে একটি স্তর হিসাবে বিবেচনা করা হয় এবং জটিল ডি. এন. এন-এর অনেকগুলি স্তর থাকে, তাই এর নাম "ডিপ" নেটওয়ার্ক। ডি. এন. এন জটিল অ-রৈখিক সম্পর্কের মডেল তৈরি করতে পারে। ডি. এন. এন স্থাপত্যগুলি গঠনমূলক মডেল তৈরি করে যেখানে বস্তুটিকে আদিম স্তরযুক্ত গঠন হিসাবে প্রকাশ করা হয়। অতিরিক্ত স্তরগুলি নীচের স্তরগুলি থেকে বৈশিষ্ট্যগুলির গঠন সক্ষম করে, সম্ভাব্যভাবে একইভাবে কাজ করা অগভীর নেটওয়ার্কের তুলনায় কম ইউনিট সহ জটিল ডেটা মডেলিং করে। উদাহরণস্বরূপ, এটি প্রমাণিত হয়েছিল যে অগভীর নেটওয়ার্কের তুলনায় ডি. এন. এন-এর সাথে বিরল বহু-বৈকল্পিক বহুপদগুলি আনুমানিকভাবে সহজ। গভীর স্থাপত্যগুলিতে কয়েকটি মৌলিক পদ্ধতির অনেকগুলি রূপ অন্তর্ভুক্ত রয়েছে। প্রতিটি স্থাপত্য নির্দিষ্ট ক্ষেত্রে সাফল্য পেয়েছে। একাধিক স্থাপত্যের কার্যকারিতার তুলনা করা সবসময় সম্ভব নয়, যদি না সেগুলি একই ডেটা সেটে মূল্যায়ন করা হয়। ডি. এন. এন হল সাধারণত ফিড ফরওয়ার্ড নেটওয়ার্ক যেখানে তথ্য ইনপুট স্তর থেকে আউটপুট স্তরে ফিরে না গিয়ে প্রবাহিত হয়। প্রথমে, ডিএনএন ভার্চুয়াল নিউরনের একটি মানচিত্র তৈরি করে এবং তাদের মধ্যে সংযোগের জন্য এলোমেলো সংখ্যাসূচক মান বা "ওজন" বরাদ্দ করে। ওজন এবং ইনপুটগুলি গুণ করা হয় এবং 0 এবং 1 এর মধ্যে একটি আউটপুট প্রদান করে। যদি নেটওয়ার্কটি একটি নির্দিষ্ট প্যাটার্ন সঠিকভাবে সনাক্ত না করে, তবে একটি অ্যালগরিদম ওজনগুলি সামঞ্জস্য করবে। এইভাবে অ্যালগরিদম নির্দিষ্ট পরামিতিগুলিকে আরও প্রভাবশালী করে তুলতে পারে, যতক্ষণ না এটি ডেটা সম্পূর্ণরূপে প্রক্রিয়া করার জন্য সঠিক গাণিতিক কারসাজি নির্ধারণ করে। পুনরাবৃত্ত নিউরাল নেটওয়ার্ক (আর. এন. এন), যেখানে তথ্য যে কোনও দিকে প্রবাহিত হতে পারে, ভাষা মডেলিংয়ের মতো প্রয়োগের জন্য ব্যবহৃত হয়। দীর্ঘ স্বল্পমেয়াদী স্মৃতি এই ব্যবহারের জন্য বিশেষভাবে কার্যকর। কনভোলিউশনাল ডিপ নিউরাল নেটওয়ার্ক (সিএনএন) কম্পিউটার দৃষ্টিতে ব্যবহৃত হয়। সিএনএনগুলি স্বয়ংক্রিয় বক্তৃতা স্বীকৃতির (এএসআর) জন্য অ্যাকোস্টিক মডেলিংয়ের ক্ষেত্রেও প্রয়োগ করা হয়েছে। চ্যালেঞ্জ এ. এন. এন-এর মতো, সরলভাবে প্রশিক্ষিত ডি. এন. এন-এর ক্ষেত্রেও অনেক সমস্যা দেখা দিতে পারে। দুটি সাধারণ সমস্যা হল ওভারফিটিং এবং গণনার সময়। বিমূর্ততার অতিরিক্ত স্তরগুলির কারণে ডি. এন. এনগুলি অতিরিক্ত উপযুক্ত হওয়ার প্রবণতা রয়েছে, যা তাদের প্রশিক্ষণের তথ্যে বিরল নির্ভরশীলতার মডেল তৈরি করতে দেয়। নিয়মিতকরণ পদ্ধতি যেমন ইভাখনেঙ্কোর একক ছাঁটাই বা ওজন হ্রাস (-নিয়মিতকরণ) বা স্পারসিটি (-নিয়মিতকরণ) অতিরিক্ত ফিটিংয়ের বিরুদ্ধে লড়াই করার জন্য প্রশিক্ষণের সময় প্রয়োগ করা যেতে পারে। বিকল্পভাবে ড্রপআউট নিয়মিতকরণ এলোমেলোভাবে প্রশিক্ষণের সময় লুকানো স্তরগুলি থেকে ইউনিটগুলি বাদ দেয়। এটি বিরল নির্ভরশীলতাকে বাদ দিতে সাহায্য করে। পরিশেষে, ক্রপিং এবং ঘূর্ণনের মতো পদ্ধতির মাধ্যমে তথ্য বৃদ্ধি করা যেতে পারে যাতে অতিরিক্ত ফিটিংয়ের সম্ভাবনা কমাতে ছোট প্রশিক্ষণ সেটগুলি আকারে বাড়ানো যায়। ডি. এন. এন-গুলিকে অবশ্যই অনেকগুলি প্রশিক্ষণ পরামিতি বিবেচনা করতে হবে, যেমন আকার (স্তরের সংখ্যা এবং প্রতি স্তরে ইউনিটের সংখ্যা), শেখার হার এবং প্রাথমিক ওজন। সময় এবং গণনামূলক সম্পদের ব্যয়ের কারণে সর্বোত্তম পরামিতিগুলির জন্য পরামিতি স্থানের মাধ্যমে ঝাড়ু দেওয়া সম্ভব নাও হতে পারে। বিভিন্ন কৌশল, যেমন ব্যাচিং (পৃথক উদাহরণের পরিবর্তে একবারে বিভিন্ন প্রশিক্ষণের উদাহরণে গ্রেডিয়েন্ট গণনা করা) গণনার গতি বাড়ায়। ম্যাট্রিক্স এবং ভেক্টর গণনার জন্য এই ধরনের প্রক্রিয়াকরণ স্থাপত্যের উপযুক্ততার কারণে বহু-মূল স্থাপত্যের (যেমন জিপিইউ বা ইন্টেল জিওন ফাই) বড় প্রক্রিয়াকরণ ক্ষমতা প্রশিক্ষণে উল্লেখযোগ্য গতিবেগ তৈরি করেছে। বিকল্পভাবে, প্রকৌশলীরা আরও সরল এবং সমন্বিত প্রশিক্ষণ অ্যালগরিদম সহ অন্যান্য ধরনের স্নায়ুতন্ত্রের সন্ধান করতে পারেন। সেরিবেলার মডেল আর্টিকুলেশন কন্ট্রোলার (সি. এম. এ. সি) এমনই একটি স্নায়ুতন্ত্র। এর জন্য শেখার হার বা এলোমেলো প্রাথমিক ওজনের প্রয়োজন হয় না। প্রশিক্ষণ প্রক্রিয়াটি তথ্যের একটি নতুন ব্যাচের সাথে এক ধাপে একত্রিত হওয়ার নিশ্চয়তা দেওয়া যেতে পারে এবং প্রশিক্ষণ অ্যালগরিদমের গণনামূলক জটিলতা জড়িত নিউরনের সংখ্যার সাপেক্ষে রৈখিক। 2010-এর দশক থেকে, মেশিন লার্নিং অ্যালগরিদম এবং কম্পিউটার হার্ডওয়্যার উভয়ের অগ্রগতি গভীর স্নায়বিক নেটওয়ার্কগুলিকে প্রশিক্ষণের জন্য আরও দক্ষ পদ্ধতির দিকে পরিচালিত করেছে যার মধ্যে অ-রৈখিক লুকানো ইউনিটগুলির অনেক স্তর এবং একটি খুব বড় আউটপুট স্তর রয়েছে। 2019 সালের মধ্যে, গ্রাফিক প্রসেসিং ইউনিটগুলি (জিপিইউ), প্রায়শই এআই-নির্দিষ্ট বর্ধিতকরণের সাথে, সিপিইউগুলিকে বড় আকারের বাণিজ্যিক ক্লাউড এআই প্রশিক্ষণের প্রভাবশালী পদ্ধতি হিসাবে স্থানচ্যুত করেছিল। ওপেনএআই অ্যালেক্সনেট (2012) থেকে আলফাজিরো (2017) পর্যন্ত বৃহত্তম গভীর শিক্ষণ প্রকল্পে ব্যবহৃত হার্ডওয়্যার গণনার অনুমান করেছে এবং 3-4 মাসের দ্বিগুণ সময়ের প্রবণতা সহ প্রয়োজনীয় গণনার পরিমাণে 3,00,000 গুণ বৃদ্ধি পেয়েছে। ডিপ লার্নিং প্রসেসর নামে বিশেষ বৈদ্যুতিন সার্কিটগুলি গভীর শিক্ষার অ্যালগরিদমগুলিকে ত্বরান্বিত করার জন্য ডিজাইন করা হয়েছিল। ডিপ লার্নিং প্রসেসরের মধ্যে রয়েছে হুয়াওয়ে সেলফোনে নিউরাল প্রসেসিং ইউনিট (এনপিইউ) এবং গুগল ক্লাউড প্ল্যাটফর্মে টেনসর প্রসেসিং ইউনিটের (টিপিইউ) মতো ক্লাউড কম্পিউটিং সার্ভার। সেরেব্রাস সিস্টেমগুলি শিল্পের বৃহত্তম প্রসেসর, দ্বিতীয় প্রজন্মের ওয়েফার স্কেল ইঞ্জিন (ডব্লিউ. এস. ই-2)-এর উপর ভিত্তি করে বড় গভীর শিক্ষার মডেল, সি. এস-2 পরিচালনা করার জন্য একটি নিবেদিত ব্যবস্থাও তৈরি করেছে। পারমাণবিকভাবে পাতলা অর্ধপরিবাহীগুলিকে শক্তি-দক্ষ গভীর শিক্ষণ হার্ডওয়্যারের জন্য আশাব্যঞ্জক বলে মনে করা হয় যেখানে লজিক অপারেশন এবং ডেটা স্টোরেজ উভয়ের জন্য একই মৌলিক ডিভাইস কাঠামো ব্যবহার করা হয়। 2020 সালে, মারেগা এবং অন্যান্যরা। ফ্লোটিং-গেট ফিল্ড-এফেক্ট ট্রানজিস্টর (এফ. জি. এফ. ই. টি)-এর উপর ভিত্তি করে লজিক-ইন-মেমোরি ডিভাইস এবং সার্কিট বিকাশের জন্য একটি বড় এলাকার সক্রিয় চ্যানেল উপাদানের সাথে প্রকাশিত পরীক্ষা-নিরীক্ষা। 2021 সালে, জে. ফেল্ডম্যান এবং অন্যান্যরা। সমান্তরাল কনভোলিউশনাল প্রক্রিয়াকরণের জন্য একটি সমন্বিত ফোটোনিক হার্ডওয়্যার অ্যাক্সিলারেটরের প্রস্তাব দেওয়া হয়েছে। লেখকরা তার বৈদ্যুতিন প্রতিরূপগুলির তুলনায় সমন্বিত ফটোনিক্সের দুটি মূল সুবিধা চিহ্নিত করেছেনঃ (1) ফ্রিকোয়েন্সি চিরুনির সাথে একত্রে তরঙ্গদৈর্ঘ্য বিভাজন মাল্টিপ্লেক্সিংয়ের মাধ্যমে ব্যাপকভাবে সমান্তরাল ডেটা স্থানান্তর এবং (2) অত্যন্ত উচ্চ ডেটা মড্যুলেশন গতি। তাদের সিস্টেম প্রতি সেকেন্ডে কোটি কোটি বহু-সঞ্চিত ক্রিয়াকলাপ সম্পাদন করতে পারে, যা ডেটা-ভারী এআই অ্যাপ্লিকেশনগুলিতে সমন্বিত ফটোনিক্সের সম্ভাবনা নির্দেশ করে। অ্যাপ্লিকেশন স্বয়ংক্রিয় বক্তৃতা স্বীকৃতি বড় আকারের স্বয়ংক্রিয় বক্তৃতা স্বীকৃতি গভীর শিক্ষার প্রথম এবং সবচেয়ে বিশ্বাসযোগ্য সফল কেস। এল. এস. টি. এম আর. এন.-রা "খুব গভীর শিক্ষণ" কাজগুলি শিখতে পারে যার মধ্যে হাজার হাজার বিচ্ছিন্ন সময় ধাপ দ্বারা পৃথক করা বক্তৃতা ইভেন্ট সহ বহু-সেকেন্ডের ব্যবধান জড়িত থাকে, যেখানে এক সময়ের পদক্ষেপ প্রায় 10 এমএস-এর সাথে মিলে যায়। ভুলে যাওয়া গেট সহ এল. এস. টি. এম নির্দিষ্ট কাজে ঐতিহ্যবাহী বক্তৃতা শনাক্তকারীদের সাথে প্রতিযোগিতামূলক। বক্তৃতা স্বীকৃতির প্রাথমিক সাফল্য টি. আই. এম. আই. টি-র উপর ভিত্তি করে ছোট আকারের স্বীকৃতির কাজগুলির উপর ভিত্তি করে ছিল। ডেটা সেটে আমেরিকান ইংরেজির আটটি প্রধান উপভাষার 630 জন বক্তা রয়েছেন, যেখানে প্রতিটি বক্তা 10টি বাক্য পড়েন। এর ছোট আকার অনেক কনফিগারেশন চেষ্টা করার অনুমতি দেয়। আরও গুরুত্বপূর্ণভাবে, টি. আই. এম. আই. টি কাজটি ফোন-সিকোয়েন্স স্বীকৃতি সম্পর্কিত, যা শব্দ-সিকোয়েন্স স্বীকৃতির বিপরীতে, দুর্বল ফোন বিগ্রাম ভাষার মডেলগুলিকে অনুমতি দেয়। এটি বক্তৃতা স্বীকৃতির অ্যাকোস্টিক মডেলিং দিকগুলির শক্তিকে আরও সহজে বিশ্লেষণ করতে দেয়। নীচে তালিকাভুক্ত ত্রুটির হার, এই প্রাথমিক ফলাফলগুলি সহ এবং শতাংশ ফোন ত্রুটি হার (পিইআর) হিসাবে পরিমাপ করা হয়েছে, 1991 সাল থেকে সংক্ষিপ্ত করা হয়েছে। 1990-এর দশকের শেষের দিকে স্পিকার স্বীকৃতির জন্য ডি. এন. এন-এর আবির্ভাব এবং <আই. ডি. 1>-এর কাছাকাছি বক্তৃতা স্বীকৃতির জন্য এবং <আই. ডি. 2-এর কাছাকাছি এল. এস. টি. এম-এর আবির্ভাব, আটটি প্রধান ক্ষেত্রে অগ্রগতি ত্বরান্বিত করেঃ স্কেল-আপ/আউট এবং ত্বরান্বিত ডি. এন. এন প্রশিক্ষণ এবং ডিকোডিং সিকোয়েন্স বৈষম্যমূলক প্রশিক্ষণ বৈশিষ্ট্য প্রক্রিয়াকরণ গভীর মডেলগুলির দ্বারা অন্তর্নিহিত প্রক্রিয়াগুলির দৃঢ় বোঝার সাথে ডি. এন. এন এবং সম্পর্কিত গভীর মডেলগুলির অভিযোজন ডি. এন. এন এবং সম্পর্কিত গভীর মডেলগুলি দ্বারা মাল্টি-টাস্ক এবং স্থানান্তর শিক্ষা এবং সম্পর্কিত গভীর মডেলগুলি সি. এন. এন এবং কীভাবে বক্তৃতার ডোমেন জ্ঞানকে সর্বোত্তমভাবে কাজে লাগানোর জন্য তাদের ডিজাইন করা যায় আর. এন. এন এবং এর সমৃদ্ধ এল. এস. টি. এম রূপগুলি টেনসর-ভিত্তিক মডেল এবং সমন্বিত গভীর উৎপাদক/বৈষম্যমূলক মডেল সহ অন্যান্য ধরণের গভীর মডেল। সমস্ত প্রধান বাণিজ্যিক বক্তৃতা স্বীকৃতি ব্যবস্থা (যেমন, মাইক্রোসফ্ট কর্টানা, এক্সবক্স, স্কাইপ ট্রান্সলেটর, অ্যামাজন অ্যালেক্সা, গুগল নাও, অ্যাপল সিরি, বাইডু এবং আইফ্লাইটেক ভয়েস সার্চ, এবং নুয়ান্স বক্তৃতা পণ্যের একটি পরিসীমা ইত্যাদি) গভীর শিক্ষার উপর ভিত্তি করে। চিত্র শনাক্তকরণ চিত্র শ্রেণিবিন্যাসের জন্য একটি সাধারণ মূল্যায়ন সেট হল এম. এন. আই. এস. টি ডাটাবেস ডেটা সেট। এম. এন. আই. এস. টি হাতে লেখা সংখ্যা নিয়ে গঠিত এবং এতে 60,000 প্রশিক্ষণের উদাহরণ এবং 10,000 পরীক্ষার উদাহরণ রয়েছে। টি. আই. এম. আই. টি-র মতো, এর ছোট আকার ব্যবহারকারীদের একাধিক কনফিগারেশন পরীক্ষা করতে দেয়। এই সেটে ফলাফলের একটি বিস্তৃত তালিকা পাওয়া যায়। গভীর শিক্ষা-ভিত্তিক চিত্র স্বীকৃতি "অতিমানবীয়" হয়ে উঠেছে, যা মানব প্রতিযোগীদের তুলনায় আরও সঠিক ফলাফল তৈরি করে। 2011 সালে ট্রাফিক চিহ্নের স্বীকৃতিস্বরূপ এবং 2014 সালে মানুষের মুখের স্বীকৃতিস্বরূপ এটি প্রথম ঘটেছিল। গভীর শিক্ষা-প্রশিক্ষিত যানবাহনগুলি এখন 360° ক্যামেরা ভিউ ব্যাখ্যা করে। আরেকটি উদাহরণ হল ফেসিয়াল ডিসমরফোলজি নভেল অ্যানালাইসিস (এফ. ডি. এন. এ) যা জেনেটিক সিন্ড্রোমের একটি বড় ডাটাবেসের সাথে সংযুক্ত মানব বিকৃতিগুলির ক্ষেত্রে বিশ্লেষণ করতে ব্যবহৃত হয়। ভিজ্যুয়াল আর্ট প্রসেসিং চিত্র স্বীকৃতির ক্ষেত্রে যে অগ্রগতি হয়েছে তার সাথে ঘনিষ্ঠভাবে সম্পর্কিত হল বিভিন্ন ভিজ্যুয়াল আর্ট কাজে গভীর শিক্ষার কৌশলগুলির ক্রমবর্ধমান প্রয়োগ। উদাহরণস্বরূপ, ডি. এন. এনগুলি একটি প্রদত্ত শিল্পকর্মের শৈলী ধারণ করে একটি প্রদত্ত চিত্রকলার নিউরাল স্টাইল ট্রান্সফারের শৈলী সময়কাল সনাক্ত করতে এবং এলোমেলো ভিজ্যুয়াল ইনপুট ক্ষেত্রের উপর ভিত্তি করে আকর্ষণীয় চিত্র তৈরি করে একটি নির্বিচারে ফটোগ্রাফ বা ভিডিওতে দৃশ্যত আনন্দদায়ক পদ্ধতিতে প্রয়োগ করতে সক্ষম প্রমাণিত হয়েছে। 2000-এর দশকের গোড়ার দিক থেকে ভাষার মডেল বাস্তবায়নের জন্য প্রাকৃতিক ভাষা প্রক্রিয়াকরণ স্নায়বিক নেটওয়ার্ক ব্যবহার করা হচ্ছে। এল. এস. টি. এম মেশিন অনুবাদ এবং ভাষা মডেলিং উন্নত করতে সাহায্য করেছে। এই ক্ষেত্রের অন্যান্য মূল কৌশলগুলি হল নেতিবাচক নমুনা সংগ্রহ এবং শব্দ সংযোজন। ওয়ার্ড এম্বেডিং, যেমন ওয়ার্ড2ভেক, একটি গভীর শিক্ষণ কাঠামোতে একটি প্রতিনিধিত্বমূলক স্তর হিসাবে চিন্তা করা যেতে পারে যা একটি পারমাণবিক শব্দকে ডেটাসেটের অন্যান্য শব্দের সাথে সম্পর্কিত শব্দের অবস্থানগত উপস্থাপনায় রূপান্তরিত করে; অবস্থানটি একটি ভেক্টর স্পেসে একটি বিন্দু হিসাবে প্রতিনিধিত্ব করা হয়। আর. এন. এন ইনপুট স্তর হিসাবে শব্দ এম্বেডিং ব্যবহার করলে নেটওয়ার্ক একটি কার্যকর গঠনমূলক ভেক্টর ব্যাকরণ ব্যবহার করে বাক্য এবং বাক্যাংশগুলি বিশ্লেষণ করতে পারে। একটি গঠনমূলক ভেক্টর ব্যাকরণকে একটি আর. এন. এন দ্বারা বাস্তবায়িত সম্ভাব্য প্রসঙ্গ মুক্ত ব্যাকরণ (পি. সি. এফ. জি) হিসাবে ভাবা যেতে পারে। শব্দ এম্বেডিংয়ের উপরে নির্মিত পুনরাবৃত্তিমূলক স্বয়ংক্রিয়-এনকোডারগুলি বাক্যের সাদৃশ্য মূল্যায়ন করতে এবং প্যারাফ্রেসিং সনাক্ত করতে পারে। ডিপ নিউরাল আর্কিটেকচারগুলি নির্বাচনী এলাকা বিশ্লেষণ, অনুভূতি বিশ্লেষণ, তথ্য পুনরুদ্ধার, কথ্য ভাষা বোঝা, মেশিন অনুবাদ, প্রাসঙ্গিক সত্তা সংযোগ, লেখার শৈলী স্বীকৃতি, নাম-সত্তা স্বীকৃতি (টোকেন শ্রেণিবিন্যাস), পাঠ্য শ্রেণিবিন্যাস এবং অন্যান্যদের জন্য সেরা ফলাফল প্রদান করে। সাম্প্রতিক উন্নয়নগুলি বাক্য এম্বেডিংয়ে শব্দ এম্বেডিংকে সাধারণীকরণ করে। গুগল ট্রান্সলেট (জিটি) একটি বড় এন্ড-টু-এন্ড লং শর্ট-টার্ম মেমোরি (এলএসটিএম) নেটওয়ার্ক ব্যবহার করে। গুগল নিউরাল মেশিন ট্রান্সলেশন (জি. এন. এম. টি) একটি উদাহরণ-ভিত্তিক মেশিন অনুবাদ পদ্ধতি ব্যবহার করে যেখানে সিস্টেমটি "লক্ষ লক্ষ উদাহরণ থেকে শেখে"। এটি "টুকরো টুকরো না হয়ে একটি সময়ে পুরো বাক্য" অনুবাদ করে। গুগল অনুবাদ একশোরও বেশি ভাষা সমর্থন করে। নেটওয়ার্কটি "বাক্যাংশ-থেকে-বাক্যাংশ অনুবাদগুলি কেবল মুখস্থ করার পরিবর্তে বাক্যের শব্দার্থবিদ্যা" কে এনকোড করে। জিটি বেশিরভাগ ভাষা জোড়ার মধ্যে মধ্যবর্তী হিসাবে ইংরেজি ব্যবহার করে। ড্রাগ আবিষ্কার এবং বিষাক্তবিদ্যা একটি বড় শতাংশ প্রার্থী ওষুধ নিয়ন্ত্রক অনুমোদন পেতে ব্যর্থ হয়। এই ব্যর্থতাগুলি অপর্যাপ্ত কার্যকারিতা (লক্ষ্যের উপর প্রভাব), অবাঞ্ছিত মিথস্ক্রিয়া (লক্ষ্যের বাইরে প্রভাব) বা অপ্রত্যাশিত বিষাক্ত প্রভাবের কারণে ঘটে। গবেষণা জৈব আণবিক লক্ষ্য, লক্ষ্যবহির্ভূত এবং পুষ্টি, গৃহস্থালীর পণ্য এবং ওষুধগুলিতে পরিবেশগত রাসায়নিকের বিষাক্ত প্রভাবগুলির পূর্বাভাস দেওয়ার জন্য গভীর শিক্ষার ব্যবহার অন্বেষণ করেছে। অ্যাটমনেট হল কাঠামো-ভিত্তিক যুক্তিসঙ্গত ওষুধের নকশার জন্য একটি গভীর শিক্ষণ ব্যবস্থা। ইবোলা ভাইরাস এবং মাল্টিপল স্ক্লেরোসিসের মতো রোগের লক্ষ্যগুলির জন্য নতুন প্রার্থী জৈব অণুগুলির পূর্বাভাস দিতে অ্যাটমনেট ব্যবহার করা হয়েছিল। 2017 সালে গ্রাফ নিউরাল নেটওয়ার্কগুলি প্রথমবারের মতো একটি বড় টক্সিকোলজি ডেটা সেটে অণুগুলির বিভিন্ন বৈশিষ্ট্যের পূর্বাভাস দেওয়ার জন্য ব্যবহার করা হয়েছিল। 2019 সালে, উৎপাদক নিউরাল নেটওয়ার্কগুলি অণু তৈরি করতে ব্যবহার করা হয়েছিল যা পরীক্ষামূলকভাবে ইঁদুরের মধ্যে বৈধ করা হয়েছিল। গ্রাহক সম্পর্ক ব্যবস্থাপনা গভীর শক্তিবৃদ্ধি শিক্ষা সম্ভাব্য সরাসরি বিপণন কর্মের আনুমানিক মূল্য নির্ধারণ করতে ব্যবহৃত হয়েছে, যা আর. এফ. এম ভেরিয়েবলের পরিপ্রেক্ষিতে সংজ্ঞায়িত করা হয়েছে। গ্রাহকের জীবনকাল মূল্য হিসাবে আনুমানিক মূল্য ক্রিয়াকলাপের একটি স্বাভাবিক ব্যাখ্যা রয়েছে বলে দেখানো হয়েছে। সুপারিশ পদ্ধতি সুপারিশ পদ্ধতি বিষয়বস্তু-ভিত্তিক সঙ্গীত এবং জার্নাল সুপারিশগুলির জন্য একটি সুপ্ত ফ্যাক্টর মডেলের জন্য অর্থপূর্ণ বৈশিষ্ট্যগুলি বের করার জন্য গভীর শিক্ষার ব্যবহার করেছে। একাধিক ক্ষেত্র থেকে ব্যবহারকারীর পছন্দগুলি শেখার জন্য মাল্টি-ভিউ ডিপ লার্নিং প্রয়োগ করা হয়েছে। মডেলটি একটি সংকর সহযোগিতামূলক এবং বিষয়বস্তু-ভিত্তিক পদ্ধতি ব্যবহার করে এবং একাধিক কাজে সুপারিশগুলিকে উন্নত করে। বায়োইনফরম্যাটিক্স একটি অটোএনকোডার এ. এন. এন বায়োইনফরম্যাটিক্সে ব্যবহৃত হয়েছিল, জিন অন্টোলজি অ্যানোটেশন এবং জিন-ফাংশন সম্পর্কের পূর্বাভাস দেওয়ার জন্য। চিকিৎসা তথ্যবিজ্ঞানে, পরিধানযোগ্য তথ্য এবং বৈদ্যুতিন স্বাস্থ্য রেকর্ড তথ্য থেকে স্বাস্থ্য জটিলতার পূর্বাভাসের উপর ভিত্তি করে ঘুমের গুণমান পূর্বাভাস দেওয়ার জন্য গভীর শিক্ষা ব্যবহার করা হয়েছিল। চিকিৎসা সংক্রান্ত চিত্র বিশ্লেষণ গভীর শিক্ষা ক্যান্সার কোষের শ্রেণিবিন্যাস, ক্ষত সনাক্তকরণ, অঙ্গ বিভাজন এবং চিত্র বৃদ্ধির মতো চিকিৎসা প্রয়োগের ক্ষেত্রে প্রতিযোগিতামূলক ফলাফল তৈরি করতে দেখা গেছে। আধুনিক গভীর শিক্ষার সরঞ্জামগুলি বিভিন্ন রোগ সনাক্তকরণের উচ্চ নির্ভুলতা এবং রোগ নির্ণয়ের দক্ষতা উন্নত করতে বিশেষজ্ঞদের দ্বারা তাদের ব্যবহারের সহায়কতা প্রদর্শন করে। মোবাইল বিজ্ঞাপন মোবাইল বিজ্ঞাপনের জন্য উপযুক্ত মোবাইল দর্শক খুঁজে বের করা সবসময়ই চ্যালেঞ্জিং, কারণ যে কোনও বিজ্ঞাপন সার্ভারের দ্বারা বিজ্ঞাপন পরিবেশনায় একটি লক্ষ্য বিভাগ তৈরি এবং ব্যবহার করার আগে অনেক ডেটা পয়েন্ট বিবেচনা এবং বিশ্লেষণ করা আবশ্যক। বড়, বহুমাত্রিক বিজ্ঞাপনের ডেটাসেটগুলি ব্যাখ্যা করার জন্য গভীর শিক্ষা ব্যবহার করা হয়েছে। অনুরোধ/পরিবেশন/ক্লিক ইন্টারনেট বিজ্ঞাপন চক্রের সময় অনেক ডেটা পয়েন্ট সংগ্রহ করা হয়। এই তথ্য বিজ্ঞাপন নির্বাচনের উন্নতির জন্য মেশিন লার্নিংয়ের ভিত্তি তৈরি করতে পারে। চিত্র পুনরুদ্ধার ডিপ লার্নিং সফলভাবে ডিনাইজিং, সুপার-রেজোলিউশন, ইনপেন্টিং এবং ফিল্ম কালারাইজেশনের মতো বিপরীত সমস্যাগুলিতে প্রয়োগ করা হয়েছে। এই অ্যাপ্লিকেশনগুলির মধ্যে রয়েছে শেখার পদ্ধতি যেমন "কার্যকর চিত্র পুনরুদ্ধারের জন্য সংকোচন ক্ষেত্র" যা একটি চিত্র ডেটাসেটে প্রশিক্ষণ দেয় এবং ডিপ ইমেজ প্রিওর, যা পুনরুদ্ধারের প্রয়োজন এমন চিত্রের উপর প্রশিক্ষণ দেয়। আর্থিক জালিয়াতি সনাক্তকরণ আর্থিক জালিয়াতি সনাক্তকরণ, কর ফাঁকি সনাক্তকরণ এবং অ্যান্টি-মানি লন্ডারিং-এ ডিপ লার্নিং সফলভাবে প্রয়োগ করা হচ্ছে। মার্কিন যুক্তরাষ্ট্রের প্রতিরক্ষা বিভাগ পর্যবেক্ষণের মাধ্যমে নতুন কাজে রোবটদের প্রশিক্ষণ দেওয়ার জন্য গভীর শিক্ষার প্রয়োগ করেছিল। আংশিক ডিফারেনশিয়াল সমীকরণ পদার্থবিজ্ঞান অবহিত নিউরাল নেটওয়ার্কগুলি ডেটা চালিত পদ্ধতিতে সামনের এবং বিপরীত উভয় সমস্যায় আংশিক ডিফারেনশিয়াল সমীকরণ সমাধান করতে ব্যবহৃত হয়েছে। একটি উদাহরণ হল নেভিয়ার-স্টোকস সমীকরণ দ্বারা পরিচালিত পুনর্নির্মাণ তরল প্রবাহ। প্রচলিত সি. এফ. ডি পদ্ধতির উপর নির্ভরশীল প্রায়শই ব্যয়বহুল জাল উৎপাদনের জন্য পদার্থবিজ্ঞানের অবহিত স্নায়বিক নেটওয়ার্কগুলি ব্যবহার করার প্রয়োজন হয় না। চিত্র পুনর্গঠন হল চিত্র-সম্পর্কিত পরিমাপ থেকে অন্তর্নিহিত চিত্রগুলির পুনর্গঠন। স্পেকট্রাল ইমেজিং এবং আল্ট্রাসাউন্ড ইমেজিং-এর মতো বিভিন্ন প্রয়োগের জন্য বিশ্লেষণাত্মক পদ্ধতির তুলনায় অনেক কাজ গভীর শিক্ষার পদ্ধতির আরও ভাল এবং উচ্চতর কর্মক্ষমতা দেখিয়েছে। এপিজেনেটিক ঘড়ি একটি বায়োকেমিক্যাল পরীক্ষা যা বয়স পরিমাপ করতে ব্যবহার করা যেতে পারে। গালকিন এবং অন্যান্য। 6, 000-এর বেশি রক্তের নমুনা ব্যবহার করে অভূতপূর্ব নির্ভুলতার একটি এপিজেনেটিক বার্ধক্যজনিত ঘড়িকে প্রশিক্ষণ দেওয়ার জন্য গভীর স্নায়বিক নেটওয়ার্কগুলি ব্যবহার করা হয়েছিল। ঘড়িটি 1000টি সিপিজি সাইট থেকে তথ্য ব্যবহার করে এবং স্বাস্থ্যকর নিয়ন্ত্রণের চেয়ে পুরানো কিছু অবস্থার লোকদের ভবিষ্যদ্বাণী করেঃ আইবিডি, ফ্রন্টোটেম্পোরাল ডিমেনশিয়া, ডিম্বাশয়ের ক্যান্সার, স্থূলতা। ইনসিলিকো মেডিসিনের একটি স্পিনঅফ সংস্থা ডিপ লংএভিটি দ্বারা 2021 সালে জনসাধারণের ব্যবহারের জন্য বার্ধক্যজনিত ঘড়িটি প্রকাশ করার পরিকল্পনা করা হয়েছিল। গভীর শিক্ষা 1990-এর দশকের গোড়ার দিকে জ্ঞানীয় স্নায়ুবিজ্ঞানীদের দ্বারা প্রস্তাবিত মস্তিষ্কের বিকাশের তত্ত্বগুলির (বিশেষত, নিওকোর্টিকাল বিকাশ) একটি শ্রেণীর সাথে ঘনিষ্ঠভাবে সম্পর্কিত। এই উন্নয়নমূলক তত্ত্বগুলি গণনামূলক মডেলগুলিতে তাত্ক্ষণিকভাবে তৈরি করা হয়েছিল, যা তাদের গভীর শিক্ষণ ব্যবস্থার পূর্বসূরি করে তুলেছিল। এই উন্নয়নমূলক মডেলগুলি এই বৈশিষ্ট্যটি ভাগ করে নেয় যে মস্তিষ্কে বিভিন্ন প্রস্তাবিত শেখার গতিবিদ্যা (যেমন, স্নায়ু বৃদ্ধির ফ্যাক্টরের একটি তরঙ্গ) গভীর শিক্ষার মডেলগুলিতে ব্যবহৃত স্নায়বিক নেটওয়ার্কগুলির সাথে কিছুটা সাদৃশ্যপূর্ণ স্ব-সংগঠনকে সমর্থন করে। নিওকর্টেক্সের মতো, নিউরাল নেটওয়ার্কগুলি স্তরযুক্ত ফিল্টারগুলির একটি শ্রেণিবিন্যাস নিয়োগ করে যেখানে প্রতিটি স্তর পূর্ববর্তী স্তর (বা অপারেটিং পরিবেশ) থেকে তথ্য বিবেচনা করে এবং তারপরে তার আউটপুট (এবং সম্ভবত মূল ইনপুট) অন্যান্য স্তরে প্রেরণ করে। এই প্রক্রিয়াটি ট্রান্সডিউসারগুলির একটি স্ব-সংগঠিত স্ট্যাক তৈরি করে, যা তাদের কার্যকরী পরিবেশের সাথে ভালভাবে সামঞ্জস্যপূর্ণ। 1995 সালের একটি বর্ণনায় বলা হয়েছে, "শিশুর মস্তিষ্ক তথাকথিত ট্রফিক-ফ্যাক্টরগুলির তরঙ্গের প্রভাবে নিজেকে সংগঠিত করে বলে মনে হয়. মস্তিষ্কের বিভিন্ন অঞ্চল ক্রমানুসারে সংযুক্ত হয়ে যায়, টিস্যুর একটি স্তর অন্যটির আগে পরিপক্ক হয় এবং পুরো মস্তিষ্ক পরিপক্ক না হওয়া পর্যন্ত।" নিউরোবায়োলজিকাল দৃষ্টিকোণ থেকে গভীর শিক্ষার মডেলগুলির সম্ভাব্যতা তদন্ত করার জন্য বিভিন্ন পদ্ধতি ব্যবহার করা হয়েছে। একদিকে, ব্যাকপ্রোপেগেশন অ্যালগরিদমের প্রক্রিয়াকরণ বাস্তবতা বাড়ানোর জন্য বেশ কয়েকটি রূপের প্রস্তাব দেওয়া হয়েছে। অন্যান্য গবেষকরা যুক্তি দিয়েছেন যে গভীর শিক্ষার তত্ত্বাবধানহীন রূপগুলি, যেমন শ্রেণিবদ্ধ উৎপাদক মডেল এবং গভীর বিশ্বাস নেটওয়ার্কের উপর ভিত্তি করে, জৈবিক বাস্তবতার কাছাকাছি হতে পারে। এই ক্ষেত্রে, জেনারেটিভ নিউরাল নেটওয়ার্ক মডেলগুলি সেরিব্রাল কর্টেক্স-এ নমুনা-ভিত্তিক প্রক্রিয়াকরণ সম্পর্কে নিউরোবায়োলজিকাল প্রমাণের সাথে সম্পর্কিত। যদিও মানব মস্তিষ্কের সংগঠন এবং গভীর নেটওয়ার্কে নিউরোনাল এনকোডিংয়ের মধ্যে একটি পদ্ধতিগত তুলনা এখনও প্রতিষ্ঠিত হয়নি, তবে বেশ কয়েকটি সাদৃশ্য রিপোর্ট করা হয়েছে। উদাহরণস্বরূপ, গভীর শিক্ষণ ইউনিট দ্বারা সম্পাদিত গণনাগুলি প্রকৃত নিউরন এবং স্নায়বিক জনসংখ্যার অনুরূপ হতে পারে। একইভাবে, গভীর শিক্ষার মডেল দ্বারা বিকশিত উপস্থাপনাগুলি একক-একক এবং জনসংখ্যা উভয় স্তরে প্রাইমেট ভিজ্যুয়াল সিস্টেমে পরিমাপ করা হয়। বাণিজ্যিক কার্যকলাপ ফেসবুকের এআই ল্যাব আপলোড করা ছবিগুলিকে স্বয়ংক্রিয়ভাবে তাদের মধ্যে থাকা ব্যক্তিদের নাম সহ ট্যাগ করার মতো কাজ করে। গুগলের ডিপমাইন্ড টেকনোলজিস একটি সিস্টেম তৈরি করেছে যা ডেটা ইনপুট হিসাবে শুধুমাত্র পিক্সেল ব্যবহার করে আটারি ভিডিও গেম খেলতে শিখতে সক্ষম। 2015 সালে তারা তাদের আলফাগো সিস্টেম প্রদর্শন করেছিল, যা একজন পেশাদার গো খেলোয়াড়কে পরাজিত করার জন্য যথেষ্ট ভালভাবে গো খেলাটি শিখেছিল। গুগল ট্রান্সলেট 100টিরও বেশি ভাষায় অনুবাদ করার জন্য একটি নিউরাল নেটওয়ার্ক ব্যবহার করে। 2017 সালে, Covariant.ai চালু করা হয়েছিল, যা কারখানাগুলিতে গভীর শিক্ষাকে সংহত করার উপর দৃষ্টি নিবদ্ধ করে। 2008 সালের হিসাবে, অস্টিনের টেক্সাস বিশ্ববিদ্যালয়ের (ইউটি) গবেষকরা একটি মেশিন লার্নিং কাঠামো তৈরি করেছেন যার নাম প্রশিক্ষণ একটি এজেন্ট ম্যানুয়ালি মাধ্যমে মূল্যায়নমূলক শক্তিবৃদ্ধি, বা টেমার, যা রোবট বা কম্পিউটার প্রোগ্রামগুলির জন্য একটি মানব প্রশিক্ষকের সাথে যোগাযোগের মাধ্যমে কাজগুলি সম্পাদন করতে শেখার জন্য নতুন পদ্ধতির প্রস্তাব দেয়। প্রথমে ট্যামার হিসাবে বিকশিত, ডিপ ট্যামার নামে একটি নতুন অ্যালগরিদম পরে 2018 সালে ইউ. এস. আর্মি রিসার্চ ল্যাবরেটরি (এআরএল) এবং ইউটি গবেষকদের মধ্যে সহযোগিতার সময় চালু করা হয়েছিল। ডিপ টেমার গভীর শিক্ষা ব্যবহার করে একটি রোবটকে পর্যবেক্ষণের মাধ্যমে নতুন কাজ শেখার ক্ষমতা প্রদান করে। ডিপ টেমার ব্যবহার করে, একটি রোবট একজন মানব প্রশিক্ষকের সাথে একটি কাজ শিখেছে, ভিডিও স্ট্রিম দেখছে বা একজন মানুষকে ব্যক্তিগতভাবে একটি কাজ সম্পাদন করছে পর্যবেক্ষণ করছে। রোবটটি পরে প্রশিক্ষকের কাছ থেকে কিছু প্রশিক্ষণের সাহায্যে কাজটি অনুশীলন করে, যারা "ভাল কাজ" এবং "খারাপ কাজ" এর মতো প্রতিক্রিয়া প্রদান করে। সমালোচনা এবং মন্তব্য গভীর শিক্ষা সমালোচনা এবং মন্তব্য উভয়কেই আকৃষ্ট করেছে, কিছু ক্ষেত্রে কম্পিউটার বিজ্ঞানের ক্ষেত্রের বাইরে থেকে। একটি প্রধান সমালোচনা কিছু পদ্ধতিকে ঘিরে তত্ত্বের অভাব নিয়ে উদ্বেগ প্রকাশ করে। সবচেয়ে সাধারণ গভীর স্থাপত্যগুলিতে শেখা ভালভাবে বোঝা গ্রেডিয়েন্ট ডিসেন্ট ব্যবহার করে বাস্তবায়িত হয়। যাইহোক, অন্যান্য অ্যালগরিদমকে ঘিরে তত্ত্ব, যেমন বৈপরীত্য বিচ্যুতি কম স্পষ্ট। (উদাহরণস্বরূপ, এটি কি একত্রিত হয়? যদি তাই হয়, কত দ্রুত? এটি আনুমানিক কি?) গভীর শিক্ষার পদ্ধতিগুলি প্রায়শই একটি ব্ল্যাক বক্স হিসাবে দেখা হয়, বেশিরভাগ নিশ্চিতকরণ তাত্ত্বিকভাবে নয়, অভিজ্ঞতাগতভাবে করা হয়। অন্যরা উল্লেখ করেছেন যে গভীর শিক্ষাকে শক্তিশালী এআই উপলব্ধি করার দিকে একটি পদক্ষেপ হিসাবে দেখা উচিত, সর্বব্যাপী সমাধান হিসাবে নয়। গভীর শিক্ষণ পদ্ধতির শক্তি থাকা সত্ত্বেও, এই লক্ষ্যকে সম্পূর্ণরূপে বাস্তবায়িত করার জন্য প্রয়োজনীয় কার্যকারিতার অভাব রয়েছে। গবেষণা মনোবিজ্ঞানী গ্যারি মার্কাস উল্লেখ করেছেনঃ বাস্তবসম্মতভাবে, গভীর শিক্ষা বুদ্ধিমান যন্ত্র তৈরির বৃহত্তর চ্যালেঞ্জের একটি অংশ মাত্র। এই ধরনের কৌশলগুলির কার্যকারণ সম্পর্কের প্রতিনিধিত্ব করার উপায়ের অভাব রয়েছে (.) যৌক্তিক অনুমানগুলি সম্পাদন করার কোনও সুস্পষ্ট উপায় নেই, এবং এগুলি বিমূর্ত জ্ঞানকে সংহত করার থেকে এখনও অনেক দূরে, যেমন বস্তুগুলি কী, সেগুলি কীসের জন্য এবং কীভাবে সেগুলি সাধারণত ব্যবহৃত হয় সে সম্পর্কে তথ্য। সবচেয়ে শক্তিশালী এ. আই। ওয়াটসনের মতো পদ্ধতিগুলি গভীর শিক্ষার মতো কৌশলগুলিকে অত্যন্ত জটিল কৌশলগুলির একটি উপাদান হিসাবে ব্যবহার করে, বায়েসিয়ান অনুমানের পরিসংখ্যানগত কৌশল থেকে শুরু করে অনুমানমূলক যুক্তি পর্যন্ত। এই ধারণার আরও প্রসঙ্গে যে শৈল্পিক সংবেদনশীলতা জ্ঞানীয় শ্রেণিবিন্যাসের তুলনামূলকভাবে নিম্ন স্তরে অন্তর্নিহিত হতে পারে, গভীর (20-30 স্তর) স্নায়বিক নেটওয়ার্কগুলির অভ্যন্তরীণ অবস্থার গ্রাফিক উপস্থাপনের একটি প্রকাশিত সিরিজ মূলত এলোমেলো তথ্যের মধ্যে যে চিত্রগুলির উপর তাদের প্রশিক্ষণ দেওয়া হয়েছিল তা একটি চাক্ষুষ আবেদন প্রদর্শন করেঃ মূল গবেষণা বিজ্ঞপ্তি 1,000 টিরও বেশি মন্তব্য পেয়েছে এবং এটি গার্ডিয়ানের ওয়েবসাইটে একটি সময়ের জন্য সবচেয়ে ঘন ঘন অ্যাক্সেস করা নিবন্ধের বিষয় ছিল। কিছু গভীর শিক্ষার স্থাপত্য সমস্যাযুক্ত আচরণ প্রদর্শন করে, যেমন আত্মবিশ্বাসের সাথে অপরিচিত চিত্রগুলিকে সাধারণ চিত্রের একটি পরিচিত বিভাগের অন্তর্গত হিসাবে শ্রেণীবদ্ধ করা (2014) এবং সঠিকভাবে শ্রেণীবদ্ধ চিত্রগুলির ক্ষুদ্র বিশৃঙ্খলাগুলিকে ভুল শ্রেণীবদ্ধ করা (2013)। গার্টজেল অনুমান করেছিলেন যে এই আচরণগুলি তাদের অভ্যন্তরীণ উপস্থাপনার সীমাবদ্ধতার কারণে এবং এই সীমাবদ্ধতাগুলি বৈচিত্র্যময় বহু-উপাদান কৃত্রিম সাধারণ বুদ্ধিমত্তা (এ. জি. আই) আর্কিটেকচারে একীকরণকে বাধা দেবে। এই সমস্যাগুলি সম্ভবত গভীর শিক্ষার স্থাপত্য দ্বারা সমাধান করা যেতে পারে যা অভ্যন্তরীণভাবে পর্যবেক্ষিত সত্তা এবং ঘটনাগুলির চিত্র-ব্যাকরণের পচনগুলির সমজাতীয় অবস্থা গঠন করে। প্রশিক্ষণের তথ্য থেকে একটি ব্যাকরণ (চাক্ষুষ বা ভাষাগত) শেখা ব্যবস্থাটিকে সাধারণ যুক্তিতে সীমাবদ্ধ করার সমতুল্য হবে যা ব্যাকরণগত উৎপাদন নিয়মের পরিপ্রেক্ষিতে ধারণাগুলির উপর কাজ করে এবং মানব ভাষা অর্জন এবং কৃত্রিম বুদ্ধিমত্তা (এআই) উভয়েরই একটি মৌলিক লক্ষ্য। সাইবার হুমকি যেমন গভীর শিক্ষা ল্যাব থেকে বিশ্বে চলে আসে, গবেষণা এবং অভিজ্ঞতা দেখায় যে কৃত্রিম স্নায়বিক নেটওয়ার্কগুলি হ্যাক এবং প্রতারণার ঝুঁকিতে রয়েছে। এই সিস্টেমগুলি কাজ করার জন্য যে নিদর্শনগুলি ব্যবহার করে তা চিহ্নিত করে, আক্রমণকারীরা এ. এন. এন-এর ইনপুটগুলি এমনভাবে পরিবর্তন করতে পারে যাতে এ. এন. এন এমন একটি মিল খুঁজে পায় যা মানব পর্যবেক্ষকরা চিনতে পারে না। উদাহরণস্বরূপ, একজন আক্রমণকারী একটি ছবিতে সূক্ষ্ম পরিবর্তন করতে পারে যাতে এ. এন. এন একটি মিল খুঁজে পায় যদিও ছবিটি মানুষের কাছে অনুসন্ধানের লক্ষ্যের মতো কিছুই দেখায় না। এই ধরনের কারসাজিকে "প্রতিকূল আক্রমণ" বলা হয়। 2016 সালে গবেষকরা একটি এ. এন. এন ব্যবহার করে ট্রায়াল অ্যান্ড এরর পদ্ধতিতে ছবিগুলি পরীক্ষা করেন, অন্যের ফোকাল পয়েন্টগুলি সনাক্ত করেন এবং এর ফলে এমন চিত্র তৈরি করেন যা এটিকে প্রতারিত করে। পরিবর্তিত চিত্রগুলি মানুষের চোখের থেকে আলাদা ছিল না। অন্য একটি গোষ্ঠী দেখিয়েছে যে নকল চিত্রের প্রিন্টআউটগুলি সফলভাবে একটি চিত্র শ্রেণিবিন্যাস ব্যবস্থাকে প্রতারণা করেছে। একটি প্রতিরক্ষা হ 'ল বিপরীত চিত্র অনুসন্ধান, যেখানে একটি সম্ভাব্য জাল চিত্র টিনআইয়ের মতো সাইটে জমা দেওয়া হয় যা তারপরে এর অন্যান্য উদাহরণ খুঁজে পেতে পারে। একটি পরিমার্জন হল ছবির শুধুমাত্র কিছু অংশ ব্যবহার করে অনুসন্ধান করা, যে চিত্রগুলি থেকে সেই টুকরোটি নেওয়া হতে পারে তা সনাক্ত করা। অন্য একটি গোষ্ঠী দেখিয়েছে যে কিছু সাইকেডেলিক চশমা একটি মুখ শনাক্তকরণ ব্যবস্থাকে বোকা বানাতে পারে যে সাধারণ মানুষ সেলিব্রিটি, সম্ভাব্যভাবে একজন ব্যক্তিকে অন্যের ছদ্মবেশ ধারণ করার অনুমতি দেয়। 2017 সালে গবেষকরা লক্ষণগুলি বন্ধ করার জন্য স্টিকার যুক্ত করেছিলেন এবং একটি এ. এন. এন-কে তাদের ভুল শ্রেণীবিভাগ করতে বাধ্য করেছিলেন। তবে প্রতারণার প্রচেষ্টা সনাক্ত করার জন্য এ. এন. এন-কে আরও প্রশিক্ষণ দেওয়া যেতে পারে, সম্ভাব্য আক্রমণকারী এবং রক্ষাকারীদের অস্ত্র প্রতিযোগিতায় নেতৃত্ব দেওয়া যা ইতিমধ্যে ম্যালওয়্যার প্রতিরক্ষা শিল্পকে সংজ্ঞায়িত করে। এ. এন. এন-কে এ. এন. এন-ভিত্তিক অ্যান্টি-ম্যালওয়্যার সফ্টওয়্যারকে বারবার ম্যালওয়্যার দিয়ে আক্রমণ করে পরাজিত করার প্রশিক্ষণ দেওয়া হয়েছে যা একটি জেনেটিক অ্যালগরিদম দ্বারা ক্রমাগত পরিবর্তিত হয়েছিল যতক্ষণ না এটি লক্ষ্যকে ক্ষতি করার ক্ষমতা বজায় রেখে অ্যান্টি-ম্যালওয়্যারকে প্রতারণা করে। 2016 সালে, অন্য একটি গোষ্ঠী প্রদর্শন করেছিল যে কিছু শব্দ গুগল নাও ভয়েস কমান্ড সিস্টেমকে একটি নির্দিষ্ট ওয়েব ঠিকানা খুলতে পারে এবং অনুমান করেছিল যে এটি "আরও আক্রমণের জন্য একটি পদক্ষেপ হিসাবে কাজ করতে পারে (যেমন, ড্রাইভ-বাই ম্যালওয়্যার হোস্টিং একটি ওয়েব পৃষ্ঠা খোলা)"। "তথ্য বিষক্রিয়ায়", মিথ্যা তথ্য ক্রমাগত একটি মেশিন লার্নিং সিস্টেমের প্রশিক্ষণ সেটের মধ্যে পাচার করা হয় যাতে এটি দক্ষতা অর্জন করতে না পারে। তথ্য সংগ্রহের নৈতিকতা বেশিরভাগ গভীর শিক্ষণ ব্যবস্থা প্রশিক্ষণ এবং যাচাইকরণ তথ্যের উপর নির্ভর করে যা মানুষের দ্বারা তৈরি এবং/অথবা ব্যাখ্যা করা হয়। মিডিয়া দর্শনে যুক্তি দেওয়া হয়েছে যে শুধুমাত্র কম বেতনের ক্লিকওয়ার্কই নয় (যেমন। অ্যামাজন মেকানিক্যাল টর্কে) নিয়মিতভাবে এই উদ্দেশ্যে মোতায়েন করা হয়, তবে মানব মাইক্রোওয়ার্কের অন্তর্নিহিত রূপগুলিও প্রায়শই স্বীকৃত হয় না। দার্শনিক রেইনার মুলহফ প্রশিক্ষণের তথ্য তৈরির জন্য মানব মাইক্রোওয়ার্কের পাঁচ ধরনের "যান্ত্রিক ক্যাপচার" কে আলাদা করেছেনঃ (1) গেমিফিকেশন (একটি গেমের প্রবাহে টীকা বা গণনার কাজগুলি এম্বেড করা), (2) "ট্র্যাপিং এবং ট্র্যাকিং" (যেমন। ছবি শনাক্তকরণ বা গুগল অনুসন্ধান ফলাফল পৃষ্ঠাগুলিতে ক্লিক-ট্র্যাকিংয়ের জন্য ক্যাপচা), (3) সামাজিক অনুপ্রেরণাগুলির শোষণ (যেমন। লেবেলযুক্ত মুখের ছবি পেতে ফেসবুকে মুখগুলিকে ট্যাগ করা), (4) তথ্য খনন (যেমন। ক্রিয়াকলাপ ট্র্যাকার) এবং (5) ক্লিকওয়ার্কের মতো কোয়ান্টিফাইড-সেলফ ডিভাইসগুলি ব্যবহার করে। মুলহফ যুক্তি দেখান যে ফেসবুকের ফেস রিকগনিশন সিস্টেমের মতো ডিপ লার্নিংয়ের বেশিরভাগ বাণিজ্যিক শেষ-ব্যবহারকারী অ্যাপ্লিকেশনগুলিতে, কোনও এ. এন. এন প্রশিক্ষিত হওয়ার পরে প্রশিক্ষণ ডেটার প্রয়োজনীয়তা বন্ধ হয় না। বরং, এ. এন. এন-কে ক্রমাগত ক্রমাঙ্কন ও হালনাগাদ করার জন্য মানব-সৃষ্ট যাচাইকরণ তথ্যের ক্রমাগত চাহিদা রয়েছে। এই উদ্দেশ্যে ফেসবুক এই বৈশিষ্ট্যটি চালু করে যে একবার কোনও ব্যবহারকারী কোনও ছবিতে স্বয়ংক্রিয়ভাবে স্বীকৃত হলে, তারা একটি বিজ্ঞপ্তি পায়। তারা বেছে নিতে পারে যে তারা ছবিতে প্রকাশ্যে লেবেল লাগাতে পছন্দ করে কিনা, অথবা ফেসবুককে বলতে পারে যে এটি ছবিতে তাদের নয়। এই ইউজার ইন্টারফেসটি রিয়েল-টাইমে নেটওয়ার্ককে আরও প্রশিক্ষণ দেওয়ার জন্য "যাচাইকরণ তথ্যের একটি ধ্রুবক প্রবাহ" তৈরি করার একটি প্রক্রিয়া। মুলহফের যুক্তি অনুসারে, প্রশিক্ষণ এবং যাচাইকরণ তথ্য তৈরিতে মানব ব্যবহারকারীদের সম্পৃক্ততা ডিপ লার্নিংয়ের বেশিরভাগ বাণিজ্যিক শেষ-ব্যবহারকারী অ্যাপ্লিকেশনের জন্য এতটাই সাধারণ যে এই ধরনের ব্যবস্থাগুলিকে "মানব-সহায়ক কৃত্রিম বুদ্ধিমত্তা" হিসাবে উল্লেখ করা যেতে পারে। আরও দেখুন কৃত্রিম বুদ্ধিমত্তার প্রয়োগ গভীর শিক্ষণ সফ্টওয়্যারের তুলনা সংকুচিত সংবেদনশীল ডিফারেনশিয়েবল প্রোগ্রামিং ইকো স্টেট নেটওয়ার্ক কৃত্রিম বুদ্ধিমত্তা প্রকল্পগুলির তালিকা তরল রাষ্ট্র মেশিন মেশিন মেশিন-লার্নিং গবেষণার জন্য ডেটাসেটের তালিকা রিজার্ভয়ার কম্পিউটিং স্কেল স্পেস এবং গভীর শিক্ষার জন্য স্পার্স কোডিং স্টোকাস্টিক তোতাপাখি রেফারেন্স আরও পড়া কৃত্রিম স্নায়ুতন্ত্র উদীয়মান প্রযুক্তি