پایگاه داده ام‌ان‌آی‌اس‌تی
در سال ۲۰۱۱، نرخ خطای ۰٫۲۷ درصد، که نسبت به بهترین نتیجه قبلی بهبود یافته بود، توسط محققان با استفاده از سیستم مشابهی از شبکه‌های عصبی گزارش شد. در سال ۲۰۱۳ ادعا شد که رویکردی مبتنی بر رگولاسیون شبکه‌های عصبی با استفاده از DropConnect، موفق به دستیابی به نرخ خطای ۰٫۲۱ درصدی می‌شود. در سال ۲۰۱۶، بهترین عملکرد شبکه عصبی کانولوشن ۰٫۲۵ درصد بود. از آگوست ۲۰۱۸، بهترین عملکرد یک شبکه عصبی کانولوشنال که با استفاده از داده‌های آموزشی MNIST بدون افزایش داده آموزش داده شده باشد، ۰٫۲۵ درصد نرخ خطا است. همچنین، مرکز محاسبات موازی (خملنیتسکی، اوکراین) مجموعه ای از تنها ۵ شبکه عصبی کانولوشنال را به دست آورد که با استفاده از پایگاه داده MNIST، به نرخ خطای ۰٫۲۱ درصد دست می‌یابد. برخی از تصاویر در مجموعه داده آزمایش، به سختی قابل خواندن هستند و ممکن است از رسیدن به نرخ خطای تست ۰٪ جلوگیری کنند. در سال ۲۰۱۸، محققان دپارتمان سیستم و مهندسی اطلاعات در دانشگاه ویرجینیا، با استفاده از به‌کارگیری سه نوع شبکه عصبی به‌طور همزمان (شبکه‌های عصبی کاملاً متصل، بازگشتی و کانولوشن) نرخ خطای ۰٫۱۸ درصدی را اعلام کردند.
له‌نت
lenet-5 یکی از اولین شبکه‌های عصبی کانولوشن بود و توسعه یادگیری عمیق را ارتقا داد. از سال ۱۹۸۸، پس از سالها تحقیق و تکرارهای موفقیت‌آمیز بسیاری، کار پیشگامان LeNet5 نامگذاری شده‌است. در سال ۱۹۸۹، یان لکون و همکاران در آزمایشگاه‌های بل ابتدا الگوریتم انتشار مجدد را در کاربردهای عملی اعمال کرد و معتقد بود که با یادگیری محدودیت‌های دامنه کار، توانایی یادگیری تعمیم شبکه تا حد زیادی افزایش می‌یابد. او یک شبکه عصبی کانولوشن آموزش دیده را ترکیب کرد که توسط الگوریتم‌های انتشار مجدد برای خواندن شماره‌های دست‌نویس آموزش داده شده و با موفقیت آن را در شناسایی شماره‌های کد پستی دست‌نویس ارائه شده توسط سرویس پستی ایالات متحده اعمال کرد. این نمونه اولیه چیزی بود که بعداً له نت (LeNet) نام گرفت. در همان سال، LeCun در مقاله دیگری یک مسئله کوچک شناسایی رقمی دست‌نویس را توصیف کرد و نشان داد که حتی اگر این مسئله به صورت خطی قابل تفکیک باشد، شبکه‌های تک لایه قابلیت‌های ضعیف تعمیم را به نمایش می‌گذارند. هنگام استفاده از آشکارسازهای ویژگی تغییرناپذیر در یک شبکه چند لایه و محدود، مدل می‌تواند عملکرد بسیار خوبی داشته باشد. وی معتقد بود که این نتایج ثابت می‌کند که به حداقل رساندن تعداد پارامترهای آزاد در شبکه عصبی می‌تواند توانایی تعمیم شبکه عصبی را افزایش دهد. در سال ۱۹۹۰، مقاله آنها کاربرد شبکه‌های انتشار مجدد در شناسایی رقمی دست‌نویس را دوباره توصیف کرد. آنها فقط پیش پردازش حداقل داده‌ها را انجام دادند و مدل با دقت برای این کار طراحی شده و بسیار محدود بود. داده‌های ورودی شامل تصاویر، هر یک حاوی یک عدد بود، و نتایج آزمون داده‌های دیجیتال کد پستی ارائه شده توسط سرویس پستی ایالات متحده نشان که مدل فقط دارای نرخ خطا ۱درصد و میزان رد در حدود ۹درصد بود. تحقیقات آنها برای هشت سال آینده ادامه داشت و در سال ۱۹۹۸، یان لکون، لئون بوتو، یوشوا بنگیو و پاتریک هافنر روش‌های مختلف شناسایی شخصیت دست‌نویس را در کاغذ بررسی کردند و از ارقام دست‌نویس استاندارد برای شناسایی وظایف معیار استفاده کردند. این مدل‌ها مقایسه شده و نتایج آنها نشان داد که این شبکه از همه مدل‌های دیگر بهتر عمل کرده‌است. آنها همچنین نمونه‌هایی از کاربردهای عملی شبکه‌های عصبی، مانند دو سیستم برای شناسایی شخصیت‌های دست‌نویس به‌صورت آنلاین و مدل‌هایی که می‌توانند میلیون‌ها چک در روز را بخوانند، ارائه کردند. این تحقیق موفقیت زیادی کسب کرده و علاقه محققان را به مطالعه شبکه‌های عصبی برانگیخته است. با این وجود که امروزه معماری شبکه‌های عصبی با بهترین عملکرد باز هم همانند شبکه له نت (LeNet) نیست، این شبکه نقطه شروع تعداد زیادی از معماری‌های شبکه عصبی بود و همچنین باعث ایجاد انگیزه در این زمینه شد.