پایگاه داده ام‌ان‌آی‌اس‌تی
در سال ۲۰۱۱، نرخ خطای ۰٫۲۷ درصد، که نسبت به بهترین نتیجه قبلی بهبود یافته بود، توسط محققان با استفاده از سیستم مشابهی از شبکه‌های عصبی گزارش شد. در سال ۲۰۱۳ ادعا شد که رویکردی مبتنی بر رگولاسیون شبکه‌های عصبی با استفاده از DropConnect، موفق به دستیابی به نرخ خطای ۰٫۲۱ درصدی می‌شود. در سال ۲۰۱۶، بهترین عملکرد شبکه عصبی کانولوشن ۰٫۲۵ درصد بود. از آگوست ۲۰۱۸، بهترین عملکرد یک شبکه عصبی کانولوشنال که با استفاده از داده‌های آموزشی MNIST بدون افزایش داده آموزش داده شده باشد، ۰٫۲۵ درصد نرخ خطا است. همچنین، مرکز محاسبات موازی (خملنیتسکی، اوکراین) مجموعه ای از تنها ۵ شبکه عصبی کانولوشنال را به دست آورد که با استفاده از پایگاه داده MNIST، به نرخ خطای ۰٫۲۱ درصد دست می‌یابد. برخی از تصاویر در مجموعه داده آزمایش، به سختی قابل خواندن هستند و ممکن است از رسیدن به نرخ خطای تست ۰٪ جلوگیری کنند. در سال ۲۰۱۸، محققان دپارتمان سیستم و مهندسی اطلاعات در دانشگاه ویرجینیا، با استفاده از به‌کارگیری سه نوع شبکه عصبی به‌طور همزمان (شبکه‌های عصبی کاملاً متصل، بازگشتی و کانولوشن) نرخ خطای ۰٫۱۸ درصدی را اعلام کردند.
شبکه عصبی پیچشی
برای سلول عصبی formula_1 ورودیی که از سلول عصبی formula_2 به این سلول وارد می‌شود را با formula_3 نشان می‌دهیم. وزن این ورودی formula_4 است و مجموع ضرب ورودی‌ها با وزنهایشان را با formula_5 نمایش می‌دهیم، به این معنی که formula_6. حال باید بر روی formula_5 تابعی غیر خطی اعمال کنیم این تابع را formula_8 می نامیم و خروجی آن را با formula_9 نمایش می‌دهیم یعنی formula_10. به همین شکل خروجیی که از سلول عصبی formula_1 خارج شده و به سلول formula_12 وارد می‌شود را با formula_13 نمایش می‌دهیم و وزن آن را formula_14 می‌نامیم. حال تمام وزن‌های این شبکه عصبی را در مجموعه‌ای به اسم formula_15 می‌گنجانیم، هدف یادگیری این وزنهاست. اگر ورودی ما formula_16 باشد و خروجی formula_17 و خروجی شبکه عصبی ما formula_18، هدف پیدا کردن انتخاب formula_15 است به قسمی که برای تمام داده‌ها formula_17 و formula_18 به هم خیلی نزدیک شوند. به عبارت دیگر هدف کوچک کردن یک تابع هزینه بر روی تمام داده هاست، اگر داده‌ها را با formula_22 و تابع هزینه را با formula_23 نشان دهیم هدف کمینه کردن تابع پایین است :