پایگاه داده ام‌ان‌آی‌اس‌تی
در سال ۲۰۱۱، نرخ خطای ۰٫۲۷ درصد، که نسبت به بهترین نتیجه قبلی بهبود یافته بود، توسط محققان با استفاده از سیستم مشابهی از شبکه‌های عصبی گزارش شد. در سال ۲۰۱۳ ادعا شد که رویکردی مبتنی بر رگولاسیون شبکه‌های عصبی با استفاده از DropConnect، موفق به دستیابی به نرخ خطای ۰٫۲۱ درصدی می‌شود. در سال ۲۰۱۶، بهترین عملکرد شبکه عصبی کانولوشن ۰٫۲۵ درصد بود. از آگوست ۲۰۱۸، بهترین عملکرد یک شبکه عصبی کانولوشنال که با استفاده از داده‌های آموزشی MNIST بدون افزایش داده آموزش داده شده باشد، ۰٫۲۵ درصد نرخ خطا است. همچنین، مرکز محاسبات موازی (خملنیتسکی، اوکراین) مجموعه ای از تنها ۵ شبکه عصبی کانولوشنال را به دست آورد که با استفاده از پایگاه داده MNIST، به نرخ خطای ۰٫۲۱ درصد دست می‌یابد. برخی از تصاویر در مجموعه داده آزمایش، به سختی قابل خواندن هستند و ممکن است از رسیدن به نرخ خطای تست ۰٪ جلوگیری کنند. در سال ۲۰۱۸، محققان دپارتمان سیستم و مهندسی اطلاعات در دانشگاه ویرجینیا، با استفاده از به‌کارگیری سه نوع شبکه عصبی به‌طور همزمان (شبکه‌های عصبی کاملاً متصل، بازگشتی و کانولوشن) نرخ خطای ۰٫۱۸ درصدی را اعلام کردند.
شبکه عصبی پیشخور
برای سلول عصبی formula_4 ورودیی که از سلول عصبی formula_5 به این سلول وارد می‌شود را با formula_6 نشان می‌دهیم. وزن این ورودی formula_7 است و مجموع ضرب ورودی‌ها با وزنهایشان را با formula_8 نمایش می‌دهیم، به این معنی که formula_9. حال باید بر روی formula_8 تابعی غیر خطی اعمال کنیم این تابع را formula_11 می‌نامیم و خروجی آن را با formula_12 نمایش می‌دهیم یعنی formula_13. به همین شکل خروجیی که از سلول عصبی formula_4 خارج شده و به سلول formula_15 وارد می‌شود را با formula_16 نمایش می‌دهیم و وزن آن را formula_17 می‌نامیم. حال تمام وزن‌های این شبکه عصبی را در مجموعه‌ای به اسم formula_18 می‌گنجانیم، هدف یادگیری این وزنهاست. اگر ورودی ما formula_19 باشد و خروجی formula_20 و خروجی شبکه عصبی ما formula_21، هدف پیدا کردن انتخاب formula_18 است به قسمی که برای تمام داده‌ها formula_20 و formula_21 به هم خیلی نزدیک شوند. به عبارت دیگر هدف کوچک کردن یک تابع هزینه بر روی تمام داده هاست، اگر داده‌ها را با formula_25 و تابع هزینه را با formula_26 نشان دهیم هدف کمینه کردن تابع پایین است: formula_27 به عنوان مثال اگر مسئله رگرسیون است برای formula_26 می‌توانیم خطای مربعات را در نظر بگیریم و اگر مسئله دسته‌بندی است برای formula_26می‌شود منفی لگاریتم بازنمایی را استفاده کرد.