پایگاه داده ام‌ان‌آی‌اس‌تی
در سال ۲۰۱۱، نرخ خطای ۰٫۲۷ درصد، که نسبت به بهترین نتیجه قبلی بهبود یافته بود، توسط محققان با استفاده از سیستم مشابهی از شبکه‌های عصبی گزارش شد. در سال ۲۰۱۳ ادعا شد که رویکردی مبتنی بر رگولاسیون شبکه‌های عصبی با استفاده از DropConnect، موفق به دستیابی به نرخ خطای ۰٫۲۱ درصدی می‌شود. در سال ۲۰۱۶، بهترین عملکرد شبکه عصبی کانولوشن ۰٫۲۵ درصد بود. از آگوست ۲۰۱۸، بهترین عملکرد یک شبکه عصبی کانولوشنال که با استفاده از داده‌های آموزشی MNIST بدون افزایش داده آموزش داده شده باشد، ۰٫۲۵ درصد نرخ خطا است. همچنین، مرکز محاسبات موازی (خملنیتسکی، اوکراین) مجموعه ای از تنها ۵ شبکه عصبی کانولوشنال را به دست آورد که با استفاده از پایگاه داده MNIST، به نرخ خطای ۰٫۲۱ درصد دست می‌یابد. برخی از تصاویر در مجموعه داده آزمایش، به سختی قابل خواندن هستند و ممکن است از رسیدن به نرخ خطای تست ۰٪ جلوگیری کنند. در سال ۲۰۱۸، محققان دپارتمان سیستم و مهندسی اطلاعات در دانشگاه ویرجینیا، با استفاده از به‌کارگیری سه نوع شبکه عصبی به‌طور همزمان (شبکه‌های عصبی کاملاً متصل، بازگشتی و کانولوشن) نرخ خطای ۰٫۱۸ درصدی را اعلام کردند.
Neural network Gaussian process
یک شبکه عصبی مصنوعی کاملاً متصل با ورودی‌ها را در نظر بگیرید formula_4 ، مولفه‌های formula_1 متشکل از وزنه‌ها formula_13 و تعصبات formula_14 برای هر لایه formula_15 در شبکه، پیش فعال سازی (پیش غیرخطی) formula_16 ، فعال سازی (پس از غیرخطی بودن) formula_17 ، غیرخطی نقطه ای formula_18 و عرض لایه‌ها formula_19 . برای سادگی، عرض formula_20 از بردار بازخوانی formula_21 1 در نظر گرفته شده‌است. پارامترهای این شبکه دارای توزیع قبلی هستند formula_2 ، که از یک گاوسی همسانگرد برای هر وزن و بایاس تشکیل شده‌است، با واریانس وزن‌ها به صورت معکوس با عرض لایه. این شبکه در شکل سمت راست نشان داده شده‌است و با مجموعه معادلات زیر توضیح داده شده‌است: