پایگاه داده ام‌ان‌آی‌اس‌تی
در سال ۲۰۱۱، نرخ خطای ۰٫۲۷ درصد، که نسبت به بهترین نتیجه قبلی بهبود یافته بود، توسط محققان با استفاده از سیستم مشابهی از شبکه‌های عصبی گزارش شد. در سال ۲۰۱۳ ادعا شد که رویکردی مبتنی بر رگولاسیون شبکه‌های عصبی با استفاده از DropConnect، موفق به دستیابی به نرخ خطای ۰٫۲۱ درصدی می‌شود. در سال ۲۰۱۶، بهترین عملکرد شبکه عصبی کانولوشن ۰٫۲۵ درصد بود. از آگوست ۲۰۱۸، بهترین عملکرد یک شبکه عصبی کانولوشنال که با استفاده از داده‌های آموزشی MNIST بدون افزایش داده آموزش داده شده باشد، ۰٫۲۵ درصد نرخ خطا است. همچنین، مرکز محاسبات موازی (خملنیتسکی، اوکراین) مجموعه ای از تنها ۵ شبکه عصبی کانولوشنال را به دست آورد که با استفاده از پایگاه داده MNIST، به نرخ خطای ۰٫۲۱ درصد دست می‌یابد. برخی از تصاویر در مجموعه داده آزمایش، به سختی قابل خواندن هستند و ممکن است از رسیدن به نرخ خطای تست ۰٪ جلوگیری کنند. در سال ۲۰۱۸، محققان دپارتمان سیستم و مهندسی اطلاعات در دانشگاه ویرجینیا، با استفاده از به‌کارگیری سه نوع شبکه عصبی به‌طور همزمان (شبکه‌های عصبی کاملاً متصل، بازگشتی و کانولوشن) نرخ خطای ۰٫۱۸ درصدی را اعلام کردند.
تکامل عصبی
Neuroevolution یا تکامل عصبی، یک شکل از هوش مصنوعی است که با استفاده از الگوریتم‌های تکاملی برای تولید شبکه‌های عصبی مصنوعی (ANN)، پارامترهای، توپولوژی و قوانین استفاده می‌شود. این ماده معمولاً در زندگی مصنوعی، بازی عمومی و استفاده می‌شود. مزیت اصلی این است که تکامل عصبی می‌تواند به‌طور گسترده‌تری از الگوریتم‌های یادگیری تحت نظارت، که به برنامه از جفت‌های ورودی و خروجی صحیح نیاز دارند، استفاده شود. در مقابل ، تکامل عصبی فقط به اندازه‌گیری عملکرد شبکه در یک کار نیاز دارد. به عنوان مثال، نتیجه یک بازی (یعنی اینکه یک بازیکن برنده است یا باخته‌است) به راحتی قابل اندازه‌گیری است بدون ارائه نمونه‌هایی با برچسب از استراتژی‌های مورد نظر. تکامل عصبی معمولاً به عنوان بخشی از الگوی یادگیری تقویتی مورد استفاده قرار می‌گیرد و می‌توان آن را با تکنیک‌های متداول یادگیری عمیق که از نزول شیب دار در یک شبکه عصبی با توپولوژی ثابت استفاده می‌کنند ربط داد.