پرش به محتوا

پیش‌نویس:پایگاه داده MNIST

از ویکی‌پدیا، دانشنامهٔ آزاد
MNIST sample images
تصاویر نمونه از مجموعه داده‌های تست MNIST

«این مقاله در حال ترجمه از ویکی انگلیسی است. لطفا حذف نشود.»


پایگاه داده MNIST ( برگرفته ازNational Institute of Standards and Technology) یک پایگاه داده بزرگ از ارقام دست نویس است که معمولاً برای آموزش سیستم های مختلف پردازش تصویر استفاده می‌شود.[۱] [۲] این پایگاه داده همچنین به طور گسترده‌ای برای آموزش و آزمایش در زمینه یادگیری ماشین استفاده می‌شود. [۳] [۴] این مجموعه با ادغام کردن داده‌های مجموعه‌های اصلی NIST ایجاد شده‌است.[۵] از آنجایی که مجموعه داده‌های آموزشی NIST از کارمندان اداره سرشماری آمریکا، و مجموعه داده آزمایشی از دانش آموزان دبیرستانی آمریکایی جمع آوری شده‌ بودند، سازندگان این دیتابیس گمان می‌کردند که این مجموعه برای آزمایش‌های یادگیری ماشین مناسب نیست.[۶] علاوه بر این، تصاویر سیاه و سفید مجموعه NIST نرمال سازی شدند تا در فضای ۲۸x۲۸ پیکسل قرار بگیرند و همچنین عملیات هموار سازی که باعث پدید آمدن تصاویر طیف خاکستری شد. [۶]

پایگاه داده MNIST شامل ۶۰ هزار تصویر آموزشی و ۱۰ هزار تصویر آزمایشی است. [۷] نیمی از مجموعه آموزشی و نیمی از مجموعه تست از مجموعه داده آموزشی NIST گرفته شده است، در حالی که نیمی دیگر از مجموعه آموزشی و نیمی دیگر از مجموعه تست، از مجموعه داده های آزمایشی NIST گرفته شده است. [۸] سازندگان اصلی پایگاه داده، فهرستی از برخی روش های آزمایش شده بر روی آن را ساخته‌اند. [۶] در مقاله اصلی خود، آنها توسط روش ماشین بردار پشتیبان، به نرخ خطی ۰.۸٪ دست یافته‌اند. [۹] مجموعه داده گسترش یافته‌ای شبیه به MNIST به نام EMNIST نیز در سال ۲۰۱۷ منتشر شد، که شامل ۲۴۰ هزار تصویر آموزشی و ۴۰ هزار تصویر آزمایشی از ارقام و کاراکترهای دست نویس است.[۱۰]

تاریخچه

[ویرایش]

مجموعه تصاویر در پایگاه داده MNIST در سال ۱۹۹۸ توسط ترکیبی از دو پایگاه داده NIST ایجاد شد: پایگاه داده ویژه ۱ و پایگاه داده ویژه ۳. پایگاه داده ویژه ۱ و پایگاه داده ویژه ۳، به ترتیب شامل ارقامی است که توسط دانش آموزان دبیرستانی و کارمندان اداره سرشماری ایالات متحده نوشته شده‌اند. [۶]

عملکرد

[ویرایش]

برخی از محققان با استفاده از مجموعه‌ای از شبکه‌های عصبی به "عملکرد نزدیک به انسان" در پایگاه داده MNIST دست یافته اند. در همان مقاله، نویسندگان به عملکردی دو برابر انسان ها در سایر کارهای تشخیص دست می یابند. بالاترین میزان خطای فهرست شده [۶] در وب سایت اصلی پایگاه داده ۱۲ درصد است که با استفاده از یک طبقه بندی خطی ساده و بدون پیش پردازش به دست می آید. [۹]

در سال ۲۰۰۴، بهترین نتیجه با نرخ خطای ۰.۴۲ درصدی روی پایگاه داده با استفاده از طبقه‌بندی‌کننده جدیدی به نام LIRA به دست آمد که یک طبقه‌بندی عصبی با سه لایه نورونی بر اساس اصول پرسپترون روزنبلات است. [۱۱]

برخی از محققان، پایگاه داده را تحت اعوجاج‌هایی قرار داده و سپس سیستم های هوش مصنوعی را با استفاده از آن پایگاه داده، آزمایش کرده‌اند. سیستم‌های استفاده شده در این موارد، معمولاً شبکه‌های عصبی و اعوجاج‌های مورد استفاده معمولاً اعوجاج‌ آفین یا اعوجاج کشسانی هستند. [۶] گاهی اوقات، این سیستم‌ها می توانند بسیار موفق باشند. یکی از موارد موفق، سیستمی است که با استفاده از پایگاه داده، به نرخ خطای ۰.۳۹ درصد دست یافت. [۱۲]

در سال ۲۰۱۱، نرخ خطای ۰.۲۷ درصد، که نسبت به بهترین نتیجه قبلی بهبود یافته بود، توسط محققان با استفاده از سیستم مشابهی از شبکه های عصبی گزارش شد. در سال ۲۰۱۳ ادعا شد که رویکردی مبتنی بر رگولاسیون شبکه های عصبی با استفاده از DropConnect، موفق به دستیابی به نرخ خطای ۰.۲۱ درصدی می‌شود. در سال ۲۰۱۶، بهترین عملکرد شبکه عصبی کانولوشن 0.25 درصد بود. [۱۳] از آگوست ۲۰۱۸، بهترین عملکرد یک شبکه عصبی کانولوشنال که با استفاده از داده‌های آموزشی MNIST بدون افزایش داده آموزش داده شده باشد، ۰.۲۵ درصد نرخ خطا است. [۱۳] [۱۴] همچنین، مرکز محاسبات موازی (خملنیتسکی، اوکراین) مجموعه ای از تنها ۵ شبکه عصبی کانولوشنال را به دست آورد که با استفاده از پایگاه داده MNIST، به نرخ خطای ۰.۲۱ درصد دست می‌یابد. [۱۵] [۱۶] برخی از تصاویر در مجموعه داده آزمایش، به سختی قابل خواندن هستند و ممکن است از رسیدن به نرخ خطای تست ۰٪ جلوگیری کنند. [۱۷] در سال ۲۰۱۸، محققان دپارتمان سیستم و مهندسی اطلاعات در دانشگاه ویرجینیا، با استفاده از به کارگیری سه نوع شبکه عصبی به طور همزمان (شبکه های عصبی کاملاً متصل، بازگشتی و کانولوشن) نرخ خطای ۰.۱۸ درصدی را اعلام کردند. [۱۸]

دسته بندی کننده ها

[ویرایش]

این جدول، نمایانگر آزمایش برخی از روش‌های یادگیری ماشین روی مجموعه داده و همچنین میزان خطای آن‌ها بر اساس نوع دسته‌بندی کننده است:

تایپ کنید طبقه بندی اعوجاج پیش پردازش نرخ خطا (٪)
طبقه بندی خطی طبقه بندی کننده خطی دوتایی None پاکسازی 7.6 [۹]
K-نزدیکترین همسایه ها K-NN با تغییر شکل غیر خطی (P2DHMDM) None لبه های قابل جابجایی 0.52 [۱۹]
کنده های تقویت شده محصول کنده بر روی ویژگی های هار None ویژگی های هار 0.87 [۲۰]
طبقه بندی کننده غیر خطی 40 PCA + طبقه بندی کننده درجه دوم None None 3.3 [۹]
جنگل تصادفی Fast Unified Random Forests for Survival, Regression, and Classification (RF-SRC)[۲۱] None اهمیت پیکسل آماری ساده 2.8 [۲۲]
ماشین بردار پشتیبان (SVM) SVM مجازی، پلی درجه 9، لرزش 2 پیکسلی None پاکسازی 0.56 [۲۳]
شبکه عصبی عمیق (DNN) 2 لایه 784-800-10 None None 1.6
شبکه عصبی عمیق 2 لایه 784-800-10 کشسان تحریفات None 0.7 [۲۴]
شبکه عصبی عمیق 6 لایه 784-2500-2000-1500-1000-500-10 کشسان تحریفات None 0.35 [۲۵]
Convolutional neural network (CNN) 6 لایه 784-40-80-500-1000-2000-10 None Expansion of the training data 0.31 [۲۶]
شبکه عصبی کانولوشنال 6 لایه 784-50-100-500-1000-10-10 None گسترش داده های آموزشی 0.27 [۲۷]
Convolutional neural network (CNN) 13 لایه 64-128(5x)-256(3x)-512-2048-256-256-10 None None 0.25 [۱۳]
شبکه عصبی کانولوشنال کمیته متشکل از 35 CNN، 1-20-P-40-P-150-10 کشسان تحریفات نرمال سازی های عرض 0.23
شبکه عصبی کانولوشنال Committee of 5 CNNs, 6-layer 784-50-100-500-1000-10-10 None گسترش داده های آموزشی 0.21 [۱۵] [۱۶]
یادگیری عمیق چند مدل تصادفی (RMDL) 10 NN-10 RNN - 10 CNN None None 0.18 [۱۸]
شبکه عصبی کانولوشنال کمیته 20 CNNS با شبکه های فشار و برانگیختگی [۲۸] None افزایش داده ها 0.17 [۲۹]

همچنین ببینید

[ویرایش]
  • فهرست مجموعه‌ داده‌ها برای مسائل یادگیری ماشین
  • Caltech 101
  • LabelMe
  • OCR

منابع

[ویرایش]

 

  1. ↑ "Support vector machines speed pattern recognition - Vision Systems Design". Vision Systems Design. Retrieved 17 August 2013.
  2. ↑ Gangaputra, Sachin. "Handwritten digit database". Retrieved 17 August 2013.
  3. ↑ Qiao, Yu (2007). "THE MNIST DATABASE of handwritten digits". Retrieved 18 August 2013.
  4. ↑ Platt, John C. (1999). "Using analytic QP and sparseness to speed training of support vector machines" (PDF). Advances in Neural Information Processing Systems: 557–563. Archived from the original (PDF) on 4 March 2016. Retrieved 18 August 2013.
  5. ↑ Grother, Patrick J. "NIST Special Database 19 - Handprinted Forms and Characters Database" (PDF). National Institute of Standards and Technology.
  6. ↑ ۶٫۰ ۶٫۱ ۶٫۲ ۶٫۳ ۶٫۴ ۶٫۵ LeCun, Yann; Cortez, Corinna; Burges, Christopher C.J. "The MNIST Handwritten Digit Database". Yann LeCun's Website yann.lecun.com. Retrieved 30 April 2020. خطای یادکرد: برچسب <ref> نامعتبر؛ نام «LeCun» چندین بار با محتوای متفاوت تعریف شده است. (صفحهٔ راهنما را مطالعه کنید.).
  7. ↑ Kussul, Ernst; Baidyk, Tatiana (2004). "Improved method of handwritten digit recognition tested on MNIST database". Image and Vision Computing. 22 (12): 971–981. doi:10.1016/j.imavis.2004.03.008.
  8. ↑ Zhang, Bin; Srihari, Sargur N. (2004). "Fast k-Nearest Neighbor Classification Using Cluster-Based Trees" (PDF). IEEE Transactions on Pattern Analysis and Machine Intelligence. 26 (4): 525–528. doi:10.1109/TPAMI.2004.1265868. PMID 15382657. Retrieved 20 April 2020.
  9. ↑ ۹٫۰ ۹٫۱ ۹٫۲ ۹٫۳ LeCun, Yann; Léon Bottou; Yoshua Bengio; Patrick Haffner (1998). "Gradient-Based Learning Applied to Document Recognition" (PDF). Proceedings of the IEEE. 86 (11): 2278–2324. doi:10.1109/5.726791. Retrieved 18 August 2013. خطای یادکرد: برچسب <ref> نامعتبر؛ نام «Gradient» چندین بار با محتوای متفاوت تعریف شده است. (صفحهٔ راهنما را مطالعه کنید.).
  10. ↑ Cohen, Gregory; Afshar, Saeed; Tapson, Jonathan; van Schaik, André (2017-02-17). "EMNIST: an extension of MNIST to handwritten letters". arXiv:1702.05373 [cs.CV].
  11. ↑ Kussul, Ernst; Tatiana Baidyk (2004). "Improved method of handwritten digit recognition tested on MNIST database" (PDF). Image and Vision Computing. 22 (12): 971–981. doi:10.1016/j.imavis.2004.03.008. Archived from the original (PDF) on 21 September 2013. Retrieved 20 September 2013.
  12. ↑ Ranzato, Marc’Aurelio; Christopher Poultney; Sumit Chopra; Yann LeCun (2006). "Efficient Learning of Sparse Representations with an Energy-Based Model" (PDF). Advances in Neural Information Processing Systems. 19: 1137–1144. Retrieved 20 September 2013.
  13. ↑ ۱۳٫۰ ۱۳٫۱ ۱۳٫۲ SimpleNet (2016). "Lets Keep it simple, Using simple architectures to outperform deeper and more complex architectures". arXiv:1608.06037. Retrieved 3 December 2020. خطای یادکرد: برچسب <ref> نامعتبر؛ نام «:0» چندین بار با محتوای متفاوت تعریف شده است. (صفحهٔ راهنما را مطالعه کنید.).
  14. ↑ SimpNet. "Towards Principled Design of Deep Convolutional Networks: Introducing SimpNet". Github. arXiv:1802.06205. Retrieved 3 December 2020.
  15. ↑ ۱۵٫۰ ۱۵٫۱ Romanuke, Vadim. "Parallel Computing Center (Khmelnytskyi, Ukraine) represents an ensemble of 5 convolutional neural networks which performs on MNIST at 0.21 percent error rate". Retrieved 24 November 2016. خطای یادکرد: برچسب <ref> نامعتبر؛ نام «Romanuke3» چندین بار با محتوای متفاوت تعریف شده است. (صفحهٔ راهنما را مطالعه کنید.).
  16. ↑ ۱۶٫۰ ۱۶٫۱ Romanuke, Vadim (2016). "Training data expansion and boosting of convolutional neural networks for reducing the MNIST dataset error rate". Research Bulletin of NTUU "Kyiv Polytechnic Institute". 6 (6): 29–34. doi:10.20535/1810-0546.2016.6.84115. خطای یادکرد: برچسب <ref> نامعتبر؛ نام «Romanuke4» چندین بار با محتوای متفاوت تعریف شده است. (صفحهٔ راهنما را مطالعه کنید.).
  17. ↑ MNIST classifier, GitHub. "Classify MNIST digits using Convolutional Neural Networks". Retrieved 3 August 2018.
  18. ↑ ۱۸٫۰ ۱۸٫۱ Kowsari, Kamran; Heidarysafa, Mojtaba; Brown, Donald E.; Meimandi, Kiana Jafari; Barnes, Laura E. (2018-05-03). "RMDL: Random Multimodel Deep Learning for Classification". Proceedings of the 2018 International Conference on Information System and Data Mining. arXiv:1805.01890. doi:10.1145/3206098.3206111. خطای یادکرد: برچسب <ref> نامعتبر؛ نام «Kowsari2018» چندین بار با محتوای متفاوت تعریف شده است. (صفحهٔ راهنما را مطالعه کنید.).
  19. ↑ Keysers, Daniel; Thomas Deselaers; Christian Gollan; Hermann Ney (August 2007). "Deformation models for image recognition". IEEE Transactions on Pattern Analysis and Machine Intelligence. 29 (8): 1422–1435. CiteSeerX 10.1.1.106.3963. doi:10.1109/TPAMI.2007.1153. PMID 17568145.
  20. ↑ Kégl, Balázs; Róbert Busa-Fekete (2009). "Boosting products of base classifiers" (PDF). Proceedings of the 26th Annual International Conference on Machine Learning: 497–504. Retrieved 27 August 2013.
  21. ↑ "RandomForestSRC: Fast Unified Random Forests for Survival, Regression, and Classification (RF-SRC)". 21 January 2020.
  22. ↑ "Mehrad Mahmoudian / MNIST with RandomForest".
  23. ↑ Decoste, Dennis; Schölkopf, Bernhard (2002). "Training Invariant Support Vector Machines". Machine Learning. 46 (1–3): 161–190. doi:10.1023/A:1012454411458. ISSN 0885-6125. OCLC 703649027. Retrieved 2021-02-05.
  24. ↑ خطای یادکرد: خطای یادکرد:برچسب <ref>‎ غیرمجاز؛ متنی برای یادکردهای با نام simard2003 وارد نشده است. (صفحهٔ راهنما را مطالعه کنید.).
  25. ↑ Ciresan, Claudiu Dan; Ueli Meier; Luca Maria Gambardella; Juergen Schmidhuber (December 2010). "Deep Big Simple Neural Nets Excel on Handwritten Digit Recognition". Neural Computation. 22 (12): 3207–20. arXiv:1003.0358. doi:10.1162/NECO_a_00052. PMID 20858131.
  26. ↑ Romanuke, Vadim. "The single convolutional neural network best performance in 18 epochs on the expanded training data at Parallel Computing Center, Khmelnytskyi, Ukraine". Retrieved 16 November 2016.
  27. ↑ Romanuke, Vadim. "Parallel Computing Center (Khmelnytskyi, Ukraine) gives a single convolutional neural network performing on MNIST at 0.27 percent error rate". Retrieved 24 November 2016.
  28. ↑ Hu, Jie; Shen, Li; Albanie, Samuel; Sun, Gang; Wu, Enhua (2019). "Squeeze-and-Excitation Networks". IEEE Transactions on Pattern Analysis and Machine Intelligence. 42 (8): 2011–2023. arXiv:1709.01507. doi:10.1109/TPAMI.2019.2913372. PMID 31034408.
  29. ↑ "GitHub - Matuzas77/MNIST-0.17: MNIST classifier with average 0.17% error". 25 February 2020.
برگرفته از «https://fa.wikipedia.org/w/index.php?title=پیش‌نویس:پایگاه_داده_MNIST&oldid=33861854»