قانون یادگیری

قانون یادگیری یا فرایند یادگیری یک شبکه عصبی مصنوعی یک روش ، منطق ریاضی یا الگوریتم است که عملکرد شبکه و یا زمان آموزش را بهبود می بخشد. معمولاً این قانون به طور مکرر در شبکه اعمال می شود. وقتی شبکه در یک محیط داده خاص شبیه سازی می شود ، با به روزرسانی سطح اوزان و بایاس شبکه انجام می شود. یک قانون یادگیری ممکن است شرایط موجود شبکه را بپذیرد و نتیجه مورد انتظار و نتیجه واقعی شبکه را مقایسه کند تا مقادیر جدید و بهبود یافته برای اوزان و بایاس ارائه دهد.بسته به پیچیدگی مدل واقعی که شبیه سازی می شود ، قانون یادگیری شبکه می تواند به سادگی یک دروازه XOR یا خطای مربع میانگین باشد ، یا به اندازه یک نتیجه از سیستم معادلات دیفرانسیل پیچیده باشد. قانون یادگیری یکی از عواملی است که تعیین می کند شبکه مصنوعی با چه سرعتی یا با چه دقتی توسعه می یابد. بسته به روند توسعه شبکه ، سه مدل اصلی یادگیری ماشین وجود دارد: 1.یادگیری بدون نظارت 2.یادگیری تحت نظارت 3.یادگیری تقویت

زمینه

بسیاری از روش های یادگیری در یادگیری ماشینی مشابه یکدیگر هستند و بر اساس یکدیگر هستند که طبقه بندی آنها را در دسته های روشن دشوار می کند. اما آنها را می توان به طور کلی در 4 دسته از روش های یادگیری درک کرد ، اگرچه این دسته ها مرز مشخصی ندارند و متعلق به چندین دسته از روش های یادگیری هستند: 1.هبیان_نئوکونیترون _حالت مغز در یک جعبه 2.شیب نزولی_آموزش کوانتوری برداری_نقشه ویژگی خود سازمان دهنده، شبکه عصبی راجعه 3.رقابتی - یادگیری کوانتاسیون وکتور ، نقشه ویژگی خود سازماندهی ، تئوری تشدید تطبیقی 4.تصادفی - ماشین بولتزمن ، ماشین کوشی گفتنی است که اگرچه به نظر می رسد این قوانین یادگیری مبتنی بر ایده های مشابه هستند ، اما تفاوتهای ظریفی دارند از این رو منطقی است که آنها را جدا از مبدا و اهداف آنها مطالعه کنیم.

یادگیری هبیان

توسط دونال هب در سال 1949 برای توصیف شلیک نورونهای عصبی ایجاد شده است. این یادگیری هبیان را با توجه به نورونهای بیولوژیکی تعریف می کند ، که در دهه 1950 نیز در شبیه سازی رایانه ای شبکه های عصبی در شبکه های عصبی مصنوعی اعمال می شود.

قاعده یادگیری پرسپترون

قاعده یادگیری پرسپترون از فرض هبیان نشات می گیرد و توسط فرانک روزنبلات در سال 1958 در پرسپترون خود استفاده شد . شبکه به فعال سازی منتقل می شودو از خروجی تابع برای تنظیم وزن استفاده می شود. سیگنال یادگیری تفاوت بین پاسخ مورد نظر و پاسخ واقعی یک نورون است. از تابع مرحله اغلب به عنوان یک تابع فعال سازی استفاده می شود و خروجی ها معمولاً به 1- ، 0 یا 1 محدود می شوند. وزن ها به روز می شوندبا W new=W old+ɳ (t-o)x iکه در آن "t" مقدار هدف است و "o" خروجی پرسپترون است ، و ɳ میزان یادگیری نامیده می شود.

تبلیغ عقب نشینی

گفته می شود Seppo Linnainmaa در سال 1970 الگوریتم تبلیغ عقب نشینی را توسعه داده است اما ریشه های الگوریتم با همکاری بسیاری از دهه 1960 برمی گردد. این یک الگوریتم حداقل مربعات در پرسپترون خطی و قانون ایادگیری دلتا است. این جستجو از طریق گرانش فضایی را با استفاده از فضای احتمالی شبکه انجام می دهد ، و خطا را بین مقادیر هدف و خروجی های شبکه کاهش می دهد.

یادگیری ویدرو-هاف (قانون یادگیری دلتا))

مشابه قاعده یادگیری پرسپترون اما با منشأ متفاوت.برای استفاده در شبکه ادالاین ساخته شده است ، که از نظر آموزش عمدتاً باپرسپترون متفاوت است. وزن ها با توجه به مجموع وزنی ورودی ها تنظیم می شوند ، در حالی که در پرسپترون علامت مجموع وزنی برای تعیین بازده مفید بود زیرا آستانه روی 0 ، 1 -یا 1+ تنظیم شد. این باعث می شود ادالاین متفاوت از گیرنده طبیعی باشد. قانون دلتا (DR) با برخی تفاوت ها مشابه قانون یادگیری Perceptron (PLR) است: 1.خطای (δ) در DR محدود به داشتن مقادیر 0 ، 1 یا -1 نیست (مانند PLR) ، اما ممکن است دارای هر مقداری باشد. DR.2 را می توان برای هر تابع خروجی / فعال سازی متمایز f استخراج کرد ، در حالی که در PLR فقط برای عملکرد خروجی آستانه کار می کند. گاهی اوقات فقط هنگامی که Widrow-Hoff به طور خاص برای اهداف باینری اعمال می شود ، از آن به عنوان قانون دلتا یاد می شود ، اما به نظر می رسد که این اصطلاحات اغلب به جای یکدیگر استفاده می شوند. قانون دلتا در مورد خاصی از الگوریتم انتشار مجدد در نظر گرفته می شود.

یادگیری رقابتی

یادگیری رقابتی یکی از انواع یادگیری هبیان در نظر گرفته می شود ، اما به اندازه کافی ویژه است که به طور جداگانه مورد بحث قرار می گیرد. یادگیری رقابتی با افزایش تخصص هر گره در شبکه کار می کند. برای یافتن خوشه در داده ها بسیار مناسب است . مدل ها و الگوریتم های مبتنی بر اصل یادگیری رقابتی شامل کمی سازی بردار و نقشه های خودسازمانده (نقشه های کوهنن) است.

منابع

1.Simon Haykin(16 July 1998). "Chapter 2: Learning Processes".Neural Networks: A comprehensive foundation(2nd ed.). Prentice Hall. pp. 50–104.ISBN978-8178083001. Retrieved 2 May 2012.

2.S Russell, P Norvig(1995). "Chapter 18: Learning from ExamplesArtificial Intelligence: A Modern Approach(3rd ed.). Prentice Hall. pp. 693–859.ISBN0-13-103805-2. Retrieved 20 Nov 2013.

3.^Rajasekaran, Sundaramoorthy. (2003). Neural networks, fuzzy logic, and genetic algorithms : synthesis and applications. Pai, G. A. Vijayalakshmi. (Eastern economy ed.). New Delhi: Prentice-Hall of India.ISBN81-203-2186-3.OCLC56960832

4.^Golden, Richard M. (1986-03-01). "The "Brain-State-in-a-Box" neural model is a gradient descent algorithm". Journal of Mathematical Psychology. 30 (1): 73–80.doi10.1016/0022-2496(86)90043-X.ISSN0022-2496

5.Sivanandam, S. N. (2007).Principles of soft computing.Deepa, S. N. (1st ed.)New Delhi: Wiley India.ISBN978-81-265-1075-7.OCLC760996382

6.^Minsky, Marvin, 1927-2016. (1969). Perceptrons; an introduction to computational geometry. Papert, Seymour. Cambridge, Mass.: MIT Press.ISBN0-262-13043-2.OCLC5034

7.Schmidhuber, Juergen (January 2015). "Deep Learning in Neural Networks: An Overview". Neural Networks. 61: 85–117.arXiv.1404.7828.doi10.1016/j.neunet.2014.09.003PMID25462637.S2CID11715509

8.Rescorla, Robert (2008-03-31)."Rescorla-Wagner model" Scholarpedia. 3 (3): 2237.Bibcode:2008SchpJ...3.2237Rdoi:10.4249/scholarpedia.2237.ISSN1941-6016