پیش‌نویس:منحنی یادگیری (یادگیری ماشینی)

در یادگیری ماشین، منحنی یادگیری (یا منحنی آموزشی ) یک نمایش ترسیمی است که نشان می‌ دهد چگونه عملکرد یک مدل در یک مجموعه آموزشی (و معمولاً یک مجموعه اعتبار سنجی) با تعداد تکرار های آموزشی ( دوران ) یا مقدار داده های آموزشی تغییر می‌ کند. ^[۱] به طور معمول، تعداد دور های آموزشی یا اندازه مجموعه آموزشی روی محور x و مقدار تابع ضرر (و احتمالاً برخی معیارهای دیگر مانند امتیاز اعتبار سنجی متقابل ) روی محور y ترسیم می‌ شوند.

هم معنی ها عبارتند از منحنی خطا ، منحنی تجربه ، منحنی بهبود و منحنی کلی گری . ^[۲]

به شکل انتزاعی تر، منحنی های یادگیری تفاوت بین تلاش یادگیری و عملکرد پیش بینی شده را نشان می دهند، به طوری که "تلاش یادگیری" معمولاً به نشان دهنده تعداد نمونه های آموزشی است و "عملکرد پیش بینی شده" به معنای دقت در نمونه های آزمایشی است. ^[۳]

منحنی های یادگیری کارایی های مفید بسیاری در یادگیری ماشین دارند، از جمله: ^[۴] ^[۵] ^[۶]

انتخاب پارامترهای مدل در طول طراحی،
تنظیم بهینه سازی برای بهبود هم گرایی،
و تشخیص مشکلاتی مانند برازش بیش از حد (یا عدم تناسب).

منحنی‌ های یادگیری همچنین می‌ توانند ابزاری برای تعیین میزان سود یک مدل از افزایش داده‌ های آموزشی بیشتر باشند و یا نشان دهند آیا مدل از خطای واریانس یا خطای سو گیری بیشتر متضرر می‌ شوند. اگر هم امتیاز اعتبار سنجی و هم امتیاز آموزشی به مقدار معینی همگرا شوند، آنگاه مدل دیگر به طور قابل توجهی از داده های آموزشی بیشتر بهره نخواهد برد. ^[۷]

تعریف رسمی

هنگام ایجاد یک تابع برای تقریب توزیع برخی از داده ها، لازم است یک تابع ضرر $L(f_{\theta }(X),Y)$ برای اندازه گیری میزان سودمند بودن خروجی مدل تعریف شود. (به عنوان مثال، دقت برای کار های طبقه بندی یا میانگین مربع های خطا برای کاهش). سپس ما یک فرآیند بهینه‌ سازی را تعریف می‌ کنیم که پارامترهای مدل را مانند $\theta$ پیدا می‌ کند. به گونه ای که $L(f_{\theta }(X),Y)$ به حداقل می رسد و با $\theta ^{*}$ نمایش داده میشود.

منحنی آموزش برای مقدار داده

اگر داده های آموزشی چنین باشد

$\{x_{1},x_{2},\dots ,x_{n}\},\{y_{1},y_{2},\dots y_{n}\}$

و داده های اعتبار سنجی

$\{x_{1}',x_{2}',\dots x_{m}'\},\{y_{1}',y_{2}',\dots y_{m}'\}$ ،

منحنی یادگیری نمودار دو منحنی است

$i\mapsto L(f_{\theta ^{*}(X_{i},Y_{i})}(X_{i}),Y_{i})$
$i\mapsto L(f_{\theta ^{*}(X_{i},Y_{i})}(X_{i}'),Y_{i}')$

بطوری که

$X_{i}=\{x_{1},x_{2},\dots x_{i}\}$

منحنی تمرین برای تعداد تکرار

$i\mapsto L(f_{\theta _{i}^{*}(X,Y)}(X),Y)$
$i\mapsto L(f_{\theta _{i}^{*}(X,Y)}(X'),Y')$

همچنین ببینید

↑ "Mohr, Felix and van Rijn, Jan N. "Learning Curves for Decision Making in Supervised Machine Learning - A Survey." arXiv preprint arXiv:2201.12150 (2022)". arXiv:2201.12150.
↑ Viering, Tom; Loog, Marco (2023-06-01). "The Shape of Learning Curves: A Review". IEEE Transactions on Pattern Analysis and Machine Intelligence. 45 (6): 7799–7819. arXiv:2103.10948. doi:10.1109/TPAMI.2022.3220744. ISSN 0162-8828. PMID 36350870.
↑ Perlich, Claudia (2010), Sammut, Claude; Webb, Geoffrey I. (eds.), Learning Curves in Machine Learning (به انگلیسی), Boston, MA: Springer US, pp. 577–580, doi:10.1007/978-0-387-30164-8_452, ISBN 978-0-387-30164-8, retrieved 2023-07-06
↑ Madhavan, P.G. (1997). "A New Recurrent Neural Network Learning Algorithm for Time Series Prediction" (PDF). Journal of Intelligent Systems. p. 113 Fig. 3.
↑ "Machine Learning 102: Practical Advice". Tutorial: Machine Learning for Astronomy with Scikit-learn.
↑ Meek, Christopher; Thiesson, Bo; Heckerman, David (Summer 2002). "The Learning-Curve Sampling Method Applied to Model-Based Clustering". Journal of Machine Learning Research. 2 (3): 397. Archived from the original on 2013-07-15.
↑ scikit-learn developers. "Validation curves: plotting scores to evaluate models — scikit-learn 0.20.2 documentation". Retrieved February 15, 2019.

[abs2201.12150-1] "Mohr, Felix and van Rijn, Jan N. "Learning Curves for Decision Making in Supervised Machine Learning - A Survey." arXiv preprint arXiv:2201.12150 (2022)". arXiv:2201.12150.

[2] Viering, Tom; Loog, Marco (2023-06-01). "The Shape of Learning Curves: A Review". IEEE Transactions on Pattern Analysis and Machine Intelligence. 45 (6): 7799–7819. arXiv:2103.10948. doi:10.1109/TPAMI.2022.3220744. ISSN 0162-8828. PMID 36350870.

[3] Perlich, Claudia (2010), Sammut, Claude; Webb, Geoffrey I. (eds.), Learning Curves in Machine Learning (به انگلیسی), Boston, MA: Springer US, pp. 577–580, doi:10.1007/978-0-387-30164-8_452, ISBN 978-0-387-30164-8, retrieved 2023-07-06

[4] Madhavan, P.G. (1997). "A New Recurrent Neural Network Learning Algorithm for Time Series Prediction" (PDF). Journal of Intelligent Systems. p. 113 Fig. 3.

[5] "Machine Learning 102: Practical Advice". Tutorial: Machine Learning for Astronomy with Scikit-learn.

[6] Meek, Christopher; Thiesson, Bo; Heckerman, David (Summer 2002). "The Learning-Curve Sampling Method Applied to Model-Based Clustering". Journal of Machine Learning Research. 2 (3): 397. Archived from the original on 2013-07-15.

[scikit-learn_learning-curve-7] scikit-learn developers. "Validation curves: plotting scores to evaluate models — scikit-learn 0.20.2 documentation". Retrieved February 15, 2019.

[۱]

[۲]

[۳]

[۴]

[۵]

[۶]

[۷]