جستجو شبکه ای

جستجوی شبکه‌ای روش سنتی اجرای بهینه‌سازی ابرپارامترها است که در اصل یک جستجوی فراگیر، در زیرمجموعه‌ای از فضای ابرپارامترهای الگوریتم یادگیری که به صورت دستی مشخص می‌شود، است. یک الگوریتم جستجوی شبکه‌ای باید توسط سنجه‌ای از کاریی راهنمایی شود، که معمولاً از اجرای روش اعتبارسنجی متقابل بر روی مجموعه داده‌های آموزشی، یا مجموعه داده‌های اعتبارسنجی که از پیش کنار گذاشته شده است، سنجیده می‌شود.

از آنجایی که امکان دارد فضای پارامترهای یک یادگیرندهٔ ماشینی، شامل مقادیر حقیقی یا مقادیر بی‌کران برای برخی از پارامترهایش باشد، در این موارد، گسسته‌سازی و تعیین کران پیش از اجرای جستجوی شبکه‌ای ضروری است. جستجوی شبکه‌ای بر روی مقادیر مختلف دو ابرپارامتر. برای هر ابرپارامتر، ۱۰ مقدار مختلف در نظر گرفته شده است، پس در مجموع ۱۰۰ ترکیب مختلف ارزیابی و مقایسه شده‌اند. خطوط تراز آبی نواحی که نتایج قوی داشته‌اند و خطوط تراز سرخ نواحی که نتایج ضعیف داشته‌اند را نمایان می‌کنند.

برای نمونه، یک بردار ماشین بردار پشتیبانی رده‌بندی کننده با حاشیهٔ نرم، با استفاده از هستهٔ تابع پایهٔ شعاعی، حداقل دو ابرپارامتر دارد که برای عملکرد مناسب بر روی داده‌های دیده نشده، نیازمند بهینه‌سازی و میزان‌سازی می‌باشد: یک ثابت تنظیم و یک ابرپارامتر هسته. هر دوی این پارامترها پیوسته هستند، پس برای اینکه بتوانیم جستجوی شبکه‌ای را انجام دهیم، یک مجموعهٔ متناهی از مقادیر منطقی و معقول را برای هر یک از آن‌ها تعریف می‌کنیم:

حال جستجوی شبکه‌ای به ازای هر جفت حاضر در ضرب کارتزین این دو مجموعه، یک ماشین بردار پشتیبانی را آموزش داده و عملکرد آن‌ها را بر روی یک مجموعه از داده‌های اعتبارسنجی از پیش کنار گذاشته شده (یا روش اعتبارسنجی متقابل درونی بر روی مجموعهٔ داده‌های آموزشی، که در این صورت چندین ماشین بردار پشتیبانی به ازای هر جفت آموزش داده می‌شوند)، ارزیابی می‌کند. در نهایت الگوریتم جستجوی شبکه‌ای، ابرپارامترهایی که به ازای آن‌ها بیشترین امتیاز در مرحلهٔ اعتبارسنجی بدست آمده است را به عنوان خروجی برمی‌گرداند.

جستجوی شبکه‌ای از مشقت بعدچندی رنج می‌برد ولی به علت اینکه ابرپارامترهایی که ارزیابی می‌کند عمداً مستقل از هم هستند، به آسانی می‌توان آن را به صورت موازی پردازش کرد.

منابع