شبکه باور عمیق

ساختار کلی یک شبکه باور عمیق

شبکه باور عمیق نوعی شبکه عصبی مصنوعی است که از روش سازنده استفاده می‌کند. این شبکه عصبی مصنوعی شامل یک لایه از متغیرهای دیده شده و چندین لایه شامل متغیرهای دیده نشده (مخفی) است که بین عناصر دو لایه می‌تواند اتصالاتی وجود داشته باشد.

شبکه باور عمیق یه عنوان راه‌حلی معرفی شد تا بتواند مشکلاتی را که قبل از آن در شبکه‌های عصبی وجود داشتند (مانند مدت زمان زیاد یادگیری، رسیدن به کمینه‌های محلی به دلیل انتخاب نامناسب متغیرها، و نیاز به داده زیاد برای یادگیری)، حل کند.

شبکه باور عمیق شامل لایه‌های ورودی و خروجی به همراه چندین لایه مخفی در بین آن‌ها می‌باشد. در لایه‌های متوالی ماشین بولتزمن محدود شده به کار رفته‌است که باعث می‌شود شبکه به صورت لایه به لایه و با سرعت بالایی آموزش ببیند. ماشین بولتزمن محدود شده دارای دو لایه از نورون‌ها می‌باشد که لایه اول ورودی شامل متغیرهای دیده شده‌است و لایه دوم شامل متغیرهای مخفی است. نورون‌ها بین این دو لایه به یکدیگر متصل شده‌اند اما درون یک لایه هیچ اتصالی وجود ندارد.

شبکه باور عمیق می‌تواند به صورت خودران ابعاد داده ورودی را کاهش دهد یا اینکه با استفاده از یادگیری با نظارت عملیاتی مانند طبقه‌بندی انجام دهد. پیاده‌سازی‌های مختلفی از این شبکه تا به حال انجام شده‌است که هر کدام کاربرد متفاوتی دارد. به‌طور مثال این شبکه در نوار مغزی کاربرد زیادی داشته‌است.

آموزش شبکه

آموزش یک شبکه باور عمیق در دو مرحله اجرا می‌شود. در مرحله اول همه ماشین‌های بولتزمن محدود شده به صورت لایه به لایه بدون نظارت آموزش داده می‌شوند. در مرحله دوم با استفاده از الگوریتم پس‌انتشار مقدار وزن‌های شبکه به روزرسانی می‌شود.

برای آموزش یک ماشین بولتزمن محدود شده تابع هزینه به این صورت استفاده می‌شود $p(v)={\frac {1}{Z}}\sum _{h}e^{-E(v,h)}$ که در آن $Z$ تابعی برای نرمال‌سازی است و $E(v,h)$ تابع انرژی مربوط به دو لایه دیده شده و مخفی است. با محاسبه گرادیان این تابع به صورت ${\frac {\partial \log(p(v))}{\partial w_{ij}}}$ حاصل به شکل $\langle v_{i}h_{j}\rangle _{\text{data}}-\langle v_{i}h_{j}\rangle _{\text{model}}$ ساده می‌شود که در آن $\langle \cdots \rangle _{p}$ نشان دهنده میانگین نسبت به توزیع احتمال $p$ است. البته عبارت $\langle v_{i}h_{j}\rangle _{\text{model}}$ با استفاده از روش‌های نمونه‌گیری در هر مرحله تخمین زده می‌شود.

در هر مرحله ابتدا لایه دیده شده به صورت یک بردار مقداردهی اولیه می‌شود، سپس لایه مخفی با دانستن مقادیر دیده شده مقداردهی می‌شود، سپس لایه دیده شده با دانستن مقادیر مخفی مقداردهی می‌شود، سپس لایه مخفی دوباره با دانستن مقادیر دیده شده مقداردهی می‌شود. در آخر با محاسبه گرادیان طبق عبارات بالا وزن‌ها به روزرسانی می‌شوند.

جستارهای وابسته

• شبکه عصبی مصنوعی
• ماشین بولتزمن محدود شده