پیش‌نویس:آدالاین

آدالاین‌( نورون خطی تطبیقی ​​یا عنصر خطی تطبیقی ) یک شبکه عصبی مصنوعی تک لایه و نام دستگاهی است که این شبکه را پیاده سازی کرده است. شبکه از ممیستورها استفاده می کند. این توسط پروفسور برنارد ویدرو و دانشجوی دکترای او تد هاف در دانشگاه استنفورد در سال 1960 توسعه یافت. بر اساس پرسپترون است. این از یک وزن، جانبداری و یک تابع جمع تشکیل شده است.

تفاوت بین آدالاین و پرسپترون استاندارد (مک کالوخ-پیتس) در نحوه یادگیری آنهاست. وزن واحد آدالاین برای مطابقت با سیگنال آموزنده، قبل از اعمال تابع Heaviside تنظیم می شود (شکل را ببینید)، اما وزن واحد پرسپترون استاندارد برای مطابقت با خروجی صحیح، پس از اعمال تابع Heaviside تنظیم می شود.

یک شبکه چند لایه از واحدهای آدالاین (ADALINE) یک مادالین (MADALINE) است.

تعریف ها

آدالاین یک شبکه عصبی تک لایه با چندین گره است که هر گره چندین ورودی را می پذیرد و یک خروجی تولید می کند. با توجه به متغیرهای زیر:

• $\displaystyle x$ بردار ورودی
• $\displaystyle w$ بردار وزن
• $\displaystyle n$ تعداد ورودی
• $\displaystyle \theta$ عدد ثابت
• $\displaystyle y$ خروجی مدل

${\displaystyle y=\sum _{j=1}^{n}x_{j}w_{j}+\theta }$ اگر در ادامه درنظر بگیریم که

• ${\displaystyle x_{0}=1}$
• ${\displaystyle w_{0}=\theta }$

سپس خروجی به نتیجه زیر کاهش می یابد:

${\displaystyle y=\sum _{j=0}^{n}x_{j}w_{j}}$

قانون یادگیری

قانون یادگیری مورد استفاده توسط آدالاین الگوریتم LMS ( حداقل میانگین مربعات )، یک مورد خاص از گرادیان نزولی است.

نمادهای زیر را تعریف کنید:

• ${\displaystyle \eta }$ نرخ یادگیری است (مقدار ثابت مثبت)
• $\displaystyle y$ خروجی مدل
• $\displaystyle o$ خروجی هدف
• ${\displaystyle E=(o-y)^{2}}$ مربع خطا

الگوریتم LMS ( حداقل میانگین مربعات ) وزن ها را بر اساس زیر بروز رسانی می کند:

${\displaystyle w\leftarrow w+\eta (o-y)x.}$

این قانون $\displaystyle E$ را به حداقل می رساند، مربع خطا و در واقع گرادیان تصادفی نزولی برای رگرسیون خطی است.