تابع فعال‌سازی Swish

تابع swish برای مقادیر مختلف بتا

تابع Swish به شکل زیر تعریف می‌شود:

$\operatorname {swish} (x)=x\operatorname {sigmoid} (\beta x)={\frac {x}{1+e^{-\beta x}}}.$

که $\beta$ می‌تواند ثابت، یا پارامتر قابل یادگیری باشد. اگر $\beta =1$ باشد، تابع swish تبدیل به تابع سیگموئید خطی یا SiLU می‌شود.

• در حالت $\beta \to +\infty$ تابع به ReLU یا $max(x,0)$ تبدیل می‌شود.
• در حالت $\beta \to 0$ تابع حاصل خطی و برابر با ${\frac {x}{2}}$
• در حالت $\beta \to -\infty$ تابع به $min(x,0)$ تبدیل می‌شود.

مشتق

نسبت به $x$

مشتق تابع swish نسبت به $x$ بدین شکل قابل محاسبه است:

مشتق تابع swish به ازای مقادیر مختلف β

${\begin{aligned}f^{'}(x)&=\sigma (\beta x)+\beta x\cdot \sigma (\beta x)(1-\sigma (\beta x))\\&=\sigma (\beta x)+\beta x\cdot \sigma (\beta x)-\beta x\cdot \sigma (\beta x)^{2}\\&=\beta x\cdot \sigma (\beta x)+\sigma (\beta x)(1-\beta x\cdot \sigma (\beta x))\\&=\beta f(x)+\sigma (\beta x)(1-\beta f(x))\end{aligned}}$

نسبت به $\beta$

مشتق تابع swish نسبت به $\beta$ بدین شکل قابل محاسبه است: ${\begin{aligned}{\frac {\partial f(x)}{\partial \beta }}=x^{2}\sigma (\beta x)(1-\sigma (\beta x))\end{aligned}}$

کاربردها

در سال 2017 دانشمندان در Google توانستند با جایگزینی تابع swish به جای ReLU و Sigmoid، نتایج بهتری برای دیتاست ایمیج‌نت بدست آورند. همچنین عملکرد این تابع در سایر مدل‌ها و دیتاست‌های مشهور برابر یا بهتر از دیگر توابع فعال‌سازی رایح بوده است. البته باید توجه داشت که تابع swish نسبت به ReLU از لحاظ محاسبات چه در محاسبه تابع و چه در محاسبه مشتق بسیار پیچیده‌تر است.