شبکه عصبی گاز

شبکه گاز عصبی یک شبکه عصبی مصنوعی الهام گرفته شده از نگاشت‌های خودسازمان دهنده است که در سال ۱۹۹۱ توسط توماس مارتینتز و کلاوس شولتن معرفی شد.^[۱] این مدل، یک الگوریتم ساده برای یافتن نمایش داده‌های بهینه بر اساس بردارهای ویژگی است. این الگوریتم به دلیل پویا بودن بردارهای ویژگی در طول فرایند انطباق، که خود را همانند یک گاز در فضای داده توزیع می‌کنند، «شبکه گاز عصبی» نام گرفته‌است. از این شبکه در موقعیت‌هایی که فشرده‌سازی داده‌ها یا کمی‌سازی برداری آسان نیست، استفاده می‌شود برای مثال می‌توان از تشخیص گفتار،^[۲] پردازش تصویر^[۳] یا تشخیص الگو نام برد. از این مدل می‌توان به عنوان یک جایگزین قدرتمند برای خوشه‌بندی k-means برای تجزیه و تحلیل خوشه‌ای نیز استفاده کرد.^[۴]

الگوریتم

فرض کنید توزیع احتمال $P(x)$ روی بردارهای داده $x$ و تعداد متناهی از بردارهای ویژگی $w_{i},i=1,\cdots ,N$ داده شده‌است.

در هر گام زمانی $t$ ، یک بردار داده $x$ به صورت تصادفی از توزیع $P(x)$ داده شده، انتخاب می‌شود. در ادامه، ترتیب فاصله بردارهای ویژگی تا بردار داده $x$ داده شده مشخص می‌شود. فرض کنید $i_{0}$ نشان دهنده نزدیکترین بردار ویژگی باشد، $i_{1}$ نشان دهنده دومین بردار ویژگی نزدیک، و $i_{N-1}$ نشان دهنده بردار ویژگی که از همه دورتر است $x$ . سپس هر بردار ویژگی مطابق با رابطه زیر (adaption) قرار داده می‌شود $w_{i_{k}}^{t+1}=w_{i_{k}}^{t}+\varepsilon \cdot e^{-k/\lambda }\cdot (x-w_{i_{k}}^{t}),k=0,\cdots ,N-1$ که در آن $\varepsilon$ به عنوان طول گام انطباق و $\lambda$ به عنوان محدوده همسایگی در نظر گرفته می‌شود. $\varepsilon$ و $\lambda$ با افزایش $t$ کاهش می‌یابد. پس از مراحل انطباق (adaption) کافی، بردارهای ویژگی فضای داده را با حداقل خطای نمایش پوشش می‌دهند.^[۵]

گام انطباق شبکه گاز عصبی می‌تواند به عنوان گرادیان کاهشی بر روی تابع هزینه تفسیر شود. به کمک انطباق نه فقط نزدیکترین بردار ویژگی، بلکه تمام آنها با کاهش طول گام همراه با افزایش ترتیب فاصله، در مقایسه با خوشه بندی k-means (آنلاین) می‌توان به همگرایی بسیار قوی تری در الگوریتم دست یافت. مدل شبکه گاز عصبی گره ای را حذف نمی‌کند و نیز گره جدیدی ایجاد نمی‌کند.

انواع شبکه گاز عصبی

تعدادی از انواع مختلف الگوریتم شبکه گاز عصبی وجود دارد تا برخی از ضعف‌های این مدل را کاهش دهد. شاید برجسته‌ترین این الگوریتم‌ها، شبکه گاز عصبی در حال رشد Bernd Fritzke باشد،^[۶] اما همچنان باید به جزئیات بیشتری مانند شبکه در حال رشد در زمان نیاز^[۷] و همچنین شبکه گاز عصبی در حال رشد تدریجی اشاره کرد.^[۸] یک رویکرد مبتنی بر کارایی که از خطر بیش برازش جلوگیری می‌کند، مدل گاز عصبی پلاستیکی است.^[۹]

شبکه گاز عصبی در حال رشد

Fritzke شبکه گاز عصبی در حال رشد (GNG) را به عنوان یک مدل شبکه افزایشی توصیف می‌کند که روابط توپولوژیکی را با استفاده از «قانون یادگیری شبیه به هب» یادمی‌گیرد،^[۶] فقط، برخلاف شبکه گاز عصبی، فاقد پارامتر وابسته به زمان است و قادر به یادگیری مداوم، مانند یادگیری در جریان داده‌ها، می‌باشد. GNG به‌طور وسیعی در زمینه‌های مختلفی مورد استفاده قرار گرفته‌است،^[۱۰] که توانایی خود را در خوشه بندی داده‌ها به صورت تدریجی نشان می‌دهد. GNG با دو گره دارای موقعیت تصادفی مقدار دهی اولیه می‌شود که در ابتدا با یک یال که سن آن صفر است به هم متصل شده‌اند و خطاهای آنها برابر با ۰ قرار داده شده‌است. به دلیل اینکه که داده‌های ورودی GNG به صورت متوالی یک به یک ارائه می‌شوند، مراحل زیر در هر تکرار دنبال می‌شود:

خطاها (فاصله) بین نزدیکترین دو گره به داده‌های ورودی فعلی محاسبه می‌شود.
خطای گره برنده (فقط نزدیکترین) به ترتیب انباشته می‌شود.
گره برنده و همسایه‌های توپولوژیکی آن (که توسط یک یال به هم متصل شده‌اند) با کسرهای متفاوتی از خطاهای مربوطه خود به سمت ورودی حرکت می‌کنند.
سن تمام یال‌های متصل به گره برنده افزایش می‌یابد.
اگر گره برنده و برنده دوم توسط یک یال به هم متصل شوند، چنین یالی برابر با ۰ قرار داده می‌شود. در غیر این صورت یک یال بین آنها ایجاد می‌شود.
اگر یال‌هایی با سن بزرگتر از حد آستانه (threshold) وجود داشته باشد، حذف می‌شوند. گره‌های بدون اتصال حذف می‌شوند.
اگر تکرار فعلی مضرب صحیحی از حد آستانه (threshold) ایجاد فرکانس از پیش تعریف شده باشد، یک گره جدید بین گره با بزرگ‌ترین خطا (در میان همه) و همسایه توپولوژیکی آن که بالاترین خطا را داراست، درج می‌شود. لینک بین گره‌های اول و دوم حذف می‌شود (خطاهای آنها با یک فاکتور معین کاهش می‌یابد) و گره جدید به هر دوی آنها متصل می‌شود. خطای گره جدید به عنوان خطای به روز شده گره ای که بیشترین خطا را داشت (در بین همه) مقداردهی اولیه می‌شود.
خطای انباشته شده همه گره‌ها با یک فاکتور مشخص کاهش می‌یابد.
اگر شرط توقف محقق نشود، الگوریتم ورودی زیر را می‌گیرد. معیار ممکن است تعداد معینی از دوره‌ها باشد، به عنوان مثال، تعداد دفعاتی از پیش تعیین شده که همه داده‌ها ارائه می‌شوند، یا رسیدن به حداکثر تعداد گره‌ها.

شبکه گاز عصبی در حال رشد تدریجی

یکی دیگر از انواع شبکه‌های گاز عصبی که در الگوریتم GNG از آن الهام گرفته شده‌است، شبکه گاز عصبی در حال رشد تدریجی (IGNG) می‌باشد. نویسندگان مزیت اصلی این الگوریتم را "یادگیری داده‌های جدید (پلاستیسیته) بدون تخریب شبکه آموزش دیده قبلی و فراموش کردن داده‌های ورودی قدیمی (پایداری)" عنوان می‌کنند.^[۱۱]

رشد در زمان نیاز

داشتن شبکه ای با مجموعه ای رو به رشد از گره‌ها، مانند شبکه پیاده‌سازی شده توسط الگوریتم GNG به عنوان یک مزیت بزرگ محسوب می‌شود، با این حال برخی محدودیت‌ها در یادگیری با معرفی پارامتر λ، که در آن شبکه تنها زمانی که تکرارها مضربی از این پارامتر بودند قادر به رشد است، مشاهده می‌شود.^[۷] یک پیشنهاد برای بهبود این مسئله، الگوریتم جدیدی به نام شبکه در حال رشد (GWR) است که با اضافه کردن گره‌ها در سریع‌ترین زمان ممکن هر زمان که شبکه متوجه شد که گره‌های موجود ورودی را به قدر کافی خوب توصیف نمی‌کنند، شبکه سریع‌تر رشد می‌کند.

شبکه گاز عصبی پلاستیکی

توانایی رشد یک شبکه به تنهایی ممکن است به سرعت باعث بیش برازش شود. از طرفی، حذف گره‌ها تنها بر اساس سن، مانند مدل GNG، تضمین نمی‌کند که گره‌های حذف شده واقعاً بی‌فایده هستند، زیرا حذف وابسته به پارامتر مدل است که باید با دقت بر روی «طول حافظه» جریان داده‌های ورودی تنظیم شود.

مدل «شبکه گاز عصبی پلاستیکی»^[۹] این مسئله را با تصمیم‌گیری برای اضافه کردن یا حذف گره‌ها با استفاده از یک نسخه بدون نظارت از اعتبارسنجی متقاطع، که مفهومی معادل از «توانایی تعمیم» است را برای تنظیمات بدون نظارت کنترل می‌کند، حل می‌کند.

در حالی که روش‌های تنها مبتنی بر رشد فقط سناریوی یادگیری افزایشی را برآورده می‌کنند، توانایی رشد و کوچک شدن برای مسئله جامع تر جریان داده مناسب است.

پیاده‌سازی‌ها

به منظور یافتن رتبه $i_{0},i_{1},\ldots ,i_{N-1}$ در بردارهای ویژگی، الگوریتم شبکه گاز عصبی مرتب‌سازی را شامل می‌شود، که روشی است که به آسانی به موازی‌سازی یا پیاده‌سازی در سخت‌افزار آنالوگ کمک نمی‌کند. با این حال، پیاده‌سازی‌های این روش در هر دو شکل نرم‌افزار موازی^[۱۲] و سخت‌افزار آنالوگ^[۱۳] طراحی شده‌است.

منابع

↑ Thomas Martinetz and Klaus Schulten (1991). "A "neural gas" network learns topologies" (PDF). Artificial Neural Networks. Elsevier. pp. 397–402.
↑ F. Curatelli and O. Mayora-Iberra (2000). "Competitive learning methods for efficient Vector Quantizations in a speech recognition environment". In Osvaldo Cairó; L. Enrique Sucar; Francisco J. Cantú-Ortiz (eds.). MICAI 2000: Advances in artificial intelligence: Mexican International Conference on Artificial Intelligence, Acapulco, Mexico, April 2000: proceedings. Springer. p. 109. ISBN 978-3-540-67354-5.{{cite conference}}: نگهداری یادکرد:استفاده از پارامتر نویسندگان (link)
↑ Angelopoulou, Anastassia and Psarrou, Alexandra and Garcia Rodriguez, Jose and Revett, Kenneth (2005). "Computer Vision for Biomedical Image Applications". In Yanxi Liu; Tianzi Jiang; Changshui Zhang (eds.). Computer vision for biomedical image applications: first international workshop, CVBIA 2005, Beijing, China, October 21, 2005: proceedings. Lecture Notes in Computer Science. Vol. 3765. Springer. p. 210. doi:10.1007/11569541_22. ISBN 978-3-540-29411-5.{{cite conference}}: نگهداری یادکرد:استفاده از پارامتر نویسندگان (link)
↑ Fernando Canales and Max Chacon (2007). "Progress in Pattern Recognition, Image Analysis and Applications". In Luis Rueda; Domingo Mery (eds.). Progress in pattern recognition, image analysis and applications: 12th Iberoamerican Congress on Pattern Recognition, CIARP 2007, Viña del Mar-Valparaiso, Chile, November 13–16, 2007 ; proceedings. Lecture Notes in Computer Science. Vol. 4756. Springer. pp. 684–693. doi:10.1007/978-3-540-76725-1_71. ISBN 978-3-540-76724-4.{{cite conference}}: نگهداری یادکرد:استفاده از پارامتر نویسندگان (link)
↑ http://wwwold.ini.rub.de/VDM/research/gsn/JavaPaper/img187.gif^{^{[پیوند مرده]}}
↑ ^۶٫۰ ^۶٫۱ Fritzke, Bernd (1995). "A Growing Neural Gas Network Learns Topologies". Advances in Neural Information Processing Systems. 7: 625–632. Retrieved 2016-04-26.
↑ ^۷٫۰ ^۷٫۱ Marsland, Stephen; Shapiro, Jonathan; Nehmzow, Ulrich (2002). "A self-organising network that grows when required". Neural Networks. 15 (8): 1041–1058. CiteSeerX 10.1.1.14.8763. doi:10.1016/s0893-6080(02)00078-3. PMID 12416693.
↑ Prudent, Yann; Ennaji, Abdellatif (2005). An incremental growing neural gas learns topologies. Neural Networks, 2005. IJCNN'05. Proceedings. 2005 IEEE International Joint Conference on. Vol. 2. pp. 1211–1216. doi:10.1109/IJCNN.2005.1556026. ISBN 978-0-7803-9048-5. S2CID 41517545.
↑ ^۹٫۰ ^۹٫۱ Ridella, Sandro; Rovetta, Stefano; Zunino, Rodolfo (1998). "Plastic algorithm for adaptive vector quantisation". Neural Computing & Applications. 7: 37–51. doi:10.1007/BF01413708.
↑ Iqbal, Hafsa; Campo, Damian; Baydoun, Mohamad; Marcenaro, Lucio; Martin, David; Regazzoni, Carlo (2019). "Clustering Optimization for Abnormality Detection in Semi-Autonomous Systems". St International Workshop on Multimodal Understanding and Learning for Embodied Applications: 33–41. doi:10.1145/3347450.3357657. ISBN 978-1-4503-6918-3.
↑ Prudent, Yann; Ennaji, Abdellatif (2005). An incremental growing neural gas learns topologies. Neural Networks, 2005. IJCNN'05. Proceedings. 2005 IEEE International Joint Conference on. Vol. 2. pp. 1211–1216. doi:10.1109/IJCNN.2005.1556026. ISBN 978-0-7803-9048-5. S2CID 41517545.
↑ Ancona, Fabio; Rovetta, Stefano; Zunino, Rodolfo (1996). "A parallel approach to plastic neural gas". Proceedings of International Conference on Neural Networks (ICNN'96). 1: 126–130. doi:10.1109/ICNN.1996.548878. ISBN 0-7803-3210-5.
↑ Ancona, Fabio; Rovetta, Stefano; Zunino, Rodolfo (1997). "Hardware implementation of the neural gas". Proceedings of International Conference on Neural Networks (ICNN'97). 2: 991–994. doi:10.1109/ICNN.1997.616161. ISBN 0-7803-4122-8.

برای مطالعهٔ بیشتر

T. Martinetz, S. Berkovich, and K. Schulten. "Neural-gas" Network for Vector Quantization and its Application to Time-Series Prediction. IEEE-Transactions on Neural Networks, 4(4):558-569, 1993.
Martinetz, T.; Schulten, K. (1994). "Topology representing networks". Neural Networks. 7 (3): 507–522. doi:10.1016/0893-6080(94)90109-0.

پیوند به بیرون

DemoGNG.js Javascript simulator for Neural Gas (and other network models)
Java Competitive Learning Applications Unsupervised Neural Networks (including Self-organizing map) in Java with source codes.
formal description of Neural gas algorithm
A GNG and GWR Classifier implementation in Matlab

[1] Thomas Martinetz and Klaus Schulten (1991). "A "neural gas" network learns topologies" (PDF). Artificial Neural Networks. Elsevier. pp. 397–402.

[2] F. Curatelli and O. Mayora-Iberra (2000). "Competitive learning methods for efficient Vector Quantizations in a speech recognition environment". In Osvaldo Cairó; L. Enrique Sucar; Francisco J. Cantú-Ortiz (eds.). MICAI 2000: Advances in artificial intelligence: Mexican International Conference on Artificial Intelligence, Acapulco, Mexico, April 2000: proceedings. Springer. p. 109. ISBN 978-3-540-67354-5.{{cite conference}}: نگهداری یادکرد:استفاده از پارامتر نویسندگان (link)

[3] Angelopoulou, Anastassia and Psarrou, Alexandra and Garcia Rodriguez, Jose and Revett, Kenneth (2005). "Computer Vision for Biomedical Image Applications". In Yanxi Liu; Tianzi Jiang; Changshui Zhang (eds.). Computer vision for biomedical image applications: first international workshop, CVBIA 2005, Beijing, China, October 21, 2005: proceedings. Lecture Notes in Computer Science. Vol. 3765. Springer. p. 210. doi:10.1007/11569541_22. ISBN 978-3-540-29411-5.{{cite conference}}: نگهداری یادکرد:استفاده از پارامتر نویسندگان (link)

[4] Fernando Canales and Max Chacon (2007). "Progress in Pattern Recognition, Image Analysis and Applications". In Luis Rueda; Domingo Mery (eds.). Progress in pattern recognition, image analysis and applications: 12th Iberoamerican Congress on Pattern Recognition, CIARP 2007, Viña del Mar-Valparaiso, Chile, November 13–16, 2007 ; proceedings. Lecture Notes in Computer Science. Vol. 4756. Springer. pp. 684–693. doi:10.1007/978-3-540-76725-1_71. ISBN 978-3-540-76724-4.{{cite conference}}: نگهداری یادکرد:استفاده از پارامتر نویسندگان (link)

[5] ttp://wwwold.ini.rub.de/VDM/research/gsn/JavaPaper/img187.gif^{^{[پیوند مرده]}}

[:0-6] ۶٫۰ ^۶٫۱ Fritzke, Bernd (1995). "A Growing Neural Gas Network Learns Topologies". Advances in Neural Information Processing Systems. 7: 625–632. Retrieved 2016-04-26.

[:1-7] ۷٫۰ ^۷٫۱ Marsland, Stephen; Shapiro, Jonathan; Nehmzow, Ulrich (2002). "A self-organising network that grows when required". Neural Networks. 15 (8): 1041–1058. CiteSeerX 10.1.1.14.8763. doi:10.1016/s0893-6080(02)00078-3. PMID 12416693.

[:22-8] Prudent, Yann; Ennaji, Abdellatif (2005). An incremental growing neural gas learns topologies. Neural Networks, 2005. IJCNN'05. Proceedings. 2005 IEEE International Joint Conference on. Vol. 2. pp. 1211–1216. doi:10.1109/IJCNN.2005.1556026. ISBN 978-0-7803-9048-5. S2CID 41517545.

[pgas-9] ۹٫۰ ^۹٫۱ Ridella, Sandro; Rovetta, Stefano; Zunino, Rodolfo (1998). "Plastic algorithm for adaptive vector quantisation". Neural Computing & Applications. 7: 37–51. doi:10.1007/BF01413708.

[10] Iqbal, Hafsa; Campo, Damian; Baydoun, Mohamad; Marcenaro, Lucio; Martin, David; Regazzoni, Carlo (2019). "Clustering Optimization for Abnormality Detection in Semi-Autonomous Systems". St International Workshop on Multimodal Understanding and Learning for Embodied Applications: 33–41. doi:10.1145/3347450.3357657. ISBN 978-1-4503-6918-3.

[:24-11] Prudent, Yann; Ennaji, Abdellatif (2005). An incremental growing neural gas learns topologies. Neural Networks, 2005. IJCNN'05. Proceedings. 2005 IEEE International Joint Conference on. Vol. 2. pp. 1211–1216. doi:10.1109/IJCNN.2005.1556026. ISBN 978-0-7803-9048-5. S2CID 41517545.

[12] Ancona, Fabio; Rovetta, Stefano; Zunino, Rodolfo (1996). "A parallel approach to plastic neural gas". Proceedings of International Conference on Neural Networks (ICNN'96). 1: 126–130. doi:10.1109/ICNN.1996.548878. ISBN 0-7803-3210-5.

[13] Ancona, Fabio; Rovetta, Stefano; Zunino, Rodolfo (1997). "Hardware implementation of the neural gas". Proceedings of International Conference on Neural Networks (ICNN'97). 2: 991–994. doi:10.1109/ICNN.1997.616161. ISBN 0-7803-4122-8.

[۱]

[۲]

[۳]

[۴]

[۵]

[۶]

[۷]

[۸]

[۹]

[۱۰]

[۱۱]

[۱۲]

[۱۳]