پرش به محتوا

توهم (هوش مصنوعی)

از ویکی‌پدیا، دانشنامهٔ آزاد

در هوش مصنوعی (AI)، توهم یا توهم مصنوعی (به انگلیسی: Hallucination (artificial intelligence)) یک پاسخ مطمئن توسط هوش مصنوعی است که به نظر نمی‌رسد با داده‌های آموزشی آن توجیه شود.[۱] برای مثال، یک ربات چت توهم‌آمیز بدون اطلاع از درآمد تسلا ممکن است به صورت داخلی یک عدد تصادفی (مانند ۱۳٫۶ دلار) انتخاب کند. میلیارد") که چت بات قابل قبول می‌داند، و سپس به دروغ و مکرراً اصرار می‌کند که درآمد تسلا ۱۳٫۶ دلار است. میلیارد دلار، بدون هیچ نشانه ای از آگاهی داخلی مبنی بر اینکه این رقم محصول تخیل خودش است.[۲]

چنین پدیده‌هایی را «توهم» می‌نامند، که در قیاس با پدیده توهم در روان‌شناسی انسان است. توجه داشته باشید که در حالی که توهم انسانی ادراک انسان است که نمی‌تواند به‌طور معقولی با بخشی از دنیای بیرونی که انسان در حال حاضر مستقیماً با اندام‌های حسی آن را مشاهده می‌کند مرتبط باشد، توهم هوش مصنوعی در عوض پاسخی مطمئن توسط یک هوش مصنوعی است که نمی‌توان آن را پایه‌گذاری کرد. در هر یک از داده‌های آموزشی آن.[۱] توهم هوش مصنوعی در حدود سال ۲۰۲۲ در کنار رونمایی از برخی از مدل‌های زبانی بزرگ (LLM) مانند چت‌جی‌پی‌تی برجسته شد. کاربران شکایت داشتند که چنین ربات‌هایی اغلب به‌نظر می‌رسد که «اجتماعی‌آمیز» و بی‌معنی دروغ‌های تصادفی قابل قبولی را در محتوای تولید شده خود جاسازی می‌کنند.[۳] نمونه دیگری از توهم در هوش مصنوعی زمانی است که هوش مصنوعی ها یا ربات های چت فراموش می‌کنند که یک بات هستند و ادعا می‌کنند که انسان هستند.[۴]

تا سال ۲۰۲۳، تحلیلگران توهم مکرر را به عنوان یک مشکل بزرگ در فناوری LLM در نظر گرفتند.[۵]

تحلیل و بررسی

[ویرایش]

محققان مختلفی که توسط Wired به آنها اشاره شده‌است، توهمات متخاصم را به عنوان یک پدیده آماری با ابعاد بالا طبقه‌بندی کرده‌اند یا توهمات را به داده‌های آموزشی ناکافی نسبت داده‌اند. برخی از محققان بر این باورند که برخی از پاسخ‌های هوش مصنوعی «نادرست» که توسط انسان به عنوان «توهم» در مورد تشخیص اشیا طبقه‌بندی شده‌اند، ممکن است در واقع با داده‌های آموزشی توجیه شوند، یا حتی ممکن است یک هوش مصنوعی پاسخ «درست» را بدهد که بازبین‌های انسانی. قادر به دیدن نیستند به عنوان مثال، یک تصویر متخاصم که برای یک انسان مانند یک تصویر معمولی از یک سگ به نظر می‌رسد، ممکن است در واقع توسط هوش مصنوعی حاوی الگوهای کوچکی باشد که (در تصاویر معتبر) فقط هنگام مشاهده گربه ظاهر می‌شوند. هوش مصنوعی الگوهای بصری دنیای واقعی را شناسایی می‌کند که انسان‌ها نسبت به آنها حساس نیستند.[۶]

با این حال، این یافته‌ها توسط محققان دیگر به چالش کشیده شده‌است.[۷] به عنوان مثال، اعتراض شد که مدل‌ها می‌توانند به سمت آمارهای سطحی سوگیری داشته باشند، که باعث می‌شود آموزش خصمانه در سناریوهای دنیای واقعی قوی نباشد.[۷]

در پردازش زبان طبیعی

[ویرایش]

در پردازش زبان طبیعی، توهم اغلب به عنوان «محتوای تولید شده که به محتوای منبع ارائه شده بی‌معنا یا بی‌وفا است» تعریف می‌شود. خطا در رمزگذاری و رمزگشایی بین متن و بازنمایی می‌تواند باعث توهم شود. آموزش هوش مصنوعی برای ایجاد پاسخ‌های متنوع نیز می‌تواند منجر به توهم شود. زمانی که هوش مصنوعی بر روی مجموعه داده‌ای آموزش داده می‌شود که در آن خلاصه‌های برچسب گذاری شده، علیرغم اینکه از نظر واقعی دقیق هستند، مستقیماً بر اساس داده‌های برچسب گذاری شده‌ای که ظاهراً «خلاصه» شده‌اند، مستقر نیستند، توهم نیز ممکن است رخ دهد. مجموعه داده‌های بزرگ‌تر می‌توانند مشکل دانش پارامتریک (دانشی که در پارامترهای سیستم آموخته‌شده به‌طور سخت سیم‌کشی شده‌است) ایجاد کنند، اگر سیستم بیش از حد به دانش سیم‌کشی شده خود اعتماد داشته باشد، توهم ایجاد کند. در سیستم‌هایی مانند جی‌پی‌تی-۳، یک هوش مصنوعی هر کلمه بعدی را بر اساس دنباله ای از کلمات قبلی (شامل کلماتی که خود قبلاً در پاسخ فعلی ایجاد کرده‌است) تولید می‌کند، که باعث ایجاد یک توهم احتمالی با طولانی شدن پاسخ می‌شود.[۱] تا سال ۲۰۲۲، مقالاتی مانند نیویورک تایمز ابراز نگرانی کردند که با ادامه رشد پذیرش ربات‌های مبتنی بر مدل‌های زبانی بزرگ، اعتماد بی‌موجه کاربر به خروجی ربات می‌تواند منجر به مشکلاتی شود.[۸]

در اوت ۲۰۲۲، متا در هنگام انتشار BlenderBot 3 هشدار داد که سیستم مستعد «توهم» است، که متا آن را به عنوان «گزاره‌های مطمئنی که درست نیستند» تعریف کرد.[۹] در ۱۵ نوامبر ۲۰۲۲، متا از نسخهٔ نمایشی Galactica رونمایی کرد که برای «ذخیره، ترکیب و استدلال دربارهٔ دانش علمی» طراحی شده بود. محتوای تولید شده توسط Galactica با این هشدار همراه بود: «خروجی‌ها ممکن است غیرقابل اعتماد باشند! مدل‌های زبانی مستعد متن‌های توهم‌آمیز هستند." در یک مورد، هنگامی که از گالاکتیکا خواسته شد مقاله ای در مورد ایجاد آواتارها تهیه کند، به مقاله ساختگی از یک نویسنده واقعی که در منطقه مربوط کار می‌کند استناد کرد. متا در ۱۷ نوامبر Galactica را به دلیل تهاجمی و عدم دقت کنار کشید.[۱۰][۱۱]

در نظر گرفته می‌شود که دلایل احتمالی زیادی برای مدل‌های زبان طبیعی برای توهم دادن داده‌ها وجود دارد.[۱] مثلا:

  • توهم از داده‌ها: تفاوت‌هایی در محتوای منبع وجود دارد (که اغلب با داده‌های آموزشی بزرگ اتفاق می‌افتد)،
  • توهم از آموزش: توهم هنوز هم‌زمانی رخ می‌دهد که واگرایی کمی در مجموعه داده‌ها وجود داشته باشد. در آن صورت، از نحوه آموزش مدل ناشی می‌شود. دلایل زیادی می‌تواند در ایجاد این نوع توهم نقش داشته باشد، مانند:
    • رمزگشایی اشتباه از ترانسفورماتور
    • سوگیری از توالی‌های تاریخی که مدل قبلاً ایجاد کرده بود
    • یک سوگیری ایجاد شده از روشی که مدل دانش خود را در پارامترهای خود رمزگذاری می‌کند

ChatGPT

[ویرایش]

چت‌جی‌پی‌تی اوپن ای‌آی که در نسخه بتا در دسامبر ۲۰۲۲ برای عموم منتشر شد، بر اساس خانواده مدل‌های زبانی بزرگ GPT-3.5 است. پروفسور اتان مولیک از وارتون، ChatGPT را یک کارآموز دانای کل، مشتاق به خشنود دانسته که گاهی به شما دروغ می‌گوید. ترزا کوباکا، دانشمند داده، ساختن عمدی عبارت «الکترومگنون معکوس سیکلوئیدی» و آزمایش ChatGPT را با پرسش از ChatGPT در مورد پدیده (غیر موجود) بازگو کرده‌است. ChatGPT پاسخی با صدای معقول ابداع کرد که با استنادهایی به ظاهر قابل قبول همراه بود و او را وادار کرد تا دوباره بررسی کند که آیا به‌طور تصادفی نام یک پدیده واقعی را تایپ کرده‌است یا خیر. محققان دیگری مانند Oren Etzioni به Kubacka پیوسته‌اند تا ارزیابی کنند که چنین نرم‌افزاری اغلب می‌تواند به شما «پاسخی بسیار تأثیرگذار که کاملاً اشتباه است» بدهد.[۱۲]

زمانی که CNBC از ChatGPT برای اشعار آهنگ «تصنیف دوایت فرای» درخواست کرد، ChatGPT به جای اشعار واقعی، اشعار اختراعی را ارائه کرد.[۱۳] ChatGPT در مورد سؤالاتی که دربارهٔ نیوبرانزویک پرسیده شد، پاسخ‌های درستی دریافت کرد اما به اشتباه سامانتا بی را به عنوان «فردی از نیوبرانزویک» طبقه‌بندی کرد.[۱۴] در پاسخ به سؤالی دربارهٔ میدان‌های مغناطیسی اخترفیزیکی، ChatGPT به اشتباه اعلام کرد که "میدان‌های مغناطیسی (قوی) سیاهچاله‌ها توسط نیروهای گرانشی بسیار قوی در مجاورت آنها ایجاد می‌شوند. (در حقیقت، در نتیجه قضیه بدون مو، یک سیاهچاله بدون قرص برافزایشی تصور می‌شود که میدان مغناطیسی ندارد)[۱۵] فست کامپانی از ChatGPT خواست تا یک مقاله خبری در مورد آخرین سه ماهه مالی تسلا تولید کند. ChatGPT یک مقاله منسجم ایجاد کرد، اما اعداد مالی موجود در آن را تشکیل داد.[۲]

مثال‌های دیگر شامل طعمه‌گذاری ChatGPT با یک پیش‌فرض نادرست است تا ببینیم آیا این فرضیه را تزئین می‌کند یا خیر. هنگامی که در مورد «ایده هارولد کوارد در مورد متعارف بودن پویا» پرسیده شد، ChatGPT جعل کرد که کوارد کتابی با عنوان دینامیک متعارف: مدلی برای تفسیر کتاب مقدس و الهیات نوشت، با این استدلال که اصول دینی در واقع در حال تغییر دائمی هستند. هنگامی که فشار داده شد، ChatGPT همچنان اصرار داشت که کتاب واقعی است.[۱۶][۱۷] ChatGPT در پاسخ به درخواست مدرکی مبنی بر اینکه دایناسورها تمدنی ساخته‌اند، مدعی شد که بقایای فسیلی از ابزار دایناسورها وجود دارد و اظهار داشت: «برخی از گونه‌های دایناسورها حتی اشکال ابتدایی هنر را توسعه دادند، مانند حکاکی روی سنگ».[۱۸][۱۹]هنگامی که ChatGPT از آنها خواسته شد که «دانشمندان اخیراً چورو، شیرینی‌های سرخ‌شده خوشمزه را کشف کرده‌اند… ابزاری ایدئال برای جراحی خانگی هستند»، ChatGPT ادعا کرد که «مطالعه‌ای که در مجله ساینس منتشر شد» نشان داد که خمیر به اندازه کافی انعطاف‌پذیر است تا شکل بگیرد. به ابزارهای جراحی که می‌توانند به مکان‌های صعب العبور وارد شوند و طعم آن بر بیماران اثر آرام بخشی دارد.[۲۰][۲۱]

تا سال ۲۰۲۳، تحلیلگران توهم مکرر را به عنوان یک مشکل بزرگ در فناوری LLM در نظر گرفتند، به طوری که یکی از مدیران گوگل کاهش توهم را به عنوان یک کار «بنیادی» برای رقیب چت‌جی‌پی‌تی، گوگل بارد شناسایی کرد.[۵][۲۲] به نظر می‌رسد که یک نسخه نمایشی در سال ۲۰۲۳ برای هوش مصنوعی Bing مبتنی بر GPT مایکروسافت حاوی چندین توهم بود که توسط مجری مورد توجه قرار نگرفت.[۵]

در سایر هوش مصنوعی

[ویرایش]

مفهوم «توهم» به‌طور گسترده‌تر از پردازش زبان طبیعی به کار می‌رود. یک پاسخ مطمئن از هر هوش مصنوعی که با داده‌های آموزشی غیرقابل توجیه به نظر می‌رسد را می‌توان توهم نامید.[۱] وایرد در سال ۲۰۱۸ اشاره کرد که، علیرغم هیچ حمله ثبت شده «در طبیعت» (یعنی خارج از حملات اثبات مفهوم توسط محققان)، «معارض کمی» وجود داشت که ابزارهای مصرف‌کننده، و سیستم‌هایی مانند رانندگی خودکار، حساس هستند. به حملات خصمانه ای که می‌تواند باعث ایجاد توهم هوش مصنوعی شود. مثال‌ها شامل یک علامت توقف است که برای بینایی کامپیوتر نامرئی می‌شود. یک کلیپ صوتی مهندسی شده به گونه‌ای که برای انسان بی‌ضرر به نظر برسد، اما این نرم‌افزار به‌عنوان «دات کام شرور» رونویسی شده‌است. و تصویری از دو مرد روی اسکی که سکوی ابری گوگل به احتمال ۹۱ درصد آنها را «سگ» تشخیص داد.[۲۳]

روش‌های کاهش

[ویرایش]

پدیده توهم هنوز به‌طور کامل درک نشده‌است.[۱] بنابراین، هنوز تحقیقات در حال انجام برای تلاش برای کاهش ظهور آن وجود دارد.[۲۴] به ویژه، نشان داده شد که مدل‌های زبانی نه تنها توهم ایجاد می‌کنند، بلکه توهمات را تقویت می‌کنند، حتی برای مدل‌هایی که برای کاهش این مشکل طراحی شده‌اند.[۲۵]

جستارهای وابسته

[ویرایش]

منابع

[ویرایش]
  1. ↑ ۱٫۰ ۱٫۱ ۱٫۲ ۱٫۳ ۱٫۴ ۱٫۵ Ji, Ziwei; Lee, Nayeon; Frieske, Rita; Yu, Tiezheng; Su, Dan; Xu, Yan; Ishii, Etsuko; Bang, Yejin; Dai, Wenliang (November 2022). "Survey of Hallucination in Natural Language Generation" (pdf). ACM Computing Surveys. Association for Computing Machinery. 55 (12): 1–38. doi:10.1145/3571730. Retrieved 15 January 2023.
  2. ↑ ۲٫۰ ۲٫۱ Lin, Connie (5 December 2022). "How to easily trick OpenAI's genius new ChatGPT". Fast Company. Retrieved 6 January 2023.
  3. ↑ Seife, Charles (13 December 2022). "The Alarming Deceptions at the Heart of an Astounding New Chatbot". Slate. Retrieved 16 February 2023.
  4. ↑ Eliot, Lance. "AI Ethics Lucidly Questioning This Whole Hallucinating AI Popularized Trend That Has Got To Stop". Forbes (به انگلیسی). Retrieved 2023-03-06.
  5. ↑ ۵٫۰ ۵٫۱ ۵٫۲ Leswing, Kif (14 February 2023). "Microsoft's Bing A.I. made several factual errors in last week's launch demo". CNBC (به انگلیسی). Retrieved 16 February 2023.
  6. ↑ Matsakis, Louise (8 May 2019). "Artificial Intelligence May Not 'Hallucinate' After All". Wired. Retrieved 29 December 2022.
  7. ↑ ۷٫۰ ۷٫۱ Gilmer, Justin; Hendrycks, Dan (2019-08-06). "A Discussion of 'Adversarial Examples Are Not Bugs, They Are Features': Adversarial Example Researchers Need to Expand What is Meant by 'Robustness'". Distill. 4 (8). doi:10.23915/distill.00019.1. S2CID 201142364. Retrieved 2023-01-24.
  8. ↑ Metz, Cade (10 December 2022). "The New Chatbots Could Change the World. Can You Trust Them?". The New York Times. Retrieved 30 December 2022.
  9. ↑ Tung, Liam (8 August 2022). "Meta warns its new chatbot may forget that it's a bot". ZDNet (به انگلیسی). Red Ventures. Retrieved 30 December 2022.
  10. ↑ Edwards, Benj (18 November 2022). "New Meta AI demo writes racist and inaccurate scientific literature, gets pulled". Ars Technica (به انگلیسی). Retrieved 30 December 2022.
  11. ↑ «Michael Black [@Michael_J_Black]. "I asked #Galactica about some things I know about and I'm troubled. In all cases, it was wrong or biased but sounded right and authoritative" (Tweet). Retrieved 30 December 2022 – via». Twitter. دریافت‌شده در ۲۰۲۳-۰۳-۲۶.
  12. ↑ Bowman, Emma (19 December 2022). "A new AI chatbot might do your homework for you. But it's still not an A+ student". NPR (به انگلیسی). Retrieved 29 December 2022.
  13. ↑ Pitt, Sofia (15 December 2022). "Google vs. ChatGPT: Here's what happened when I swapped services for a day". CNBC (به انگلیسی). Retrieved 30 December 2022.
  14. ↑ Huizinga, Raechel (2022-12-30). "We asked an AI questions about New Brunswick. Some of the answers may surprise you". CBC.ca. Retrieved 30 December 2022.
  15. ↑ Zastrow, Mark (2022-12-30). "We Asked ChatGPT Your Questions About Astronomy. It Didn't Go so Well". Discover (به انگلیسی). Kalmbach Publishing Co. Retrieved 31 December 2022.
  16. ↑ Edwards, Benj (1 December 2022). "OpenAI invites everyone to test ChatGPT, a new AI-powered chatbot—with amusing results". Ars Technica (به انگلیسی). Retrieved 29 December 2022.
  17. ↑ «Michael Nielsen [@michael_nielsen]. "OpenAI's new chatbot is amazing. It hallucinates some very interesting things" (Tweet). Retrieved 29 December 2022 – via Twitter». Twitter. دریافت‌شده در ۲۰۲۳-۰۳-۲۶.
  18. ↑ Mollick, Ethan (14 December 2022). "ChatGPT Is a Tipping Point for AI". Harvard Business Review. Retrieved 29 December 2022.
  19. ↑ «Ethan Mollick [@emollick]. "One of the big subtle problems in the new "creative AIs" is that they can seem completely certain, and getting them to switch from sane to hallucinatory is a difference of a couple words" (Tweet). Retrieved 29 December 2022 – via Twitter». Twitter. دریافت‌شده در ۲۰۲۳-۰۳-۲۵.
  20. ↑ Kantrowitz, Alex (2 December 2022). "Finally, an A.I. Chatbot That Reliably Passes "the Nazi Test"". Slate (به انگلیسی). Retrieved 29 December 2022.
  21. ↑ Marcus, Gary (2 December 2022). "How come GPT can seem so brilliant one minute and so breathtakingly dumb the next?". The Road to AI We Can Trust (به انگلیسی). Substack. Retrieved 29 December 2022.
  22. ↑ "Google cautions against 'hallucinating' chatbots, report says". Reuters (به انگلیسی). 11 February 2023. Retrieved 16 February 2023.
  23. ↑ Simonite, Tom (2018-03-09). "AI Has a Hallucination Problem That's Proving Tough to Fix". Wired. Condé Nast. Retrieved 29 December 2022.
  24. ↑ Nie, Feng; Yao, Jin-Ge; Wang, Jinpeng; Pan, Rong; Lin, Chin-Yew (July 2019). "A Simple Recipe towards Reducing Hallucination in Neural Surface Realisation" (PDF). Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. Association for Computational Linguistics: 2673–2679. doi:10.18653/v1/P19-1256. Retrieved 15 January 2023.
  25. ↑ Dziri, Nouha; Milton, Sivan; Yu, Mo; Zaiane, Osmar; Reddy, Siva (July 2022). "On the Origin of Hallucinations in Conversational Models: Is it the Datasets or the Models?" (PDF). Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. Association for Computational Linguistics. doi:10.18653/v1/2022.naacl-main.38. Retrieved 15 January 2023.
برگرفته از «https://fa.wikipedia.org/w/index.php?title=توهم_(هوش_مصنوعی)&oldid=39892518»