خزنده وب

خزندهٔ وب، (انگلیسی: Web Crawler) یک برنامه رایانه‌ای است که توانایی مرور و ثبت اطلاعات را از وب‌سایت‌ها به صورت خودکار دارد. «خزندهٔ وب» به چندین شکل مختلف تعریف می‌شود که برخی از آنان:

• عنکبوت‌های وب (انگلیسی: Web Spider)
• فهرست سازان خودکار (انگلیسی: Automatic Indexers)
• ربات‌های نرم‌افزاری خودکار (انگلیسی: Web Robots)
• نرم‌افزارهای FOAF.
• ...

را شامل می‌شود.

دلایل استفاده

به عنوان مثال موتورهای جستجوگر با بهره‌گیری از این گونه نرم‌افزارها به صورت خودکار صفحات مختلف وب سایت‌ها را ثبت، آنالیز و رده‌بندی می‌کنند.

نمونه‌ها

• Googlebot
• FAST Crawler: یک خزندهٔ توزیع‌شده.
• GM Crawl: یک خزندهٔ بسیار مقیاس‌پذیر که به شیوهٔ نرم‌افزار اجاره‌ای قابل استفاده است.
• Bingbot: نام خزندهٔ مربوط به موتور جستجوی بینگ متعلق به شرکت مایکروسافت. جایگزین Msnbot.
• PolyBot
• RBSE
• Swiftbot
• WebCrawler
• WebRACE
• WebFountain
• World Wide Web Worm
• Yahoo! Slurp

نمونه‌های متن‌باز

• Frontena
• GNU Wget
• GRUB
• Heritrix
• ht://Dig
• HTTrack
• mnoGoSearch
• news-please
• Apache Nutch
• Open Search Server
• PHP-Crawler
• Scrapy
• Seeks
• Sphinx
• StormCrawler
• Xapian
• YaCy
• Octoparse