نوایندکس
قراردادن مقدار نوایندکس (به انگلیسی: noindex) در متاتگ این درخواست را از ربات‌های خزنه اینترنتی دارد که از فهرست کردن یک صفحه وب اجتناب کنند.[۱][۲] دلایلی که ممکن است بخواهید از این متا تگ استفاده کنید عبارتند از: توصیه به روبات‌ها برای فهرست نکردن پایگاه داده‌های بسیار بزرگ، صفحات وب که بسیار گذرا و موقتی هستند، صفحات وب در حال توسعه، یا چاپگر و نسخه‌های موبایل پسند. البته تفسیر تگ noindex گاهی از یک موتور جستجو به موتور جستجوی دیگر کمی متفاوت است.
نوایندکس سازی کل صفحات
[ویرایش]<html>
<head>
<meta name="robots" content="noindex">
<title>Don't index this page</title>
</head>
مقادیر قابل قبول برای متاتگ robots عبارتند از: "none", "all", "index", "noindex", "nofollow" و "follow". استفاده ترکیبی از این مقادیر نیز ممکن است.[۱] برای مثال:
<meta name="robots" content="noindex, follow">
دستورالعمل‌های محدود به یک ربات خاص
[ویرایش]دستورالعمل نوایندکس را می‌توان تنها به ربات‌های خاصی با تعیین اسم ربات در مقدار "name" در متاتگ محدود کرد.
به عنوان مثال، برای مسدود کردن ربات گوگل:[۳]
<meta name="googlebot" content="noindex">
یا برای مسدود کردن ربات بینگ:
<meta name="bingbot" content="noindex">
یا برای مسدود کردن ربات بایدو:
<meta name="baiduspider" content="noindex">
فایل robots.txt
[ویرایش]فایل robots.txt می‌تواند برای جلوگیری از خزیدن ربات‌ها استفاده شود.
نوایندکس کردن بخشی از یک صفحه
[ویرایش]همچنین ممکن است بخشی از یک صفحه وب، به عنوان مثال متن ناوبری، از نمایه شدن به جای کل صفحه حذف شود. تکنیک‌های مختلفی برای انجام این کار وجود دارد. امکان استفاده از چندین در ترکیب وجود دارد. عنکبوت اصلی نمایه سازی گوگل، Googlebot، هیچ‌یک از این تکنیک‌ها را نمی‌شناسد.
تگ <noindex>
[ویرایش]موتور جستجوی روسی یاندکس تگ جدید <noindex> را معرفی کرد که از ایندکس محتوای بین تگ‌ها جلوگیری می‌کند. برای معتبر ماندن کد صفحات، می‌توان از <!--noindex--> استفاده کرد.[۴]
<p>
Do index this text.
<noindex>Don't index this text.</noindex>
<!--noindex-->Don't index this text.<!--/noindex-->
</p>
سایر خزنده‌های وب نیز تگ <noindex> را می‌شناسند.[۵]
میکروفرمت
[ویرایش]مشخصات میکروفرمت‌های پیش نویس ۲۰۰۵ با همین عملکرد وجود دارد. نمایه حذف ربات به دنبال ویژگی و مقدار class="robots-noindex" در تگ‌های HTML می‌گردد:[۶]
<p>Do index this text.</p>
<div class="robots-noindex">Don't index this text.</div>
<span class="robots-noindex">Don't index this text.</span>
<p class="robots-noindex">Don't index this text.</p>
استفاده ترکیبی از مقادیر نیز ممکن است،[۶] برای مثال:
<div class="robots-noindex robots-follow">Text.</div>
یاهو
[ویرایش]در سال ۲۰۰۷، یاهو! عملکرد مشابه میکروفرمت را به خزنده خود معرفی کرد. با این حال، عنکبوتخزنده یاهو از این نظر ناسازگار است که به دنبال مقدار class="robots-nocontent" و فقط این مقدار می‌گردد:[۷]
<p>Do index this text.</p>
<div class="robots-nocontent">Don't index this text.</div>
<span class="robots-nocontent">Don't index this text.</span>
<p class="robots-nocontent">Don't index this text.</p>
شیرپوینت
[ویرایش]آی‌فیلتر شیرپوینت ۲۰۱۰ محتوای داخل یک تگ <div> با ویژگی و مقدار class="noindex" را حذف می کند. همچنین مشخص نیست که آیا این ویژگی را می‌توان برای تگ‌هایی غیر از <div> اعمال کرد یا خیر.[۸]
<p>Do index this text.</p>
<div class="noindex">Don't index this text.</div>
نظرات ساختاریافته
[ویرایش]جستجوگر گوگل از نظرات ساختاریافته استفاده می‌کند:[۹]
<p>
Do index this text.
<!--googleoff: all-->
Don't index this text.
<!--googleon: all-->
</p>
سایر خزنده‌ها از نظرات ساختاریافته خود استفاده می‌کنند.
- ویژگی لینک نوفالو
- استاندارد حذف ربات‌ها
منابع
[ویرایش]- ↑ ۱٫۰ ۱٫۱ Robots and the META element, Official W3 specification
- ↑ About the Robots <META> tag
- ↑ Using meta tags to block access to your site, Google Webmasters Tools Help
- ↑ "Using HTML tags". webmaster → help. Yandex. Section: <noindex> tag. Retrieved March 25, 2013.
- ↑ "General Search FAQ". Help. Atomz. 2013. Section: How do I exclude parts of my site from being searched?. Archived from the original on 8 December 2021. Retrieved March 23, 2013.
Need to prevent parts of individual pages from being searched? If you want to exclude portions of a page from indexing, surround the text with <noindex> and </noindex> tags. This is useful, for example, if you want to exclude navigation text from searches.
(نیازمند ثبت‌نام) - ↑ ۶٫۰ ۶٫۱ Janes, Peter (June 18, 2005). "Robot Exclusion Profile". Microformats. Retrieved March 24, 2013.
- ↑ Garg, Priyank (May 2, 2007). "Introducing Robots-Nocontent for Page Sections". Yahoo! Search Blog. Yahoo!. Archived from the original on August 20, 2014. Retrieved March 23, 2013.
- ↑ "Control Search Indexing (Crawling) Within a Page with Noindex". Microsoft Developer. Microsoft. June 7, 2010. Archived from the original on November 4, 2017. Retrieved November 4, 2017.
- ↑ "Administering Crawl: Preparing for a Crawl". Google Search Appliance. Google Inc. August 23, 2012. Section: Excluding Unwanted Text from the Index. Archived from the original on November 23, 2012. Retrieved March 23, 2013.