وب سایت سید حامد واحدی | Seyedhamed Vahedi Website

جلوگیری از ایندکس شدن صفحه توسط موتور جستجو


موتورهای جستجو، روبات هایی دارند که تمام صفحات و لینک های سایت را پیمایش می کنند و آنها را ایندکس می کنند. شما به یکی از دو شیوه زیر می توانید فرایند ایندکس کردن را مدیریت کنید.

راه اول: اضافه کردن فایل Robots.txt به وب سایت:
شما می توانید در فایل Robots.txt ، فایل ها و فولدر هایی که تمایل دارید موتور جستجو به آن دسترسی داشته باشد یا فایل ها و فولدرهایی که تمایل دارید موتور جستجو به آن دسترسی نداشته باشد را معرفی کنید.
این فایل، یک فایل متنی ساده است که می تواند محتویاتی همانند زیر داشته باشد:

این خط به همه ربات ها مجوز اعمال دستوراتی که بعد از این خط درج شده است را می دهد؛ دستورات می تواند شامل دسترسی یا عدم دسترسی به یک فایل خاص یا فولدر باشد:
User-agent: *


این خط فقط به ربات گوگل مجوز اعمال دستورات بعد از این خط را می دهد:
User-agent: googlebot


این خط به ربات جستجوگر اعلام می کند که اجازه ایندکس کردن فایل و فولدرهای مسیر جاری را ندارد:
Disallow: /


این خط به ربات جستجوگر اعلام می کند که اجازه ایندکس کردن فایل با نام login.aspx را ندارد:
Disallow: /login.aspx


این خط به ربات جستجوگر اعلام می کند که اجازه ایندکس کردن محتویات فولدر admin را ندارد:
Disallow: /admin/


راه دوم: اضافه کردن Metatag های noindex و nofollow به صفحه:

این خط به ربات جستجوگر اعلام می کند که اجازه ایندکس کردن صفحه حاوی این metatag را ندارد:
<META NAME="robots" CONTENT="noindex">


این خط به ربات جستجوگر اعلام می کند که اجازه ایندکس کردن لینک های موجود در صفحه حاوی این metatag را ندارد:
<META NAME="robots" CONTENT="nofollow">


این خط به ربات جستجوگر اعلام می کند که اجازه ایندکس کردن صفحه حاوی این metatag و همچنین لینک های موجود در صفحه حاوی این metatag را ندارد:
<META NAME="robots" CONTENT="noindex,nofollow">
سید حامد واحدی سید حامد واحدی     28 آذر 1396