در چه صورتی گوگل نمی‌تواند محتوای وب سایت را در نتایج قرار دهد و یا از نتایج حذف کند؟
با مطالعه این مقاله یاد خواهید گرفت که چگونه صفحه‌ای از سایت خود را از دید دید گوگل دور نگه دارید که ایندکس نشود.
ربات‌های موتورهای جستجوگر از طریق لینک‌های مختلف در وب سایت شما و یا از طریق سایت مپی که به آن معرفی شده می‌توانند urlهای وب سایت شما را مشاهده و بررسی کنند.
اما در صورتی که در مسیر ربات‌ها محدودیتی وجود داشته باشد نمی‌توانند به آن url دسترسی داشته باشند.
به وجود آمدن محدودیت برای ربات‌های گوگل به چند شکل است
- به وجود آوردن محدودیت‌هایی در فایل robots.txt است که در صفحه اصلی سایت گذاشته می‌شود.
- برای یک آدرس پسورد گذاشته شود.
- همچنین شما به یوزر ایجنت استینگ گوگل و یا سایر موتورهای جستجوگر توسط سرور یا با برنامه نویسی اجازه دسترسی به آدرس را نداده باشید، ربات‌های جستجوگر‌ها نمی‌توانند به آدرس‌های شما دسترسی پیدا کنند.
پس به همین ترتیب حتی اگر بعد از کشف کردن آدرس‌های شما قرار باشد آنها را به هر دلیل و خطایی نوع ایندکس کنند هم آنها را پیدا نمی‌کنند.
