منظور از فایل robots.txt چیست و چگونه کار میکند؟
ربات‌های موتور‌های جستجوگر و یا ابزارهای مشابه این گونه کار می‌کنند که با پیدا کردن یک لینک url خاص آن را در لیست خود قرار می‌دهند و آن را بررسی و در نتایج جستجو قرار می‌دهند.
در صورتی که بخواهید جلوی ربات‌های موتور جستجوگر و یا ربات‌های دیگر بگیرید می‌توانید از فایل robots.txt تنظیماتی را اعمال کنید که به یک روبات و تا تمام ربات ها اجازه وارد شدن به یک صفحه خاص و یا مسیر خاص را ندهد.
روش کار به این گونه است که فایل robots.txt را در صفحه اصلی سایت قرار می‌دهید. در این فایل به صورت زیر نوشته می‌شود که این روبات‌ها اجازه دیدن محتوا را دارند و این ربات‌ها اجازه دیدن محتوا را ندارند.
به این صورت که با عبارت user-egent: robat name و در خط بعد disallow: address به این صورت ورود ربات مورد نظر به آدرس و زیر مجموعه آنها گرفته می‌شود.
همچنین می‌توانید با استفاده از عبارت الو مسیر خاصی را اجازه عبور داشته باشند.
همچنین می‌توانید ازگزینه ستاره برای انتخاب همه ربات‌ها استفاده کنید.
همچنین می توانید از عبارت گوگل بات برای مشخص کردن ربات گوگل استفاده کنید.
همچنین می توانید با قرار دادن sitemap:(آدرس سایت مپ) به ربات‌ها فایل سایت مپ سایتتان را معرفی کنید تا پس از مشاهده فایل روبوتس بتوانند به نقشه سایت دسترسی داشته باشند و به صفحات سایتتان دسترسی داشته باشند و قابل بررسی باشند که در صورت لزوم تایید آنها را ایندکس کند.
