=== منع الزحف (preventing crawling) ===لتجنب محتوى غير مرغوب فيه في فهارس البحث، ويمكن تكليف مشرفي العناكب ليس للزحف إلى بعض الملفات أو الدلائل من خلال ملف robots.txt القياسي في الدليل الجذر المجال.
=== Preventing crawling ===To avoid undesirable content in the search indexes, webmasters can instruct spiders not to crawl certain files or directories through the standard robots.txt file in the root directory of the domain.