प्रसंग: Robots.txt का उपयोग रोबोट बहिष्करण मानक के हिस्से के रूप में किया जाता है, एक स्वैच्छिक प्रोटोकॉल जो इंटरनेट आर्काइव का सम्मान करता है जो बॉट को अपने निर्माता द्वारा निर्दिष्ट कुछ पृष्ठों को ऑफ-लिमिट के रूप में अनुक्रमित करने से मना करता है। नतीजतन, इंटरनेट आर्काइव ने कई वेब साइटों को अनुपलब्ध कर दिया है जो अब वेबैक मशीन के माध्यम से अनुपलब्ध हैं। वर्तमान में, इंटरनेट आर्काइव पूर्वव्यापी रूप से robots.txt नियमों को लागू करता है; यदि कोई साइट इंटरनेट आर्काइव को अवरुद्ध करती है, जैसे कि हेल्थकेयर एडवोकेट्स, तो डोमेन से पहले से संग्रहीत पृष्ठ भी उपलब्ध नहीं हैं। अवरुद्ध साइटों के मामलों में, केवल robots.txt फ़ाइल संग्रहीत की जाती है।

सवाल: रोबोट बहिष्करण मानक द्वारा प्रचारित अधिकारों का प्रयोग करने के लिए किस फ़ाइल का उपयोग किया जाता है?

उत्तर: Robots.txt