प्रसंग: 1996 में ब्रूस गिलियट के साथ ब्रूस्टर काहले ने सभी सार्वजनिक रूप से सुलभ वर्ल्ड वाइड वेब पेज, गोफर पदानुक्रम, नेटन्यूज (यूज़नेट) बुलेटिन बोर्ड सिस्टम और डाउनलोड करने योग्य सॉफ्टवेयर को क्रॉल करने और डाउनलोड करने के लिए सॉफ्टवेयर विकसित किया। इन "क्रॉलर" द्वारा एकत्र की गई जानकारी में इंटरनेट पर उपलब्ध सभी जानकारी शामिल नहीं है, क्योंकि अधिकांश डेटा प्रकाशक द्वारा प्रतिबंधित है या डेटाबेस में संग्रहीत है जो सुलभ नहीं हैं। ये "क्रॉलर" उन वेबसाइटों के लिए रोबोट बहिष्करण मानक का भी सम्मान करते हैं जिनके मालिक उन्हें खोज परिणामों में दिखाई नहीं देने या कैश नहीं किए जाने का विकल्प चुनते हैं। आंशिक रूप से कैश की गई वेब साइटों में विसंगतियों को दूर करने के लिए, Archive-It.org को 2005 में इंटरनेट आर्काइव द्वारा संस्थानों और सामग्री निर्माताओं को स्वेच्छा से डिजिटल सामग्री के संग्रह को प्राप्त करने और संरक्षित करने की अनुमति देने के साधन के रूप में विकसित किया गया था, और डिजिटल अभिलेखागार बनाएँ। ये "क्रॉलर" उन वेबसाइटों के लिए रोबोट बहिष्करण मानक का भी सम्मान करते हैं जिनके मालिक उन्हें खोज परिणामों में दिखाई नहीं देने या कैश नहीं किए जाने का विकल्प चुनते हैं।

सवाल: वेब को क्रॉल और आर्काइव करने के लिए प्रोग्राम कब आवश्यक था?

उत्तर: 1996