Web archiving
ویب آرکائیونگ ورلڈ وائڈ ویب کے کچھ حصوں کو جمع کرنے کا عمل ہے تاکہ یہ یقینی بنایا جا سکے کہ معلومات مستقبل کے محققین، مورخین اور عوام کے لیے آرکائیو میں محفوظ ہیں۔ ویب آرکائیوسٹ عام طور پر ویب پر معلومات کے بڑے سائز اور مقدار کی وجہ سے خودکار گرفتاری کے لیے ویب کرالرز کا استعمال کرتے ہیں۔ بلک کرالنگ اپروچ پر مبنی سب سے بڑی ویب آرکائیونگ تنظیم وے بیک مشین ہے، جو پوری ویب کے آرکائیو کو برقرار رکھنے کی کوشش کرتی ہے۔ ویب پر تخلیق اور ریکارڈ شدہ انسانی ثقافت کا بڑھتا ہوا حصہ یہ ناگزیر بناتا ہے کہ زیادہ سے زیادہ کتب خانوں اور آرکائیوز کو ویب آرکائیونگ کے چیلنجوں کا سامنا کرنا پڑے گا۔ قومی کتب خانے، قومی آرکائیوز اور تنظیموں کے مختلف کنسورشیا بھی ثقافتی طور پر اہم ویب مواد کو محفوظ کرنے میں شامل ہیں۔ تجارتی ویب آرکائیونگ سافٹ ویئر اور خدمات ان تنظیموں کے لیے بھی دستیاب ہیں جنہیں کارپوریٹ ورثے، ریگولیٹری، یا قانونی مقاصد کے لیے اپنے ویب مواد کو آرکائیو کرنے کی ضرورت ہے۔ تاریخ اور ترقی اگرچہ ویب کی ترتیب اور تنظیم 1990 کی دہائی کے وسط سے آخر تک رائج رہی ہے، لیکن بڑے پیمانے پر ویب آرکائیو کرنے والے پہلے منصوبوں میں سے ایک انٹرنیٹ آرکائیو تھا، جو 1996 میں بریوسٹر کہلے کے ذریعہ بنائی گئی ایک غیر منافع بخش تنظیم تھی۔ انٹرنیٹ آرکائیو نے آرکائیو شدہ ویب مواد کو دیکھنے کے لیے اپنا سرچ انجن، وے بیک مشین، 2001 میں جاری کیا۔ 2018 تک، انٹرنیٹ آرکائیو 40 پیٹا بائٹس ڈیٹا کا گھر تھا۔ انٹرنیٹ آرکائیو نے اپنے ڈیٹا کو جمع کرنے اور ذخیرہ کرنے کے لیے اپنے بہت سے ٹولز بھی تیار کیے، بشمول پیٹا باکس بڑی مقدار میں ڈیٹا کو موثر اور محفوظ طریقے سے ذخیرہ کرنے کے لیے، اور ہیریٹریکس، ایک ویب کرالر جو نورڈک نیشنل لائبریریوں کے ساتھ مل کر تیار کیا گیا۔ اسی وقت شروع کیے گئے دیگر منصوبوں میں نیشنل لائبریری آف کینیڈا، آسٹریلیا کے پنڈورا، تسمانیا کے ویب آرکائیوز اور سویڈن کے کلٹورارو 3 کا ویب آرکائیونگ پروجیکٹ شامل تھا۔ 2001 سے انٹرنیشنل ویب آرکائیونگ ورکشاپ (آئی ڈبلیو اے ڈبلیو) نے تجربات بانٹنے اور خیالات کے تبادلے کے لیے ایک پلیٹ فارم فراہم کیا۔ 2003 میں قائم ہونے والے انٹرنیشنل انٹرنیٹ پریزرویشن کنسورشیم (آئی آئی پی سی) نے ویب آرکائیوز کی تخلیق کے لیے معیارات اور اوپن سورس ٹولز تیار کرنے میں بین الاقوامی تعاون کی سہولت فراہم کی ہے۔ اب غیر فعال انٹرنیٹ میموری فاؤنڈیشن کی بنیاد 2004 میں رکھی گئی تھی اور اس کی بنیاد یورپی کمیشن نے یورپ میں ویب کو آرکائیو کرنے کے لیے رکھی تھی۔ اس پروجیکٹ نے بہت سے اوپن سورس ٹولز تیار اور جاری کیے، جیسے کہ "ریچ میڈیا کیپچرنگ، عارضی ہم آہنگی تجزیہ، سپیم تشخیص، اور اصطلاحات ارتقاء کا پتہ لگانا"۔ فاؤنڈیشن کا ڈیٹا اب انٹرنیٹ آرکائیو کے پاس ہے، لیکن فی الحال عوامی طور پر قابل رسائی نہیں ہے۔ اس حقیقت کے باوجود کہ اس کے تحفظ کی کوئی مرکزی ذمہ داری نہیں ہے، ویب مواد تیزی سے سرکاری ریکارڈ بنتا جا رہا ہے۔ مثال کے طور پر، 2017 میں، ریاستہائے متحدہ کے محکمہ انصاف نے تصدیق کی کہ حکومت صدر کے ٹویٹس کو سرکاری بیانات کے طور پر مانتی ہے۔ ویب آرکائیوسٹ کو جمع کرنا عام طور پر مختلف قسم کے ویب مواد کو آرکائیو کرتا ہے جس میں ایچ ٹی ایم ایل ویب پیجز، اسٹائل شیٹس، جاوا اسکرپٹ، تصاویر اور ویڈیو شامل ہیں۔ وہ جمع کردہ وسائل جیسے رسائی کا وقت، ایم آئی ایم ای کی قسم، اور مواد کی لمبائی کے بارے میں میٹا ڈیٹا کو بھی محفوظ کرتے ہیں۔ یہ میٹا ڈیٹا آرکائیو شدہ مجموعہ کی صداقت اور اصلیت کو قائم کرنے میں مفید ہے۔ جمع کرنے کے طریقے ریموٹ ہارویسٹنگ سب سے عام ویب آرکائیونگ تکنیک ویب صفحات جمع کرنے کے عمل کو خودکار بنانے کے لیے ویب کرالرز کا استعمال کرتی ہے۔ ویب کرالر عام طور پر ویب صفحات تک اسی انداز میں رسائی حاصل کرتے ہیں جس طرح براؤزر والے صارفین ویب کو دیکھتے ہیں، اور اس وجہ سے ریموٹ ہارویسٹنگ ویب مواد کا نسبتا آسان طریقہ فراہم کرتے ہیں۔ ویب آرکائیونگ کے لیے استعمال ہونے والے ویب کرالروں کی مثالوں میں شامل ہیں: ہیریٹریکس ایچ ٹی ٹریک ویجیٹ مختلف مفت خدمات موجود ہیں جو ویب کرالنگ تکنیک کا استعمال کرتے ہوئے "آن ڈیمانڈ" ویب وسائل کو آرکائیو کرنے کے لیے استعمال کی جا سکتی ہیں۔ ان خدمات میں وے بیک مشین اور ویب سائٹ شامل ہیں۔ ڈیٹا بیس آرکائیونگ ڈیٹا بیس آرکائیونگ سے مراد ڈیٹا بیس پر مبنی ویب سائٹس کے بنیادی مواد کو محفوظ کرنے کے طریقے ہیں۔ اس کے لیے عام طور پر ڈیٹا بیس کے مواد کو ایک معیاری اسکیما میں نکالنے کی ضرورت ہوتی ہے، اکثر ایکس ایم ایل کا استعمال کرتے ہوئے۔ ایک بار اس معیاری شکل میں محفوظ ہونے کے بعد، متعدد ڈیٹا بیس کے آرکائیو شدہ مواد کو ایک واحد رسائی کے نظام کا استعمال کرتے ہوئے دستیاب کیا جا سکتا ہے۔ اس نقطہ نظر کی مثال بالترتیب بیبلیوتھک نیشنل ڈی فرانس اور نیشنل لائبریری آف آسٹریلیا کے تیار کردہ ڈیپ آرک اور شنک ٹولز سے ملتی ہے۔ ڈیپ آرک ایک متعلقہ ڈیٹا بیس کے ڈھانچے کو ایکس ایم ایل اسکیما میں نقشہ بند کرنے اور مواد کو ایکس ایم ایل دستاویز میں برآمد کرنے کے قابل بناتا ہے۔ شنق پھر اس مواد کو آن لائن پہنچانے کی اجازت دیتا ہے۔ اگرچہ ویب سائٹ کی اصل ترتیب اور طرز عمل کو بالکل محفوظ نہیں رکھا جا سکتا، لیکن شنق بنیادی استفسار اور بازیافت کی فعالیت کو نقل کرنے کی اجازت دیتا ہے۔ ٹرانزیکشنل آرکائیونگ ٹرانزیکشنل آرکائیونگ ایک ایونٹ پر مبنی نقطہ نظر ہے، جو ویب سرور اور ویب براؤزر کے درمیان ہونے والے اصل لین دین کو جمع کرتا ہے۔ یہ بنیادی طور پر اس مواد کے ثبوت کو محفوظ کرنے کے ایک ذریعہ کے طور پر استعمال ہوتا ہے جو اصل میں کسی مخصوص ویب سائٹ پر کسی مقررہ تاریخ پر دیکھا گیا تھا۔ یہ ان تنظیموں کے لیے خاص طور پر اہم ہو سکتا ہے جنہیں معلومات کو ظاہر کرنے اور برقرار رکھنے کے لیے قانونی یا ریگولیٹری تقاضوں کی تعمیل کرنے کی ضرورت ہے۔ ٹرانزیکشنل آرکائیونگ سسٹم عام طور پر ویب سرور کو ہر HTTP درخواست کو روک کر، اور اس سے جواب دے کر، ڈپلیکیٹ مواد کو ختم کرنے کے لیے ہر جواب کو فلٹر کرکے، اور جوابات کو مستقل طور پر بٹ اسٹریمز کے طور پر محفوظ کرکے کام کرتا ہے۔ مشکلات اور حدود کرالرز ویب آرکائیوز جو ویب کو جمع کرنے کے اپنے بنیادی ذریعہ کے طور پر ویب رینگنے پر انحصار کرتے ہیں، ویب رینگنے کی مشکلات سے متاثر ہوتے ہیں: روبوٹ اخراج پروٹوکول کرالرز سے درخواست کر سکتا ہے کہ وہ ویب سائٹ کے کچھ حصوں تک رسائی حاصل نہ کریں۔ کچھ ویب آرکائیوسٹ درخواست کو نظر انداز کر سکتے ہیں اور ویسے بھی ان حصوں کو رینگ سکتے ہیں۔ ویب سائٹ کے بڑے حصے ڈیپ ویب میں چھپے ہو سکتے ہیں۔ مثال کے طور پر، ویب فارم کے پیچھے نتائج کا صفحہ ڈیپ ویب میں پڑ سکتا ہے اگر کرالرز نتائج کے صفحے کے لنک پر عمل نہیں کر سکتے ہیں۔ کرالر ٹریپس (مثال کے طور پر، کیلنڈر) ایک کرالر کو لامحدود تعداد میں صفحات ڈاؤن لوڈ کرنے کا سبب بن سکتے ہیں، لہذا کرالرز کو عام طور پر متحرک صفحات کی تعداد کو محدود کرنے کے لیے ترتیب دیا جاتا ہے جو وہ کرال کرتے ہیں۔ آرکائیونگ کے زیادہ تر ٹولز پیج کو جیسا ہے ویسا نہیں رکھتے۔ یہ دیکھا گیا ہے کہ آرکائیو کرتے وقت اشتہاری بینرز اور تصاویر اکثر چھوٹ جاتی ہیں۔ تاہم، یہ نوٹ کرنا ضروری ہے کہ ایک مقامی فارمیٹ ویب آرکائیو، یعنی ایک مکمل براؤز ایبل ویب آرکائیو، جس میں ورکنگ لنکس، میڈیا وغیرہ شامل ہیں، کرالر ٹیکنالوجی کا استعمال کرتے ہوئے ہی واقعی ممکن ہے۔ ویب اتنا بڑا ہے کہ اس کے ایک اہم حصے کو رینگنے میں بڑی تعداد میں تکنیکی وسائل درکار ہوتے ہیں۔ نیز، ویب اتنی تیزی سے تبدیل ہو رہا ہے کہ کسی ویب سائٹ کے کچھ حصوں میں اس سے پہلے کہ کسی کرالر نے اسے رینگنا ختم کر دیا ہو اس میں ترمیم کا سامنا کرنا پڑ سکتا ہے۔ عام حدود کچھ ویب سرورز کو باقاعدہ براؤزر کی درخواستوں کے جواب میں ویب آرکائیوور کی درخواستوں پر مختلف صفحات واپس کرنے کے لیے ترتیب دیا جاتا ہے۔ یہ عام طور پر سرچ انجنوں کو کسی ویب سائٹ پر زیادہ صارف ٹریفک کی ہدایت کرنے کے لیے بے وقوف بنانے کے لیے کیا جاتا ہے، اور اکثر جوابدہی سے بچنے کے لیے کیا جاتا ہے، یا صرف ان براؤزرز کو بہتر مواد فراہم کرنے کے لیے کیا جاتا ہے جو اسے ظاہر کر سکتے ہیں۔ ویب آرکائیوسٹس کو نہ صرف ویب آرکائیونگ کے تکنیکی چیلنجوں سے نمٹنا چاہیے، بلکہ انہیں دانشورانہ املاک کے قوانین کا بھی مقابلہ کرنا چاہیے۔ پیٹر لیمن کا کہنا ہے کہ "اگرچہ ویب کو مقبول طور پر پبلک ڈومین ریسورس سمجھا جاتا ہے، لیکن یہ کاپی رائٹ شدہ ہے ؛ اس طرح، آرکائیوسٹس کو ویب کو کاپی کرنے کا کوئی قانونی حق نہیں ہے"۔ تاہم کچھ ممالک میں قومی کتب خانوں کو قانونی ڈپازٹ کی توسیع کے تحت ویب کے کچھ حصوں کو کاپی کرنے کا قانونی حق حاصل ہے۔ کچھ نجی غیر منافع بخش ویب آرکائیوز جنہیں عوامی طور پر قابل رسائی بنایا گیا ہے جیسے ویب سائٹ، انٹرنیٹ آرکائیو یا انٹرنیٹ میموری فاؤنڈیشن مواد کے مالکان کو آرکائیو شدہ مواد کو چھپانے یا ہٹانے کی اجازت دیتے ہیں جسے وہ نہیں چاہتے کہ عوام تک رسائی حاصل ہو۔ دیگر ویب آرکائیوز صرف مخصوص مقامات سے قابل رسائی ہیں یا ان کا استعمال منظم ہے۔ ویب سائٹ گوگل کی کیشنگ کے خلاف ایک حالیہ مقدمے کا حوالہ دیتی ہے، جسے گوگل نے جیت لیا۔ قوانین 2017 میں ریاستہائے متحدہ کی مالیاتی ریگولیٹری تنظیم فنانشل انڈسٹری ریگولیٹری اتھارٹی انکارپوریٹڈ (فنرا) نے ایک نوٹس جاری کیا جس میں کہا گیا ہے کہ ڈیجیٹل مواصلات کرنے والے تمام کاروبار کو ریکارڈ رکھنے کی ضرورت ہے۔ اس میں ویب سائٹ کا ڈیٹا، سوشل میڈیا پوسٹس اور پیغامات شامل ہیں۔ کچھ کاپی رائٹ قوانین ویب آرکائیونگ کو روک سکتے ہیں۔ مثال کے طور پر، سائنس ہب کی طرف سے تعلیمی آرکائیونگ عصری کاپی رائٹ قانون کی حدود سے باہر ہے۔ یہ سائٹ تعلیمی کاموں تک پائیدار رسائی فراہم کرتی ہے جن میں وہ بھی شامل ہیں جن کے پاس کھلی رسائی کا لائسنس نہیں ہے اور اس طرح سائنسی تحقیق کے آرکائیو میں حصہ ڈالتا ہے جو بصورت دیگر ضائع ہو سکتا ہے۔ اینا کی آرکائیو آرکائیو سائٹ آرکائیو ٹیم archive.today (سابقہ archive.is) اجتماعی میموری کامن کرال ڈیجیٹل ذخیرہ اندوزی ڈیجیٹل لائبریری گوگل کیش ویب آرکائیونگ اقدامات کی فہرست ویکیپیڈیا: ویب آرکائیوز کی فہرست ویکیپیڈیا میمنٹو پروجیکٹ منرووا انیشی ایٹو مرر ویب سائٹ نیشنل ڈیجیٹل انفارمیشن انفراسٹرکچر اینڈ پریزرویشن پروگرام (این ڈی آئی آئی پی پی) نیشنل ڈیجیٹل لائبریری پروگرام (این ڈی ایل پی) پی ڈی آئی سی اے ٹی پیج فریزر پنڈورا آرکائیو یو کے ویب آرکائیو ورچوئل آرٹیفیکٹ وے بیک مشین ویب کرالنگ ویب سائٹ حوالہ جات عمومی کتابچہ بیرونی روابط انٹرنیشنل انٹرنیٹ پریزرویشن کنسورشیم (آئی آئی پی سی)-بین الاقوامی کنسورشیم جس کا مشن انٹرنیٹ سے علم اور معلومات حاصل کرنا، محفوظ کرنا اور قابل رسائی بنانا ہے