Web archiving
વેબ આર્કાઇવિંગ એ વર્લ્ડ વાઇડ વેબના ભાગો એકત્રિત કરવાની પ્રક્રિયા છે જેથી ખાતરી કરી શકાય કે માહિતી ભવિષ્યના સંશોધકો, ઇતિહાસકારો અને લોકો માટે આર્કાઇવમાં સચવાયેલી છે. વેબ આર્કાઇવિસ્ટ સામાન્ય રીતે વેબ પર વિશાળ કદ અને માહિતીની માત્રાને કારણે સ્વચાલિત કેપ્ચર માટે વેબ ક્રોલર્સનો ઉપયોગ કરે છે. બલ્ક ક્રોલિંગ અભિગમ પર આધારિત સૌથી મોટી વેબ સંગ્રહ સંસ્થા વેબેક મશીન છે, જે સમગ્ર વેબનો સંગ્રહ જાળવવાનો પ્રયાસ કરે છે. વેબ પર બનાવેલ અને રેકોર્ડ કરાયેલ માનવ સંસ્કૃતિનો વધતો ભાગ એ અનિવાર્ય બનાવે છે કે વધુને વધુ પુસ્તકાલયો અને આર્કાઇવ્સને વેબ આર્કાઇવિંગના પડકારોનો સામનો કરવો પડશે. રાષ્ટ્રીય પુસ્તકાલયો, રાષ્ટ્રીય સંગ્રહાલયો અને સંસ્થાઓના વિવિધ સંગઠનો પણ સાંસ્કૃતિક રીતે મહત્વપૂર્ણ વેબ સામગ્રીને સંગ્રહિત કરવામાં સામેલ છે. વાણિજ્યિક વેબ આર્કાઇવિંગ સોફ્ટવેર અને સેવાઓ એવી સંસ્થાઓ માટે પણ ઉપલબ્ધ છે જેમને કોર્પોરેટ વારસો, નિયમનકારી અથવા કાનૂની હેતુઓ માટે તેમની પોતાની વેબ સામગ્રીને આર્કાઇવ કરવાની જરૂર છે. ઇતિહાસ અને વિકાસ 1990 ના દાયકાના મધ્યથી અંત સુધી વેબનું ક્યુરેશન અને સંગઠન પ્રચલિત હોવા છતાં, પ્રથમ મોટા પાયે વેબ આર્કાઇવિંગ પ્રોજેક્ટમાંનો એક ઇન્ટરનેટ આર્કાઇવ હતો, જે 1996 માં બ્રુસ્ટર કાહલે દ્વારા બનાવવામાં આવેલી બિન-નફાકારક સંસ્થા હતી. ઈન્ટરનેટ આર્કાઇવે 2001માં આર્કાઇવ કરેલી વેબ સામગ્રી જોવા માટે તેનું પોતાનું સર્ચ એન્જિન, વેબેક મશીન બહાર પાડ્યું હતું. 2018 સુધીમાં, ઈન્ટરનેટ આર્કાઇવમાં 40 પેટાબાઇટ્સ ડેટા હતો. ઈન્ટરનેટ આર્કાઇવે તેના ડેટાને એકત્રિત કરવા અને સંગ્રહિત કરવા માટે તેના પોતાના ઘણા સાધનો પણ વિકસાવ્યા હતા, જેમાં મોટા પ્રમાણમાં ડેટાને અસરકારક અને સુરક્ષિત રીતે સંગ્રહિત કરવા માટે પેટાબૉક્સનો સમાવેશ થાય છે, અને વેબ ક્રોલર હેરિટ્રિક્સ નોર્ડિક રાષ્ટ્રીય પુસ્તકાલયો સાથે મળીને વિકસાવવામાં આવ્યું હતું. તે જ સમયની આસપાસ શરૂ કરાયેલા અન્ય પ્રોજેક્ટ્સમાં કેનેડાની નેશનલ લાઇબ્રેરી, ઓસ્ટ્રેલિયાના પાન્ડોરા, તસ્માનિયન વેબ આર્કાઇવ્સ અને સ્વીડનના કલ્ટુરાર્વ 3 દ્વારા વેબ આર્કાઇવિંગ પ્રોજેક્ટનો સમાવેશ થાય છે. 2001 થી ઇન્ટરનેશનલ વેબ આર્કાઇવિંગ વર્કશોપ (આઇડબલ્યુએડબલ્યુ) એ અનુભવો વહેંચવા અને વિચારોનું આદાનપ્રદાન કરવા માટે એક મંચ પ્રદાન કર્યું. 2003માં સ્થપાયેલ ઇન્ટરનેશનલ ઈન્ટરનેટ પ્રિઝર્વેશન કન્સોર્ટિયમ (આઈ. આઈ. પી. સી.) એ વેબ આર્કાઇવ્સના નિર્માણ માટે ધોરણો અને ઓપન સોર્સ ટૂલ્સ વિકસાવવામાં આંતરરાષ્ટ્રીય સહયોગની સુવિધા આપી છે. હવે નિષ્ક્રિય ઇન્ટરનેટ મેમરી ફાઉન્ડેશનની સ્થાપના 2004 માં કરવામાં આવી હતી અને યુરોપમાં વેબને આર્કાઇવ કરવા માટે યુરોપિયન કમિશન દ્વારા તેની સ્થાપના કરવામાં આવી હતી. આ પરિયોજનાએ ઘણા ખુલ્લા સ્રોત સાધનો વિકસાવ્યા અને રજૂ કર્યા, જેમ કે "સમૃદ્ધ મીડિયા કેપ્ચરિંગ, અસ્થાયી સુસંગતતા વિશ્લેષણ, સ્પામ મૂલ્યાંકન અને પરિભાષા ઉત્ક્રાંતિ શોધ". ફાઉન્ડેશનનો ડેટા હવે ઇન્ટરનેટ આર્કાઇવ દ્વારા રાખવામાં આવ્યો છે, પરંતુ હાલમાં તે જાહેરમાં સુલભ નથી. તેની જાળવણી માટે કોઈ કેન્દ્રિય જવાબદારી ન હોવા છતાં, વેબ સામગ્રી ઝડપથી સત્તાવાર રેકોર્ડ બની રહી છે. ઉદાહરણ તરીકે, 2017 માં, યુનાઇટેડ સ્ટેટ્સ ડિપાર્ટમેન્ટ ઓફ જસ્ટિસે સમર્થન આપ્યું હતું કે સરકાર રાષ્ટ્રપતિની ટ્વીટ્સને સત્તાવાર નિવેદનો તરીકે માને છે. વેબ આર્કાઇવિસ્ટ્સ સામાન્ય રીતે એચટીએમએલ વેબ પૃષ્ઠો, સ્ટાઇલ શીટ્સ, જાવાસ્ક્રિપ્ટ, છબીઓ અને વિડિયો સહિત વિવિધ પ્રકારની વેબ સામગ્રીને સંગ્રહિત કરે છે. તેઓ સંગ્રહિત સંસાધનો વિશે મેટાડેટા પણ આર્કાઇવ કરે છે જેમ કે ઍક્સેસ સમય, એમઆઇએમઇ પ્રકાર અને સામગ્રીની લંબાઈ. આ મેટાડેટા સંગ્રહિત સંગ્રહની પ્રામાણિકતા અને ઉદ્ભવ સ્થાપિત કરવામાં ઉપયોગી છે. સંગ્રહની પદ્ધતિઓ દૂરસ્થ લણણી સૌથી સામાન્ય વેબ સંગ્રહ તકનીક વેબ પૃષ્ઠો એકત્રિત કરવાની પ્રક્રિયાને સ્વચાલિત કરવા માટે વેબ ક્રોલર્સનો ઉપયોગ કરે છે. વેબ ક્રોલર્સ સામાન્ય રીતે વેબ પૃષ્ઠોને એ જ રીતે ઍક્સેસ કરે છે જે રીતે બ્રાઉઝર સાથેના વપરાશકર્તાઓ વેબ જુએ છે, અને તેથી દૂરસ્થ હાર્વેસ્ટિંગ વેબ સામગ્રીની તુલનાત્મક રીતે સરળ પદ્ધતિ પ્રદાન કરે છે. વેબ આર્કાઇવિંગ માટે ઉપયોગમાં લેવાતા વેબ ક્રોલર્સના ઉદાહરણોમાં નીચેનાનો સમાવેશ થાય છેઃ હેરિટ્રિક્સ HTTrack Wget વિવિધ મફત સેવાઓ અસ્તિત્વમાં છે જેનો ઉપયોગ વેબ ક્રોલિંગ તકનીકોનો ઉપયોગ કરીને "ઓન-ડિમાન્ડ" વેબ સંસાધનોને આર્કાઇવ કરવા માટે થઈ શકે છે. આ સેવાઓમાં વેબેક મશીન અને વેબસાઈટનો સમાવેશ થાય છે. ડેટાબેઝ આર્કાઇવિંગ ડેટાબેઝ આર્કાઇવિંગ એ ડેટાબેઝ સંચાલિત વેબસાઇટ્સની અંતર્ગત સામગ્રીને સંગ્રહિત કરવાની પદ્ધતિઓનો સંદર્ભ આપે છે. તેને સામાન્ય રીતે પ્રમાણભૂત યોજનામાં ડેટાબેઝ સામગ્રીના નિષ્કર્ષણની જરૂર પડે છે, જે ઘણીવાર XML નો ઉપયોગ કરે છે. એકવાર તે પ્રમાણભૂત સ્વરૂપમાં સંગ્રહિત થયા પછી, બહુવિધ ડેટાબેસેસની આર્કાઇવ કરેલી સામગ્રી પછી એક જ ઍક્સેસ સિસ્ટમનો ઉપયોગ કરીને ઉપલબ્ધ કરાવી શકાય છે. આ અભિગમનું ઉદાહરણ અનુક્રમે બિબ્લિયોથેક નેશનલ ડી ફ્રાન્સ અને ઓસ્ટ્રેલિયાના રાષ્ટ્રીય પુસ્તકાલય દ્વારા વિકસાવવામાં આવેલા ડીપઆર્ક અને શિનક સાધનો દ્વારા આપવામાં આવ્યું છે. ડીપઆર્ક રિલેશનલ ડેટાબેઝના માળખાને XML યોજનામાં મેપ કરવા માટે સક્ષમ કરે છે, અને સામગ્રીને XML દસ્તાવેજમાં નિકાસ કરે છે. Xinq પછી તે સામગ્રીને ઑનલાઇન પહોંચાડવાની મંજૂરી આપે છે. જો કે વેબસાઇટનું મૂળ લેઆઉટ અને વર્તન બરાબર સાચવી શકાતું નથી, Xinq મૂળભૂત ક્વેરીંગ અને પુનઃપ્રાપ્તિ કાર્યક્ષમતાને નકલ કરવાની મંજૂરી આપે છે. ટ્રાન્ઝેક્શનલ આર્કાઇવિંગ એ ઇવેન્ટ-સંચાલિત અભિગમ છે, જે વેબ સર્વર અને વેબ બ્રાઉઝર વચ્ચે થતા વાસ્તવિક વ્યવહારોને એકત્રિત કરે છે. તેનો ઉપયોગ મુખ્યત્વે સામગ્રીના પુરાવાને સાચવવાના સાધન તરીકે થાય છે જે વાસ્તવમાં કોઈ ચોક્કસ વેબસાઇટ પર આપેલ તારીખે જોવામાં આવી હતી. આ ખાસ કરીને એવી સંસ્થાઓ માટે મહત્વપૂર્ણ હોઈ શકે છે કે જેને માહિતી જાહેર કરવા અને જાળવી રાખવા માટે કાનૂની અથવા નિયમનકારી આવશ્યકતાઓનું પાલન કરવાની જરૂર હોય. ટ્રાન્ઝેક્શનલ આર્કાઇવિંગ સિસ્ટમ સામાન્ય રીતે વેબ સર્વરને દરેક HTTP વિનંતીને અટકાવીને અને તેનો પ્રતિસાદ આપીને, ડુપ્લિકેટ સામગ્રીને દૂર કરવા માટે દરેક પ્રતિસાદને ફિલ્ટર કરીને અને પ્રતિસાદોને બિટસ્ટ્રીમ્સ તરીકે કાયમી ધોરણે સંગ્રહિત કરીને કાર્ય કરે છે. મુશ્કેલીઓ અને મર્યાદાઓ ક્રોલર્સ વેબ આર્કાઇવ્સ કે જે વેબ એકત્રિત કરવાના તેમના પ્રાથમિક માધ્યમ તરીકે વેબ ક્રોલિંગ પર આધાર રાખે છે તે વેબ ક્રોલિંગની મુશ્કેલીઓથી પ્રભાવિત છેઃ રોબોટ્સ બાકાત પ્રોટોકોલ ક્રોલર્સને વેબસાઇટના ભાગોને ઍક્સેસ ન કરવાની વિનંતી કરી શકે છે. કેટલાક વેબ આર્કાઇવિસ્ટ વિનંતીની અવગણના કરી શકે છે અને તે ભાગોને કોઈપણ રીતે ક્રોલ કરી શકે છે. વેબ સાઇટનો મોટો ભાગ ડીપ વેબમાં છુપાયેલો હોઈ શકે છે. ઉદાહરણ તરીકે, જો ક્રોલર્સ પરિણામ પૃષ્ઠની લિંકને અનુસરી શકતા નથી, તો વેબ ફોર્મ પાછળનું પરિણામ પૃષ્ઠ ડીપ વેબમાં હોઈ શકે છે. ક્રોલર ટ્રેપ્સ (દા. ત., કૅલેન્ડર્સ) ક્રોલરને અનંત સંખ્યામાં પૃષ્ઠો ડાઉનલોડ કરવાનું કારણ બની શકે છે, તેથી ક્રોલર્સને સામાન્ય રીતે તેઓ ક્રોલ કરતા ગતિશીલ પૃષ્ઠોની સંખ્યાને મર્યાદિત કરવા માટે ગોઠવવામાં આવે છે. મોટાભાગના સંગ્રહ સાધનો પૃષ્ઠને જેમ છે તેમ કેપ્ચર કરતા નથી. એવું જોવા મળ્યું છે કે આર્કાઇવ કરતી વખતે જાહેરાત બેનરો અને છબીઓ ઘણીવાર ચૂકી જાય છે. જો કે, એ નોંધવું અગત્યનું છે કે મૂળ સ્વરૂપ વેબ આર્કાઇવ, એટલે કે, સંપૂર્ણપણે બ્રાઉઝ કરી શકાય તેવું વેબ આર્કાઇવ, કાર્યરત લિંક્સ, મીડિયા વગેરે સાથે, ફક્ત ક્રોલર તકનીકનો ઉપયોગ કરીને જ ખરેખર શક્ય છે. વેબ એટલું મોટું છે કે તેના નોંધપાત્ર ભાગને ક્રોલ કરવા માટે મોટી સંખ્યામાં તકનીકી સંસાધનોની જરૂર પડે છે. ઉપરાંત, વેબ એટલી ઝડપથી બદલાઈ રહ્યું છે કે ક્રોલર તેને ક્રોલ કરવાનું સમાપ્ત કરે તે પહેલાં વેબસાઇટના ભાગોમાં ફેરફારો થઈ શકે છે. સામાન્ય મર્યાદાઓ કેટલાક વેબ સર્વરોને નિયમિત બ્રાઉઝર વિનંતીઓના જવાબમાં વેબ આર્કાઇવ વિનંતીઓને વિવિધ પૃષ્ઠો પરત કરવા માટે ગોઠવવામાં આવે છે. આ સામાન્ય રીતે વેબસાઇટ પર વધુ વપરાશકર્તા ટ્રાફિકને નિર્દેશિત કરવા માટે સર્ચ એન્જિનને મૂર્ખ બનાવવા માટે કરવામાં આવે છે, અને ઘણીવાર જવાબદારી ટાળવા માટે કરવામાં આવે છે, અથવા ફક્ત તે બ્રાઉઝર્સને ઉન્નત સામગ્રી પ્રદાન કરવા માટે કરવામાં આવે છે જે તેને પ્રદર્શિત કરી શકે છે. વેબ આર્કાઇવિસ્ટોએ માત્ર વેબ આર્કાઇવિંગના તકનીકી પડકારોનો સામનો કરવો જ જોઈએ નહીં, તેઓએ બૌદ્ધિક સંપત્તિ કાયદાઓ સાથે પણ સંઘર્ષ કરવો જોઈએ. પીટર લાઇમેન જણાવે છે કે "જો કે વેબને લોકપ્રિય રીતે જાહેર ડોમેન સંસાધન તરીકે ગણવામાં આવે છે, તે કૉપિરાઇટ કરેલ છે; આમ, આર્કાઇવિસ્ટ્સને વેબની નકલ કરવાનો કોઈ કાનૂની અધિકાર નથી". જો કે કેટલાક દેશોમાં રાષ્ટ્રીય પુસ્તકાલયોને કાનૂની થાપણના વિસ્તરણ હેઠળ વેબના ભાગોની નકલ કરવાનો કાનૂની અધિકાર છે. વેબસાઈટ, ઈન્ટરનેટ આર્કાઇવ અથવા ઈન્ટરનેટ મેમરી ફાઉન્ડેશન જેવા કેટલાક ખાનગી બિન-નફાકારક વેબ આર્કાઇવ્સ કે જે જાહેરમાં સુલભ બનાવવામાં આવે છે તે સામગ્રી માલિકોને આર્કાઇવ કરેલી સામગ્રીને છુપાવવા અથવા દૂર કરવાની મંજૂરી આપે છે જે તેઓ નથી ઇચ્છતા કે લોકોની ઍક્સેસ હોય. અન્ય વેબ આર્કાઇવ્સ માત્ર ચોક્કસ સ્થળોથી જ સુલભ છે અથવા તેનો ઉપયોગ નિયંત્રિત છે. વેબસાઈટે ગૂગલના કેશીંગ સામે તાજેતરના મુકદ્દમાનો હવાલો આપ્યો છે, જે ગૂગલે જીત્યો હતો. કાયદાઓ 2017 માં યુનાઇટેડ સ્ટેટ્સની નાણાકીય નિયમનકારી સંસ્થા ફાઇનાન્સિયલ ઇન્ડસ્ટ્રી રેગ્યુલેટરી ઓથોરિટી, ઇન્ક. (એફઆઈએનઆરએ) એ એક સૂચના બહાર પાડી હતી જેમાં જણાવવામાં આવ્યું હતું કે ડિજિટલ સંચાર કરતા તમામ વ્યવસાયોએ રેકોર્ડ રાખવો જરૂરી છે. આમાં વેબસાઇટ ડેટા, સોશિયલ મીડિયા પોસ્ટ્સ અને સંદેશાઓનો સમાવેશ થાય છે. કેટલાક કૉપિરાઇટ કાયદાઓ વેબ આર્કાઇવિંગને અટકાવી શકે છે. દાખલા તરીકે, સાય-હબ દ્વારા શૈક્ષણિક સંગ્રહ સમકાલીન કૉપિરાઇટ કાયદાની મર્યાદાની બહાર આવે છે. આ સાઇટ એવા શૈક્ષણિક કાર્યોની સ્થાયી પહોંચ પૂરી પાડે છે કે જેમની પાસે ઓપન એક્સેસ લાઇસન્સ નથી અને તે રીતે વૈજ્ઞાનિક સંશોધનના સંગ્રહમાં ફાળો આપે છે જે અન્યથા ખોવાઈ શકે છે. આ પણ જુઓ અન્નાઝ આર્કાઇવ આર્કાઇવ સાઇટ આર્કાઇવ ટીમ archive.today (અગાઉ archive.is) કલેક્ટિવ મેમરી કોમન ક્રોલ ડિજિટલ હોર્ડિંગ ડિજિટલ લાઇબ્રેરી ગૂગલ કેશ વેબ આર્કાઇવિંગ પહેલની સૂચિ વિકિપીડિયાઃ વિકિપીડિયા મેમેન્ટો પ્રોજેક્ટ મિનર્વા ઇનિશિયેટિવ મિરર વેબસાઇટ પર વેબ આર્કાઇવ્સની સૂચિ નેશનલ ડિજિટલ ઇન્ફર્મેશન ઇન્ફ્રાસ્ટ્રક્ચર એન્ડ પ્રિઝર્વેશન પ્રોગ્રામ (NDIIPP) નેશનલ ડિજિટલ લાઇબ્રેરી પ્રોગ્રામ (NDLP) PADICAT પેજફ્રીઝર પાન્ડોરા આર્કાઇવ યુકે વેબ આર્કાઇવ વર્ચ્યુઅલ આર્ટિફેકટ વેબેક મશીન વેબ ક્રોલિંગ વેબસાઈટ સંદર્ભો સામાન્ય ગ્રંથસૂચિ બાહ્ય લિંક્સ ઇન્ટરનેશનલ ઇન્ટરનેટ પ્રિઝર્વેશન કન્સોર્ટિયમ (IIPC)-આંતરરાષ્ટ્રીય સંઘ જેનું મિશન ઇન્ટરનેટ પરથી જ્ઞાન અને માહિતી પ્રાપ્ત કરવાનું, સાચવવાનું અને સુલભ બનાવવાનું છે.