Web chìm Web chìm tiếng Anh deep web hay còn gọi là mạng chìm deep web web ẩn invisible web undernet hay hidden web là từ dùng để chỉ các trang hoặc nội_dung trên thế_giới mạng World_Wide_Web không thuộc về Web nổi Surface_Web gồm những trang không được đánh_dấu chỉ mục index và không_thể tìm_kiếm được khi dùng các công_cụ tìm_kiếm thông_thường Nội_dung của web chìm ẩn bên dưới các bản_mẫu HTML và có_thể yêu_cầu mật_khẩu hoặc truy_cập bảo_mật khác qua trang_web công_cộng Web chìm bao_gồm nhiều ứng_dụng rất phổ_biến như web mail và ngân_hàng trực_tuyến nhưng nó cũng bao_gồm các dịch_vụ mà người dùng phải trả tiền và được bảo_vệ bởi một paywall như video theo yêu_cầu một_số tạp_chí và báo_chí trực_tuyến và nhiều hơn_nữa Nhà_khoa_học máy_tính Michael_K_Bergman được cho là đã tạo ra thuật_ngữ này vào năm 2001 như một thuật_ngữ lập chỉ mục tìm_kiếm Năm 2011 lượng thông_tin trên web chìm đã vượt hơn hẳn web nổi Quy_mô Web chìm là một phần của Internet_Trong một bài báo phát_hành năm 2001 nhà học_giả cũng như là một doanh_nhân tên Michael_K_Bergman đã viết Những trang deep web hiện_nay có kích_thước gấp 400 đến 550 lần so với những trang_web được định_nghĩa thông_thường trên thế_giới Trong một nghiên_cứu tại đại_học California_Berkeley năm 2011 dựa trên ước_lượng ngoại_suy dung_lượng dữ_liệu trên web chìm khoảng 7500 terabyte Cụ_thể gồm khoảng 300 000 trang_web chìm trong năm 2004 và theo Shestakov khoảng 14 000 trang_web chìm có xuất_xứ từ Nga vào năm 2006 Tên gọi Nguồn_gốc Trong một bài báo chuyên_đề về web chìm trên tạp_chí Electronic_Publishing_Michael_Bergman đã nhắc đến việc Jill_Ellsworth đã sử_dụng thuật_ngữ Invisible_Web vào năm 1994 để ám_chỉ các website không đăng_ký với bất_kỳ máy tìm_kiếm nào cả Bergman đã trích_dẫn một bài viết vào tháng 1 năm 1996 của trâm pu Một trang_web được thiết_kế hợp_lý nhưng người lập ra trang_web đó đã không để_ý tới việc đăng_ký nó với bất_kỳ máy tìm_kiếm nào Vì_vậy không ai tìm thấy nó và nó được ẩn Tôi gọi đó là web ẩn Invisible_Web_Thuật ngữ Invisible_Web trước đó đã được Bruce_Mount và Matthew_B_Koll sử_dụng tại Personal_Library_Software trong một miêu_tả về các công_cụ cocomelon 1 được tìm thấy trong một ấn_phẩm vào tháng 12 năm 1996 Việc sử_dụng lần đầu thuật_ngữ Deep_Web hiện_nay đã được mọi người công_nhận đó là vào năm 2001 trong một nghiên_cứu của Bergman_Khái niệm hiện_tại Khái_niệm Deep_Web được sử_dụng để chỉ tất_cả những trang_web mà các máy tìm_kiếm như Google Bing_Yahoo không_thể tìm thấy bao_gồm databases các thông_tin đăng_nhập Webmail_Tài nguyên Tài_nguyên trên web chìm được phân_loại theo một hoặc nhiều loại có trong danh_mục sau BULLET Nội_dung web động các trang_web_động trả về kết_quả theo một truy_vấn hoặc xử_lý theo dạng form đặc_biệt nếu sử_dụng các thành_phần nhập tên_miền mở như text field các miền này rất khó xử_lý nếu không có kiến_thức về tên_miền BULLET Các nội_dung không được tạo liên_kết hyperlink các trang không liên_kết với các trang khác sẽ ngăn_cản các chương_trình dò crawling program truy_cập vào nội_dung của nó Các trang này được truy_cập trực_tiếp trên thanh địa_chỉ trình_duyệt vì không có các đường_dẫn từ trong bất_kỳ trang_web nào khác BULLET Các trang_web phải xác_thực truy_cập các trang yêu_cầu phải đăng_ký và đăng_nhập mới vào xem thông_tin được các tài_nguyên được password bảo_vệ BULLET Các trang_web có nội_dung thay_đổi theo ngữ_cảnh các trang_web này hiển_thị nội_dung thay_đổi tuỳ_thuộc vào một_số điều_kiện tác_động ví_dụ như người dùng từ các dải IP của châu_Á truy_cập vào thì sẽ được xem nội_dung phù_hợp cho khu_vực châu_Á BULLET Các nội_dung web bị giới_hạn truy_cập một_số trang_web giới_hạn việc truy_cập tới các nội_dung của nó bằng một_số phương_pháp kỹ_thuật như file Robots txt CAPTCHAs hoặc tham_số HTTP headers để ngăn_cấm các máy tìm_kiếm truy_cập nội_dung của nó cũng như tạo phiên_bản cache nội_dung BULLET Nội_dung sinh_từ script hoặc Flash_Ajax một_số trang_web chỉ có_thể truy_cập thông_qua một liên_kết được sinh ra bởi một đoạn mã JavaScript mà hva là một ví_dụ trực_tiếp hoặc nội_dung được nhúng bên trong Flash hoặc chỉ có_thể được tải về thông_qua Ajax_BULLET_Các nội_dung không theo kiểu HTML text Các nội_dung dạng text được mã_hoá trong các file đa_phương_tiện hình_ảnh hoặc video hoặc các định_dạng file đặc_biệt mà các cỗ máy tìm_kiếm không_thể xử_lý được BULLET Nội_dung văn_bản chỉ có_thể truy_cập thông_qua giao_thức Gopher hoặc các file được lưu_trữ trên các máy_chủ FTP thì không được lập chỉ mục bởi hầu_hết các máy tìm_kiếm hiện_nay các máy tìm_kiếm thông_dụng như Google mặc_nhiên không lập chỉ mục cho các trang không dùng giao_thức HTTP hoặc HTTPS Truy_cập Để khám_phá nội_dung trên các trang_web các máy tìm_kiếm sử_dụng các máy dò để lần theo các hyperlink thông_qua các số đã biết của cổng giao_thức ảo Kỹ_thuật này lý_tưởng để khám_phá các nguồn tài_nguyên trên web nổi nhưng không có tác_dụng mấy đối_với web chìm Ví_dụ những máy dò này không thử tìm các trang liên_kết_động mà kết_quả truy_vấn database dựa trên số vô_định các truy_vấn có_thể xảy ra Chú_ý là điều này có_thể một phần được vượt qua bởi cách cung_cấp các đường_dẫn tới các kết_quả truy_vấn nhưng điều này lại vô_tình làm thôi phồng sự nổi_tiếng cho một trang deep web Vào 2005 Yahoo thực_hiện một dịch_vụ tìm_kiếm một phần nhỏ của web chìm bằng cách ra_mắt Yahoo Subscriptions_Máy tìm_kiếm này tìm_kiếm trong vài trang_web mà phải đăng_ký thành_viên mới vào xem nội_dung được Vài trang này hiển_thị đầy_đủ nội_dung cho máy tìm_kiếm robot do_đó chúng sẽ hiển_thị trên kết_quả tìm_kiếm của người dùng nhưng sau đó hiển_thị lên một trang đăng_nhập log in hoặc trang đăng_ký khi click vào một đường_dẫn từ trang kết_quả tìm_kiếm từ trang đó Từ lúc trình_duyệt Tor ra_đời người dùng có_thể dễ_dàng truy_cập được vài tầng trong deep web một_cách khá an_toàn khỏi những trang dark web hoặc những trang_web của tội_phạm web chứa nội_dung phi_pháp hacker thông_tin mật tràn_lan trong deep web mà không được kiểm_soát ảnh_hưởng đến sự bảo_mật và an_toàn của người truy_cập Để duyệt các web trong đấy cần những thư_viện các đường_dẫn Và để truy_cập được những trang_web bảo_mật hơn trong web chìm người dùng cần phải có kiến_thức về phần_mềm và phần_cứng cao và là một_vài máy tìm_kiếm có khả_năng truy_cứu vào các trang deep web Intute đã hết kinh_phí vận_hành và chỉ lưu_trữ tạm_thời ngoại_tuyến vào tháng 7 năm 2011 Nội_dung Nói_chung nội_dung trên deep web bao_gồm cả dark web chứa_đựng các nội_dung sau BULLET Bán vũ_khí không có giấy_phép BULLET Hình_ảnh khiêu_dâm trẻ_em BULLET Bán phần_mềm độc_hại phần_mềm lậu và hướng_dẫn về hacking BULLET Bán thuốc bất_hợp_pháp BULLET Bán thông_tin thẻ_tín_dụng bị đánh_cắp và tài_khoản người dùng BULLET Bán các tài_liệu giả_mạo và tiền_tệ BULLET Tuyển_dụng sát_thủ BULLET Bài_bạc BULLET Rửa_tiền BULLET Giao_dịch nội_gián Dò_tìm web chìm Các nhà_nghiên_cứu đã khám_phá ra cách_thức dò_tìm web chìm một_cách tự_động Năm 2011 Sriram_Raghavan và Hector_Garcia_Molina giới_thiệu mô_hình kiến_trúc cho một máy dò web ẩn sử_dụng các từ_khoá cung_cấp bởi người dùng hoặc thu_thập từ các giao_diện truy_vấn để truy_vấn tới các trang và tài_nguyên web chìm Alexandros_Ntoulas_Petros_Zerfos và Junghoo_Cho ở UCLA đã tạo ra một máy dò Hidden_Web cho_phép tự_động tạo ra các truy_vấn có ý_nghĩa một_cách tự_động tới các form nhập dữ_liệu tìm_kiếm ví_dụ DEQUEL ngoài nhập lệnh truy_vấn nó còn chiết_xuất dữ_liệu có cấu_trúc từ các trang kết_quả Một máy dò khác là DeepPeep một dự_án khác của đại_học Utah được tài_trợ bởi tổ_chức National_Science_Foundation cho_phép tập_hợp các nguồn Hidden_Web dạng Web trong các tên_miền khác nhau dựa vào các kỹ_thuật dò_tìm dựa trên ngữ_cảnh Các máy tìm_kiếm thương_mại đã bắt_đầu tạo ra các phương_pháp khác nhau để dò_tìm web chìm Được phát_triển đầu_tiên bởi Google và mod oai là các cơ_chế cho_phép các bên liên_quan có_thể khám_phá các nguồn tài_nguyên deep web trên các server trang_chủ đặc_thù Cả hai cơ_chế trên đều cho_phép các web server quảng_cáo các đường_dẫn URL được truy_cập tới chúng bằng cách đó nó cho_phép tự_động khám_phá các nguồn tài_nguyên không liên_kết trực_tiếp tới web nổi Hệ_thống duyệt web chìm của Google tính_toán trước các tác_vụ nhỏ cho mỗi form HTML và đưa vào trang HTML kết_quả tìm_kiếm vào chỉ mục tìm_kiếm của Google Kết_quả hiển_thị của các trang_web chìm chiếm một_ngàn truy_vấn trong một giây Trong hệ_thống này các tính_toán trước được thực_hiện theo 3 phương_thức sau BULLET Chọn các giá_trị đầu_vào để tìm_kiếm các thông_tin dạng ký_tự text search thông_qua các từ_khoá keyword BULLET Xác_định các yếu_tố đầu_vào mà chấp_nhận chỉ các kiểu dữ_liệu xác_định nào đó ví_dụ như ngày_tháng BULLET Chọn một_số nhỏ các liên_kết đầu_vào để tạo ra các URL thích_hợp để đưa vào chỉ mục tìm_kiếm web Phân_loại tài_nguyên Để tự_động xác_định một tài_nguyên web có phải thuộc dạng web nổi hay web chìm hay không là một việc khó Một tài_nguyên được đánh_dấu bởi một search engine thì không nhất_thiết nó thuộc loại web nổi bởi_vì các tài_nguyên trên mạng có_thể được tìm thấy bằng nhiều phương_pháp khác nhau như Sitemap_Protocol mod oai OAIster thay_vì các phương_pháp dò_tìm crawling truyền_thống Nếu một máy tìm_kiếm cung_cấp một đường_dẫn của một tài_nguyên nào đó trong một kết_quả tìm_kiếm cụ_thể có_thể cho đó là web nổi Không may là các máy tìm_kiếm không phải không nào cũng cung_cấp tất_cả các đường_dẫn này backlink Ngay cả khi có backlink cũng không cách nào để phát_hiện ra nguồn này có cung_cấp đường_dẫn của chính nó tới các trang_web nổi mà không phải crawling toàn_bộ trang_web hay không Ngoài_ra cũng có trường_hợp một tài_nguyên ẩn_nấp trên web nổi và một máy tìm_kiếm nào đó chưa tìm ra nó Do_đó nếu chúng_ta có một tài_nguyên độc_quyền chúng_ta không_thể biết chắc_chắn tài_nguyên đó ẩn_nấp trên web nổi hoặc web chìm mà chưa qua crawl dò_tìm trang_web đó Hầu kết công_việc phân_loại kết_quả tìm_kiếm đã được thư_mục_hoá web nổi bằng các đề_tài Để phân_loại tài_nguyên web chìm Ipeirotis et al đã giới_thiệu một thuật_toán cho_phép phân_loại một trang_web chìm thành các thư_mục mà tạo ra nhiều hit nhất dựa trên vài lựa_chọn cẩn_thận các truy_vấn tập_trung vào chủ_đề Các chỉ mục của deep web đang phát_triển gồm có OAIsters tại đại_học Michigan_Intute tại đại_học Manchester_Infomine tại đại_học California tại Riverside và DirectSearch bởi Gary_Price_Các xếp loại này đứng trên một thách_thức là việc tìm_kiếm web chìm chia ra 2 cấp_độ thư_mục_hoá Cấp_độ 1 là các trang được thư_mục_hoá thành các chủ_đề theo chiều dọc như sức_khoẻ du_lịch ô_tô và các chủ_đề phụ tuỳ theo tính_chất của các nội_dung nằm dưới các database cơ_sở_dữ_liệu của chúng Thách_thức lớn hơn_nữa là để thư_mục_hoá và biểu_đồ_hoá các thông_tin trích xuất từ các nguồn web chìm theo nhu_cầu người dùng cuối Các bản báo_cáo tìm_kiếm web chìm không_thể hiển_thị các URL như các tìm_kiếm thông_thường Người dùng cuối mong_chờ các công_cụ tìm_kiếm không_chỉ tìm ra những gì họ muốn một_cách nhất mà_còn phải hiển_thị kết_quả đó một_cách trực_quan và thân_thiện với người dùng nữa Để hiểu được ngữ_nghĩa các báo_cáo tìm_kiếm phải hiểu sâu vào nội_dung nằm dưới các tài_nguyên này hoặc là người dùng sẽ bị lạc lối trong biển URL mà nội_dung đằng sau nó chả ăn_nhập gì cả Định_dạng mà các kết_quả tìm_kiếm hiển_thị ra rất phong_phú tuỳ theo chủ_đề đặc_thù của tìm_kiếm nào và loại nội_dung được phô ra Thách_thức này là tìm ra và biểu_đồ_hoá các thành_phần dữ_liệu tương_tự từ nhiều nguồn khác nhau sao cho các kết_quả tìm_kiếm được sắp_xếp trong một định_dạng thống_nhất trên bản báo_cáo tìm_kiếm bất_kể nguồn tài_nguyên mà nó lấy từ đâu Các tầng trên Web chìm Việc chia tầng trên Web chìm có ý_kiến trái_ngược Một_số cho rằng trên Web chìm có 8 tầng hoặc hơn Trong khi số khác khẳng_định rằng trên Web chìm hoàn_toàn không có tầng nào cả và khái_niệm tầng trên Web chìm dùng để chỉ khả_năng bảo_mật khó truy_cập của một địa_chỉ Internet nào đó hay mức_độ nguy_hiểm của các thông_tin website chia_sẻ được phân ra nhờ FBI BULLET Mức_độ 1 Web nổi Surface_Web_Dùng để chỉ những trang_web mà chúng_ta vẫn truy_cập hàng ngày như Wikipedia Youtube Facebook Chúng gọi chung là Web nổi mặc_dù đôi_khi chúng được gọi là Common_Web_Web thông_thường và được cho là Tầng 0 của Internet trong khi những trang_web đen hơn như Reddit mới là tầng 1 của Internet_BULLET_Mức độ 2 Web vô_thừa_nhận Bergie_Web_Được cho rằng đây là tầng cuối_cùng mà một người dùng Internet có_thể truy_cập một_cách thông_thường nhất mà không cần sự can_thiệp khác để có_thể truy_cập chúng thông_qua một proxy dùng các trình_duyệt hỗ_trợ như Tor hoặc có sự can_thiệp đặc_biệt vào phần_cứng máy_tính Theo khuyến_cáo tốt nhất không nên truy_cập những trang_web sau với mức_độ cao hơn 2 Tại đây bạn có_thể bắt_gặp những trang_web bí_mật ngầm được liệt_kê ví_dụ như 4chan BULLET Mức_độ 3 Web ẩn Web chìm Deep web Onion_Web_Tầng này có_thể truy_cập thông_qua proxy hoặc hệ_thống mạng Tor_Chứa đựng những thông_tin nhạy_cảm kinh_dị ấu dâm clip kinh_dị trang_web của các hacker các trang chuyên hack Vì là tầng đầu_tiên của Internet mà việc truy_cập phải được phải thông_qua một sự hỗ_trợ từ mạng Tor hoặc thiết đặt phần_cứng nên đôi_khi cũng dùng để chỉ cả những tầng cao hơn của Internet_Tầng này không_thể truy_cập bằng trình_duyệt bình_thường vì địa_chỉ đuôi của trang_web loại này onion khi truy_cập sẽ bị DNS xem là địa_chỉ web không hợp_lệ khi truy_cập Chỉ có_khi đã kết_nối với Proxy mới có_thể vào tầng này bằng trình_duyệt bình_thường BULLET Mức_độ 4 Web điều_lệ Web_Charter_Loại mạng này được chia thành 2 phần để chỉ cách_thức truy_cập BULLET Mức_độ 5 Web ẩn dạng mạng_lưới xuyên thế_giới mạng trong mạng Nếu muốn truy_cập được các trang_web tại mức_độ 5 cần có một hệ_thống máy trạm đặc_biệt Tại đây là nơi rò_rỉ những tài_liệu mật của Quốc_gia tổ_chức mà vẫn thường thấy trên Wikileaks các hoạt_động tâm_linh kỳ_quái các hội_đoàn hoạt_động bí_mật những hoạt_động hiến tế Chỉ có_thể truy_cập bằng máy trạm Việc kết_nối với loại mạng này được cảnh_báo là nên truy_cập bằng một loại máy trạm đặc_biệt thường các loại máy này có cấu_hình rất mạnh để có_thể giải_mã tất_cả khoá bảo_mật có trong trang_web Loại mạng này là mạng trong mạng để kết_nối vào loại web này cần thời_gian rất lâu do phải kết_nối với nhiều máy_chủ BULLET Mức_độ 6 Diversion_Web_Việc truy_cập vào Diversion_Web đòi_hỏi phải hiểu rõ các vấn_đề liên_quan đến cơ_học lượng_tử và cần có kiến_thức sâu_rộng về máy_tính và internet Kể_cả việc vượt qua những hàng_rào bảo_mật của Chính_phủ Không quá nhiều thông_tin được biết về các trang_web ở mức_độ 6 thường được xem là rào_cản an_toàn cho người truy_cập nếu không muốn chịu rủi_ro khi tiến sâu hơn BULLET Mức_độ 7 The_Fog_Virus_Soup Là nơi hoạt_động của những chuyên_gia An_ninh Internet các hacker thường diễn ra các hành_động phá_hoại lẫn nhau một_cách công_khai hoặc lén_lút nhằm bảo_vệ những thông_tin mật những đơn hàng giá_trị cao hàng tỷ đôla Mọi hoạt_động tại đây đều không an_toàn đặc_biệt là những tài_nguyên tải về thường chứa_đựng virus máy_tính BULLET Mức_độ 8 The_Primarch_System_Là nơi tận_cùng của Đại_dương Internet được phát_hiện ra vào năm 2000 trong một lần rà_soát dữ_liệu tập_trung Massive_Deep_Web_Scan Việc có hay không việc phân tầng Deep_Web dựa mức_độ bảo_mật của chúng vẫn chưa có sự thống_nhất Tính tốt xấu BULLET Một số_lượng không nhỏ các trang Deep_Web cung_cấp những thông_tin không tốt cho cộng_đồng như ma_tuý tình_dục đặc_biệt là tình_dục liên_quan đến trẻ_em ấu dâm tra_tấn tình_dục mua_bán vũ_khí trái_phép Đặc_biệt là giao_dịch tiền ảo như Bitcoin mua_bán nội_tạng mua_bán người BULLET Deep_Web cũng là nơi chia_sẻ những tài_liệu mật bị rò_rỉ thông_qua WikiLeaks chẳng_hạn Tương_lai Ranh_giới giữa những gì mà các cỗ máy tìm_kiếm phát_hiện được và deep web đã bắt_đầu trở_nên phai nhoà khi các dịch_vụ search bắt_đầu cung_cấp dịch_vụ truy_xuất tới một phần hoặc toàn_bộ các nội_dung cấm cấp 1 Lượng nội_dung deep web đang được mở ra để tự_do tìm_kiếm khi các nhà_xuất_bản và thư thiện đồng_ý với các cỗ máy tìm_kiếm lớn Trong tương_lai nội_dung của deep web có_thể bị thu_hẹp bởi_vì cơ_hội tìm_kiếm thông_tin bằng cách trả phí hoặc các dạng_bản quyền khác ra_đời Xem thêm BULLET Dark web
Web chìm