Tf idf Trong truy hồi thông_tin tf idf TF IDF hay TFIDF viết tắt từ cụm_từ tiếng Anh term frequency inverse document frequency là một thống_kê số học nhằm phản_ánh tầm quan_trọng của một từ đối_với một văn_bản trong một tập_hợp hay một ngữ_liệu văn_bản tf idf thường dùng dưới dạng là một trọng_số trong tìm_kiếm truy_xuất thông_tin khai_thác văn_bản và mô_hình_hoá người dùng Giá_trị tf idf tăng tỉ_lệ_thuận với số lần xuất_hiện của một từ trong tài_liệu và được bù_đắp bởi số_lượng tài_liệu trong kho ngữ_liệu có chứa từ giúp điều_chỉnh thực_tế là một_số từ xuất_hiện nói_chung thường_xuyên hơn tf idf là một trong những lược_đồ scheme tính trọng_số phổ_biến nhất hiện_nay Một cuộc khảo_sát được thực_hiện vào năm 2015 cho thấy 83 các hệ_thống khuyến_nghị dựa trên văn_bản text based recommender systems trong các thư_viện số sử_dụng tf idf TF TF term frequency tần_số xuất_hiện của 1 từ trong 1 văn_bản Cách tính BULLET Thương của số lần xuất_hiện 1 từ trong văn_bản và số lần xuất_hiện nhiều nhất của một từ bất_kỳ trong văn_bản đó giá_trị sẽ thuộc khoảng 0 1 BULLET f t d số lần xuất_hiện từ t trong văn_bản d BULLET max f w d w d số lần xuất_hiện nhiều nhất của một từ bất_kỳ trong văn_bản IDF IDF inverse document frequency Tần_số nghịch của 1 từ trong tập văn_bản corpus Tính_IDF để giảm giá_trị của những từ phổ_biến Mỗi từ chỉ có 1 giá_trị IDF duy_nhất trong tập văn_bản BULLET formula _ 3 tổng_số văn_bản trong tập D BULLET formula _ 4 số văn_bản chứa từ nhất_định với điều_kiện formula _ 5 xuất_hiện trong văn_bản d i e formula _ 6 Nếu từ đó không xuất_hiện ở bất_cứ 1 văn_bản nào trong tập thì mẫu_số sẽ bằng 0 phép chia cho không không hợp_lệ vì_thế người ta thường thay bằng mẫu thức formula _ 7 Cơ_số logarit trong công_thức này không thay_đổi giá_trị của 1 từ mà chỉ thu_hẹp khoảng giá_trị của từ đó Vì thay_đổi cơ_số sẽ dẫn đến việc giá_trị của các từ thay_đổi bởi một_số nhất_định và tỷ_lệ giữa các trọng_lượng với nhau sẽ không thay_đổi nói cách khác thay_đổi cơ_số sẽ không ảnh_hưởng đến tỷ_lệ giữa các giá_trị IDF Tuy_nhiên việc thay_đổi khoảng giá_trị sẽ giúp tỷ_lệ giữa IDF và TF tương_đồng để dùng cho công_thức TF IDF như bên dưới Giá_trị TF IDF Những từ có giá_trị TF IDF cao là những từ xuất_hiện nhiều trong văn_bản này và xuất_hiện ít trong các văn_bản khác Việc này giúp lọc ra những từ phổ_biến và giữ lại những từ có giá_trị cao từ_khoá của văn_bản đó Ứng_dụng IDF có ứng_dụng trong máy tìm_kiếm Ví_dụ khi người dùng gửi một truy_vấn đến máy tìm_kiếm hệ_thống cần biết từ nào là từ người dùng quan_tâm nhất Chẳng_hạn truy_vấn của người dùng là làm thế_nào để sửa máy_ủi Sau khi tách từ chúng_ta sẽ có tập các từ làm thế_nào để sửa máy_ủi Trong các từ này máy_ủi sẽ có IDF cao nhất Hệ_thống sẽ lấy ra tất_cả các văn_bản có chứa từ máy_ủi và sau đó mới thực_hiện việc đánh_giá và so_sánh dựa trên toàn_bộ câu truy_vấn Xem thêm BULLET Nhúng từ BULLET Phân_kỳ Kullback_Leibler_BULLET Phân bổ Dirichlet tiềm_ẩn BULLET Phân_tích ngữ_nghĩa tiềm_ẩn BULLET Thông_tin tương_hỗ BULLET Cụm danh_từ BULLET Okapi BM25 BULLET PageRank_BULLET_Mô hình_không_gian vectơ BULLET Đếm từ Liên_kết ngoài BULLET Gensim is a Python library for vector space modeling and includes tf idf weighting BULLET Robust_Hyperlinking_An application of tf idf for stable document addressability BULLET Anatomy of a search engine BULLET tf idf and related definitions as used in Lucene_BULLET_TfidfTransformer in Scikit learn BULLET Text to Matrix_Generator_TMG_MATLAB toolbox that can be used for various tasks in text mining TM specifically i indexing ii retrieval iii dimensionality reduction iv clustering v classification The indexing step offers the user the ability to apply local and global weighting methods including tf idf
Tf–idf