Okapi BM25 Trong tìm_kiếm thông_tin Okapi BM25 là hàm tính thứ_hạng được các công_cụ tìm_kiếm sử_dụng để xếp_hạng các văn_bản theo độ phù_hợp với truy_vấn nhất_định Hàm xếp_hạng này dựa trên mô_hình xác_suất được phát_minh ra vào những năm 1970 1980 Phương_pháp có tên BM25 BM best match nhưng người ta thường gọi Okapi BM25 vì lần đầu_tiên công_thức được sử_dụng trong hệ_thống tìm_kiếm Okapi được sáng_lập tại trường đại_học London những năm 1980 và 1990 BM25 là một phương_pháp xếp_hạng tựa như tf idf được sử_dụng rộng_rãi trong tìm_kiếm Trong Web search những hàm xếp_hạng này thường được sử_dụng như một phần của các phương_pháp tích_hợp để dùng trong machine learning xếp_hạng Phương_pháp xếp_hạng ranking function Bm25 phương_pháp tìm_kiếm trên một tổ_hợp từ và xếp_hạng các tập tài_liệu dựa trên từng từ của truy_vấn xuất_hiện trong tài_liệu mà không quan_tâm đến mối quan_hệ giữa các từ đó trong từng văn_bản Không phải chỉ là một phương_pháp đơn_lẻ mà trên thực_tế là cả một tập_hợp các phương_pháp tính điểm với những thành_phần và thông_số hơi khác nhau Một trong những công_thức phổ_biến Cho một query formula _ 1 có chứa những từ formula _ 2 và như_vậy BM25 sẽ đưa ra đánh_giá độ phù_hợp của văn_bản formula _ 3 với truy_vấn formula _ 1 formula _ 5 formula _ 6 TF tần_suất xuất_hiện của từ formula _ 7 trong văn_bản formula _ 3 formula _ 9 số_từ trong văn_bản formula _ 3 và formula _ 11 độ dài trung_bình của văn_bản trong tập văn_bản formula _ 12 and formula _ 13 những hệ_số độc_lập thường sẽ được chọn như sau formula _ 14 và formula _ 15 formula _ 16 tần_số nghịch của từ formula _ 7 Thường được tính như sau formula _ 18 formula _ 19 tổng_số văn vản trong tập văn_bản và formula _ 20 số văn_bản có chứa từ formula _ 7 Công_thức tính IDF trên có một nhược_điểm Đối_với những từ phổ_biến xuất_hiện trong hơn một_nửa số văn_bản trong tập văn_bản IDF sẽ có giá_trị âm Như_vậy đối_với 2 văn_bản tương_tự bất_kỳ 1 văn_bản có chứa 1 từ còn văn_bản khác không chứa từ đó thì văn_bản không chứa từ đó sẽ có điểm_cao hơn Như_vậy những từ phổ_biến sẽ có ảnh_hưởng không tốt đến đánh_giá văn_bản Vì_thế một_số trường_hợp công_thức sẽ được điều_chỉnh Sử_dụng những công_thức IDF không có giá_trị âm Cách hiển_thị IDF trong lý_thuyết tin_học Sau đây là cách giải_thích từ lý_thuyết tin_học Giả_sử cho truy_vấn formula _ 22 xuất_hiện trong formula _ 23 văn_bản Sau đó chọn một văn_bản bất_kỳ formula _ 3 có chứa những từ với xác_suất formula _ 25 formula _ 19 tổng_số văn_bản trong tập văn_bản Như_vậy có_thể hiểu như sau formula _ 3 chứa formula _ 22 Giả_sử cho truy_vấn gồm 2 từ formula _ 30 and formula _ 31 Nếu_như cả hai từ xuất_hiện độc_lập trong văn_bản thì xác_suất gặp cả hai từ formula _ 30 and formula _ 31 trong văn_bản bất_kỳ formula _ 3 được tính như_vậy Với độ biến_thiên nhỏ đây chính là công_thức tính yếu_tố IDF trong BM25 Tham_khảo BULLET Stephen_E_Robertson_Steve Walker_Susan_Jones_Micheline Hancock_Beaulieu and Mike_Gatford_Okapi at TREC 3 In_Proceedings of the Third_Text_REtrieval_Conference TREC 1994 Gaithersburg_USA_November 1994 BULLET Stephen_E_Robertson_Steve Walker and Micheline_Hancock_Beaulieu_Okapi at TREC 7 In_Proceedings of the Seventh_Text_REtrieval_Conference Gaithersburg_USA_November 1998 BULLET Karen_Spärck_Jones_Steve Walker and Stephen_E_Robertson_A Probabilistic_Model of Information_Retrieval_Development and Comparative_Experiments parts 1 and 2 Information_Processing and Management 36 6 779 840 2000
Okapi BM25