1704175
Okapi BM25
https://vi.wikipedia.org/wiki?curid=1704175
Title: Okapi BM25
Công thức tính IDF trên có một nhược điểm. Đối với những từ phổ biến, xuất hiện trong hơn một nửa số văn bản trong tập văn bản, IDF sẽ có giá trị âm. Như vậy đối với 2 văn bản tương tự bất kỳ, 1 văn bản có chứa 1 từ, còn văn bản khác không chứa từ đó, thì văn bản không chứa từ đó sẽ có điểm cao hơn.
Như vậy những từ phổ biến sẽ có ảnh hưởng không tốt đến đánh giá văn bản. Vì thế một số trường hợp công thức sẽ được điều chỉnh:
 bỏ qua tất cả những số hạng có giá trị âm (việc này tương đương với việc cho những từ phổ biển vào stop-list và bỏ qua tất cả những từ phổ biến).
 Quy định giá trị thấp nhất cho IDF = ε; nếu giá trị IDF nhỏ hơn ε thì tính IDF bằng ε.
Sử dụng những công thức IDF không có giá trị âm
Cách hiển thị IDF trong lý thuyết tin học.
Sau đây là cách giải thích từ lý thuyết tin học.
Giả sử cho truy vấn formula_22 xuất hiện trong formula_23 văn bản. Sau đó chọn một văn bản bất kỳ formula_3 có chứa những từ với xác suất formula_25 (formula_19 tổng số văn bản trong tập văn bản). Như vậy, có thể hiểu như sau: "formula_3 chứa formula_22":
Giả sử cho truy vấn gồm 2 từ formula_30 and formula_31. Nếu như cả hai từ xuất hiện độc lập trong văn bản, thì xác suất gặp cả hai từ formula_30 and formula_31 trong văn bản bất kỳ formula_3 được tính:
như vậy:
Với độ biến thiên nhỏ, đây chính là công thức tính yếu tố IDF trong BM25.