传统Simhash算法是由Google公司提出以实现大规模文本去重的方法,其优势在于处理高效,且准确度高.当前,Simhash算法在文本检测、异常检测等领域有诸多应用.但传统Simhash算法的权值计算方式容易造成信息丢失,导致准确性降低.针对此问题,本文提出一种使用TF-IDF算法来计算权值的方式,并进行了系统设计与实现.结果表明,利用改进的Simhash算法实现的文本查重系统,其准确率、效率均优于传统方法.
Simhash TF-IDF 相似度计算 Django