信息技术的高速发展提升了人们生产、收集数据的能力,越来越多的数据呈现出海量化、高维化的特征.这类大规模数据的出现给统计分析带来计算效率方面的挑战.为有效解决计算效率较低的问题,研究者结合"分治"思想提出了一种分析框架,并以随机森林算法为例内嵌其中得到大规模随机森林算法(BLOCK-SDB-RF).研究者从数据覆盖率及时间复杂度两方面对该算法的优势进行分析,同时通过数值模拟探究了BLOCK-SDB-RF算法的应用效果.数值模拟结果显示:1.随着数据样本量、特征维度的增加,该算法在计算效率上的优势愈发明显;2.尽管变量间的相关性对该算法的计算效率影响并不明显,但随着相关性的增加,研究者需要牺牲一部分预测精度.在实证分析中,研究者以音乐流媒体服务商KKBOX提供的日志数据为例,进一步讨论了BLOCK-SDB-RF算法在大规模高维实际数据分析中的作用.
大数据 计算效率 随机森林 分布式计算