Hadoop技术已经在互联网领域得到广泛的应用,同时也得到了学术界的普遍关注.该文介绍了Hadoop作为基础数据处理平台仍然存在的问题,阐明了Hadoop性能优化技术研究的必然性,并介绍了当前Hadoop优化的三个主要思路:从应用程序角度进行优化、对Hadoop系统参数进行优化和对Hadoop作业调度算法进行优化.Hadoop集群优化对于提高系统性能和执行效率具有重大的意义.
Hadoop集群 性能优化 配置参数 作业调度