为解决单机环境下地震属性计算处理效率低下问题,提出基于分布式并行框架Spark的地震属性迭代处理方法,构建满足并行计算需求的地震属性文件结构,然后将存储于HDFS上的地震属性数据以分布式弹性数据集(RDD)的形式读入内存,使用Spark将涉及多次迭代的地震属性计算过程转化为数据转移DAG图并分步执行,整个计算过程在内存中完成多次迭代后再将结果持久化到磁盘,相比于Hadoop MapReduce和传统的单机处理过程避免了每次迭代时中间结果的磁盘IO,极大地提高了处理效率.将此方法应用于曲率属性的二维高斯迭代滤波处理过程,有效提升了地震属性处理效率.实验表明随着数据量和迭代次数增加,同样的处理过程在Spark下比Hadoop MapReduce下的计算效率能够提升10倍左右.
地震属性分析 Spark RDD MapReduce 迭代计算