海洋空间信息高效能存算一体化

        高性能计算是海洋空间数据处理和信息提取的关键所在,数据处理效率底是导致海洋GIS应用系统“中看不中用”的主要因素。传统并行计算、网格计算等GIS海量数据计算模式,虽然可以获得较高的计算能力,但面对目前海洋时空大数据超海量、种类多、更新快的特性,其计算能力还是受到了很大的挑战,且难以提供按需计算的服务。本项目创新性提出三级立体架构的高性能计算策略,实现了海洋空间数据计算高效能存算一体化,最大限度降低了软件体系内的网络消耗;发明了双态云环境下CPU/GPU混合并行加速方法,充分满足了计算密集及其高并发访问的快速计算等需求。

        率先在国内外提出了分布式云环境下海洋空间信息高效能存算一体化方法,发明了双态云环境下CPU/GPU混合并行加速方法,突破了海洋时空大数据高性能计算核心技术瓶颈,实现了大规模海洋空间数据计算处理效率的几何级数提高。

        关键技术一:首创了分布式云环境下海洋空间信息高效能存算一体化方法,突破了云环境下资源调度技术瓶颈。

        海洋空间数据往往数据量大、结构复杂,主流分布式云计算系统架构,虽然在可用性方面做了改进,但是会带来另一个问题,即数据计算前需完成数据合并,带来了数据传输方面的消耗。本项目创新性地提出云格双网环境下的“存算一体化”策略,基于Hadoop+MPP架构构建高可扩展、高性能的海洋时空大数据处理框架,设计了一个多目标优化的自适应复杂海洋科学计算任务调度方法,针对海洋时空大数据计算密集、数据密集和高并发相互叠加的计算特点,自动匹配消息传递、映射-规约、内存计算、实时计算、流式计算等计算范式框架,实现了资源的统一管理和优化配置,满足了集群、多核、GPU等任何单一计算资源均难以满足的性能需求,解决了复杂海洋科学计算中存在的数据迁移而带来的网络阻塞,传输开销等难题。

        关键技术二:发明了双态云支持的CPU/GPU混合加速方法,提高了计算资源的利用率。

        传统的分布式计算仅利用了节点的普通计算能力,对于节点的硬件资源无疑是一个巨大的浪费。随着多核、众核 CPU和 GPU 技术的发展,小规模的计算集群甚至单个计算节点也有能力完成高性能计算任务。时空大数据处理可并行化程度高,本项目将传统的矢量空间索引、经典矢量算法和栅格算法、网络分析算法等发展成为可并行化的算法,根据不同量级和复杂度的高性能海洋科学计算与分析任务的需求,分派不同的CPU/GPU执行计算任务,研制具有多处理单元的CPU/GPU进行混合并行计算,有效利用GPU显存读取数据的速度远远高于硬盘的读取速度的优势,充分发挥GPU的计算能力,解决读取瓶颈;引入内存文件系统,将处理的数据放置在内存中,有效的提高了数据读写的I/O,充分满足了GPU显存的读写需求。



Hadoop+MPP存算一



CPU-GPU混合加速


性能对比图