高效能低成本多尺度离散模拟超级计算应用系统
中国科学院过程工程研究所 , 中国科学院大学化学工程学院**     
研制背景与意义

过程工业涵盖化工、冶金、能源、材料、食品、医药等27个行业,约占我国工业总产值的一半以上。但长期以来,过程工程技术与工艺研发周期长、费用高、风险大、效果差等问题十分突出,一直是制约其升级发展的瓶颈,也是能耗物耗高、污染严重、产品质量不稳定和附加值低等问题的重要根源,对全行业绿色化、智能化和可持续发展提出了严峻的挑战,亟需研发模式的转变。

形成上述瓶颈的重要原因,是对这些行业的装备和过程中普遍存在的多尺度动态复杂结构缺乏机理性认识,甚至还缺乏有效的描述和表征手段。对此,计算机模拟的作用日益受到重视。模拟可以免除实体装备搭建的时间、费用及技术困难,可以方便灵活地改变研究条件,突破现实条件的限制,同时无干扰地获得详尽的动态数据,进行深入分析。这些优势已经使得模拟与实验和理论分析一起,成为了过程工程领域相辅相成的三大研发手段。但计算机模拟也面临诸多挑战,一方面多尺度结构的复杂性使得计算精度和可靠性在很多情况下还难以满足科研和工程开发的需求;而另一方面,虽然超级计算的峰值提高非常迅速,但高精度模拟所需的实际计算能力增长却相当缓慢。这些问题的根本解决需要深入分析模拟对象,从模型、软件、硬件等方面综合考虑,协同设计,提出系统的解决方案,而这正是本系统研制的初衷和总体思路。

本系统的成功研制为过程工程学科和过程技术研发提供了强有力的新一代通用装备,对推动过程工业研发模式的转变,实现其高效可持续发展将发挥越来越重要的作用。

中国科学院过程工程研究所多尺度离散模拟系统Mole-8.5实景图
基于EMMS范式的过程模拟逻辑与结构示意图
研制历程

中国科学院过程工程研究所自20世纪80年代即开始了对过程工业中复杂系统介尺度结构与多尺度方法的研究,提出了能量最小多尺度(EMMS)模型与方法,并在其验证和推广过程中发展了拟颗粒等离散模拟方法。随着EMMS方法从气-固多相系统逐步推广到气-液、气-液-固、湍流、乳液和颗粒流等体系,离散模拟也逐步覆盖了从微观的原子分子到宏观的颗粒和流体微元的不同尺度。在此基础上,通过耦合多尺度方法内在的层次性与离散方法内在的并行性,新的EMMS计算范式逐步形成。该范式具有“先整体,后局部”“先分布,后演化”的计算方法框架和“对象-模型-软件-硬件逻辑与结构一致”的体系结构特征,为解决精度与速度、效率与通用性等的矛盾提供了新的有效途径。

中国科学院过程工程研究所虚拟过程工程演示系统
气固系统的大规模直接数值模拟结果图

EMMS计算范式的形成过程中获得了一系列国家发明专利和计算机软件著作权,但限于当时的硬件技术和资金条件,一直没有获得系统实施与应用的机会。2007年前后,通用图形处理器(GPGPU)编程模式的演进和中国科学院知识创新方向性项目的支持为此提供了契机。中国科学院过程工程研究所由此在2008和2009年先后研制了国内首台单精度峰值超过100 Tflops和1 Pflops的超级计算系统,并且采用了独特的多层Torus网络拓扑和CPU-GPU协同的异构计算模式,实际验证了EMMS计算范式的可行性。

2010年4月在财政部和中国科学院共同推动的“国家重大科研装备研制项目”的大力支持下,完整体现EMMS计算范式的双精度千万亿次超级计算系统Mole-8.5正式发布,成为当时世界上最绿色的千万亿次系统。该系统入选了美国能源部编纂的全面介绍全球25套当代超级计算系统的专著,中国仅“天河”与本系统入选。特别是,该系统在过程工程中富有挑战性的基础和应用问题的模拟中表现出显著的效率和可扩展性优势,比如所实现的气-固系统直接数值模拟的规模较之前的报道提高了数个量级,首次完成了完整病毒颗粒的原子级模拟等。

2013年以来,中国科学院过程工程研究所又对Mole-8.5系统进行了持续的升级,提出了与介尺度模拟相适应的处理器设计方案,并借用Intel公司发布的集成众核处理器MIC实现了在同一计算节点内CPU、MIC和GPU三种处理协同计算的更加完整而紧凑的多层次体系结构,计算效率和效能进一步提高。目前,升级后的Mole-8.5E系统峰值性能已达2.5 Pflops,而峰值能耗控制在3.1 Gflops/W以内。

同时利用Mole-8.5及后续的Mole-8.5E系统提供的强大计算能力,中国科学院过程工程所还扩展建立了虚拟过程工程演示系统。虚拟过程工程作为传统计算机模拟与仿真的升级换代技术,集成了高精度实时计算、高分辨率在线可视化与高精度无损在线测量,以及虚拟现实与高速物联网等前沿技术,构建逼真的实际过程与装备的数字化实体,可实现虚拟运行、操作与测量分析等,将为过程工业提供前所未有的强有力研发手段。2012年建立的全球首套演示系统实现了模拟、实验、测量、显示与控制系统的高效集成,初步展示了虚拟过程工程技术的广阔前景。而2014年和2016年中试规模装置全回路离散模拟及二维准实时模拟的实现,为该技术的实用化突破了关键技术障碍。目前新一代实用系统正处于方案研制阶段,随着计算机技术和多尺度模拟方法的继续发展,有望在不远的将来进入工程样机研制阶段。

气-固循环流化床全回路离散模拟结果图
中石化MIP反应器的模拟优化
应用与推广

Mole-8.5及Mole-8.5E研制成功后一直保持高负荷的稳定运行,为国内外学术和企业界提供了高效的服务和有力的支持。在基础研究方面,本系统为包括重大研究计划和重大项目在内的数十项国家自然科学基金课题提供了长期的计算服务,在多相系统直接数值模拟、介尺度结构描述与分析等方面取得了大量国际前沿水平的成果,发表高水平论文100余篇。有力支持了气-固系统介尺度曳力模型(EMMS曳力模型)、气-液多气泡群平衡模型,以及描述强非平衡流动与反应—扩散—流动耦合过程的硬球-拟颗粒模型等的扩展与完善,有力促进了针对多相复杂过程的系统的多尺度模拟方法与软件平台以及虚拟过程工程研发模式的形成。

在工业应用方面,系统已服务于10余家世界500强企业的研发过程,包括中石化、中石油、宝钢、神华等国内领军企业和壳牌、英国石油、道达尔、巴斯夫、通用电气、阿尔斯通、法国电力、联合利华、必和必拓等跨国产业巨头。如对中石化的多产异构烷烃(MIP)工艺的放大完善与推广提供了长期多方面的模拟合作,对操作流域、气体和颗粒分布器优化等提出了非常有价值的设计依据;对宝钢的炉顶布料工艺进行了优化,得到的新布料矩阵能有效地抑制并罐布料的不均匀性,在保证高炉正常运行情况下,焦比降低了1.5—2个百分点,年增经济效益有望达6 000万元人民币。同时对中国科学院“低阶煤清洁高效梯级利用”战略性先导科技专项中的多项工艺与设备的开发与优化提供了系统的服务,有力促进了DMTO等工艺的完善与扩展。

在不久的将来,虚拟过程工程平台的研发就将进入实用化阶段,下一代基于EMMS范式的超算系统的研制也将提上日程,其建立必将更加有力地推动过程工程的发展和过程工业的技术进步。