透过天河一号看超级计算机技术

超级计算机与大家广泛使用的微型计算机或个人电脑(PC)在系统规模和体系结构、性能和用途、硬件和软件、造价和耗电量都迥然不同。超级计算机一般由成百上千的处理器或处理机组成，可以协同有效地并行完成计算任务，因而具有超快的运算速度，能完成普通微型机很难承担的、极为复杂的大规模计算任务。有一个形象的比喻：如果把微型计算机的运算速度比作人的步行速度，则超级计算机的运算速度就可以比作火箭的飞行速度。

不过，超级计算机与普通计算机的发展之间也并非完全隔离的。一方面，普通的微型计算机等可以被用作超级计算机的节点机；另一方面，超级计算机的一些技术理念也被应用到了微型机，例如多核CPU、支持CUDA的GPU在技术上就分别与超级计算机的多处理器并行计算、向量处理类似。下面，我们可以从“天河一号”的一些数字来进一步体验超级计算机与微型计算机的差别。

“天河一号”超级计算机采用了多阵列、可配置、协同并行体系结构，系统由计算阵列、加速阵列和服务阵列组成，其中计算阵列、服务阵列分别由采用通用处理器(CPU)的计算节点机、服务节点机构成，加速阵列则由基于图形加速处理器(GPU)的大量加速节点机构成，实现了“CPU＋GPU”的异构协同计算，提高了计算效能。此外，“天河一号”采用了便于维护和高密度的刀片式(Blade)结构，每个机位都有几十个可热插拔的刀片，每个“刀片”实际上就相当于一块计算机主板，组成一台配置有处理器、内存等模块的节点计算机。

“天河一号”的硬件与软件系统有啥不同？

“天河一号”的硬件系统由计算阵列、加速阵列、服务阵列、互连通信子系统、I/O存储子系统和监控诊断子系统等组成示。计算阵列有2560个计算节点，每个计算节点配置2个Intel处理器(Xeon E5540 2.53GHz)和32GB内存；加速阵列有2560个加速节点，每个加速节点配置2个AMD图形加速处理器(ATI Radeon HD 4870 575MHz)和2GB显存；服务阵列有512个服务节点，每个服务节点配置2个Intel处理器(Xeon E5450 3.0GHz)和32GB内存。

零售市场上的Radeon HD 4870

在硬件配置上我们可以发现Radeon HD 4870显卡的频率要低于市售产品，这是考虑到巨型计算机特殊的要求，既要追求浮点运算能力，也要同时考虑功耗的问题。很多人会觉得为什么需要如此之多的显卡GPU呢？这是因为在并行计算中，显卡GPU可以提供数倍于CPU的计算能力，以Radeon HD 4870显卡为例，其理论浮点运算能力就达到了1.2TFlops，是同时期CPU的的14倍。

天河一号的主板与显卡

“天河一号”系统共有6144个通用处理器(CPU)和5120个图形加速处理器(GPU)、内存总容量达98TB、峰值速度达1206 TFlops，Linpack实测性能为563.1TFlops，而配置双核处理器的普通微型计算机运算性能只有大约百亿次每秒。按照这样的速度对比，“天河一号”1天的计算任务量, 若由一台微型计算机来执行，大约需要连续计算160年才能完成。

“天河一号”的硬件系统

“天河一号”的I/O存储子系统采用全局分布共享并行I/O系统结构，磁盘总容量为1PB，相当于能够存储10800万册10MB的数字图书；系统的互连系统采用两级QDR InfiniBand架构，每个通信链路的带宽为40Gbps；“天河一号”的监控诊断子系统采用分布式集中管理架构，具有实时的系统监测、调控和诊断等功能。“天河一号”由103台机柜组成，总重量约155吨、占地面积近千平方米，每小时耗电1280度，投入研发的资金约6亿元。

“天河一号”的软件系统

“天河一号”的软件系统包括操作系统、编译系统、资源管理系统和并行程序开发环境等。操作系统采用面向高性能并行计算的64位Linux，支持功耗管理、虚拟化和安全隔离等；编译系统支持C、C++、Fortran和Java等的并行编程，并提供了异构协同编程框架以有效发挥CPU与GPU的协同计算能力；资源管理系统可提供整个系统的资源统一视图，能实现多策略资源分配与作业调度，有效提高资源利用率和系统吞吐率。