透过天河一号看超级计算机技术
当今主流：机群式超级计算机概况
机群式超级计算机系统具有结构灵活、通用性强、安全性高、易于扩展、高可用性和高性价比等诸多优点，所以目前新建的超级计算机大都使用这种结构，只不过在具体采用的节点机型、拓扑结构及互连技术会有所不同。
机群式系统的基本组成
高性能计算专业网站TOP500的全球超级计算机500强排名中，机群式系统所占比率连年上升，现已达到83％以上。机群是采用高速网络将大量的节点相互连接起来的系统，每个机群节点都是一个配置有处理器、内存、I/O设备、网卡和操作系统的计算机，各个节点以协同方式并行完成计算任务。机群系统与MPP一样，也是属于分布式内存结构，因而具有很强的可扩展性。具体而言，机群系统主要由节点计算机、高速互连网络、操作系统、单一系统映像等中间件、并行编程环境和应用程序等部分组成。
●机群节点的计算机
机群节点可以灵活采用高性能的微型机、工作站或SMP并行机等，节点机处理器的处理性能是影响机群系统整体性能的一个关键的因素。理论上节点机处理器的主频和浮点运算速度是决定机群计算速度的主要因素(见后面介绍的峰值速度计算公式)。
由于图形加速处理器(GPU)具有很强的浮点和向量(矩阵数组)计算能力，所以在机群中采用一定数量以GPU作为处理器的计算加速节点，将能提升机群的性能，例如“天河一号”就采用GPU加速节点并提升了GPU的计算效率，实现了CPU与GPU融合的异构协同计算。
●机群的互联技术
机群系统一般可以采用高带宽的以太网、异步传输模式(ATM)、可扩展一致性接口(SCI)、QsNet、Myrinet和InfiniBand等网络技术实现节点机的互连，其中千兆／万兆级以太网、Myrinet和InfiniBand使用比较广泛，尤其是后者InfiniBand互连技术也被称为“无限带宽”InfiniBand初由Mellanox公司提出，是一种基于输入输出总线的通用宽带互连技术，原本是为了解决因PCI等并行总线结构速度较慢而导致的服务器CPU输入输出瓶颈问题，这种瓶颈制约了服务器与存储设备、网络节点、其它服务器之间的通信能力，但由于InfiniBand非常适合于高性能计算系统，所以后来便成为一种广泛应用于超级计算机系统的开放性高速互连网络技术标准。
InfiniBand规范中定义了交换机、通道适配卡、线缆和子网管理器等标准设备，InfiniBand交换机在各个节点、各种设备之间建立点对点的串行连接并进行流量控制，可有效避免数据流量的阻塞。基于交换方式的点对点的串行连接使InfiniBand网络具有极强的可扩展性，一个网络可有数千个子网(Subnet)组成，每个子网有一个子网管理器、可支持上万个节点，这种子网架构实现了更有效的分散管理。
InfiniBand体系架构模型
InfiniBand采用串行双向数据传输方式，利用多路复用信号传输技术可实现并发的多通道数据传送，单个InfiniBand连接通道的线缆由4根信号线组成、可达2.5GB/s的基本传输速率，通过增加信号线数目并将多个通道组合成一个端口，就能使传输带宽成倍增加，新的4倍数据率(QDR)InfiniBand已达到了10Gb/s的通道基本传输率，在1、4、12倍通道连接模式可使传输带宽分别达到10Gb/s、40Gb/s、120Gb/s的传输带宽。目前，InfiniBand在超级计算机的应用日益广泛，例如2009 China HPC TOP 10排名中有5套超级计算机都采用了InfiniBand互连技术，包括排名前2位的“天河一号”和“曙光5000A”。
