今天是:周日, 2017-07-23

计算与存储单元

1. Dell集群

2. 联想集群

 

1. Dell集群

中科院空间科学与应用研究中心空间天气学国家重点实验室DELL高性能计算平台中计算节点采用DELL PowerEdge M1000e(刀片服务器),存储IO节点采用DELL PowerEdge R900 4U机架式服务器,管理和登陆服务器采用DELL PowerEdge 2950MLK 2U机架服务器,磁盘阵列采用先进的EMC CX4-120光纤磁盘阵列,配置15TB裸容量,管理网络由一台全线速无阻塞交换机组成。

DELL高性能计算平台的计算网络、集群管理网络、存储网络、KVM切换控制网络分离,计算网络通过Infiniband 20 Gb/s上行端口接入高性能Infiniband交换机,并通过2个存储I/O节点共享访问光纤存储;管理网络接入全线速交换机。KVM切换系统通过Dell 2161DS数字切换器级联构成一个控制切换系统。

系统中所有节点、管理设备、网络设备,全部放置在42U标准机柜中,统一进行管理。


系统配置

中科院空间科学与应用研究中心空间天气学国家重点实验室DELL高性能计算平台是一个包括128台DELL M600刀片服务器、1台Dell 2950机架服务器作为管理节点、1台Dell 2950机架服务器作为登录节点、2台DELL R900服务器作为I/O节点、采用Qlogic Infiniband光纤网互联以及15T CX4-120作为存储系统的高性能计算平台解决方案。其中,刀片和机架服务器的具体配置如下:

  • 管理/登录节点:

2×Intel Xeon 四核E5450 3.0GHz CPU,16GB 全缓冲内存,2×146GB 15000转 SAS 热插拔硬盘,支持RAID0、1、10、5、6,256M cache,DVD-ROM,2个千兆以太网卡,冗余电源,导轨套件。通过千兆网卡接入全线速交换机来进行统一管理。

  • 计算节点:

2×Intel Xeon 四核E5450 3.0GHz,16GB 全缓冲DDR2内存,2个2.5英寸146GB SAS 热插拔硬盘,每个刀片配置1块20Gb/s 双端口Infiniband网卡,RAID控制卡,基板管理控制器,支持IPMI 2.0; iDRAC远程管理模块,集成双端口千兆以太网卡。

  • M1000e刀片机箱:

1个千兆以太网直通模块,并发会话式iKVM管理模块,USB外置DVD-ROM, CMC(Chasis Management Controller)机箱管理控制器,1.44软驱,6个热插拔冗余电源、9个热插拔风扇。

  • I/O节点:

4×Intel Xeon E7440 四核2.4GHz CPU 16MB缓存,16GB 全缓冲内存,2×146GB SAS 15K转热插拔硬盘,支持RAID0、1、10、5、6,256M cache,DVD-ROM,4个千兆以太网卡,冗余电源,导轨套件。1块20Gb/s Infiniband卡连接到Infiniband交换机。1块双端口8Gb/s HBA卡分别通过Brocade 300交换机连接到光纤存储上。

  • 操作系统:

Red Hat Enterprise Linux Server release 5.2,Linux kernel 2.6.18-92.el5。


平台拓扑

拓扑图说明:

本系统由若干个网络和相应软件系统构成。

1、计算网络(Infiniband)

计算网络由计算节点、管理节点、存储I/O节点、Infiniband交换机等硬件组成。

2、管理网络

管理网络由管理服务器、管理网络交换机等硬件组成。

3、存储系统

存储网络由磁盘阵列、光纤交换机、I/O节点服务器等硬件组成。

4、KVM切换控制网络

KVM切换控制网络由刀片机箱上的KVM模块,独立的KVM交换机,终端键盘、鼠标和显示器等设备构成。

5、软件系统

Redhat Enterprise Linux 5.0

COMS集群优化管理系统

并行文件系统PVFS

英特尔 Fortran 编译器 10.1 Linux 专业版

英特尔 C++ 编译器 10.1 Linux 专业版

服务器管理软件Dell OpenManage



PVFS文件系统

随着Linux集群系统性能的持续提高,高速并行文件系统已成为并行计算的一个必备部分。并行虚拟文件系统(PVFS)为高性能计算(HPC)集群和大型I/O密集并行应用提供了这样一个文件系统。本方案在2个存储I/O节点上安装PVFS并行文件系统。

PVFS已被广泛地用于高性能大型文件系统和并行I/O研究的基础架构。作为一个并行文件系统,PVFS将数据存储到集群多个节点已有的文件系统中;允许多个客户端同时访问这些数据。总的来说,并行文件系统具有众多优势:
(1)提供一个全局命名空间;
(2)将数据分配到多个磁盘上;
(3)允许使用不同的用户界面;
(4)可以包含其它的I/O接口来支持大型文件

在高性能计算集群中,PVFS所提供的高性能I/O可以与其它专用文件系统的性能相比。2002年10月,Argonne国家实验室在一个PVFS群集上达到了1.05GB/秒的I/O吞吐量,这一I/O吞吐量表明PC集群的性能足以与专用系统的性能相媲美。

 


性能测试

中科院空间科学与应用研究中心空间天气学国家重点实验室DELL高性能计算平台的系统理论浮点峰值为12288Gflops,通过采用以下系统优化方法:
(1)HPL参数调优
(2)libhugetlbfs
(3)编译优化
(4)操作系统瘦身
(5)BLAS库的优化选择
(6)处理器——进程映射方式的优化

通过从上述多个方面进行优化,最终将该高性能计算平台的linpack实测值提到了10330Gflops,并行效率达到84.07%。

 

回到顶端

2. 联想集群

中科院空间科学与应用研究中心空间天气学国家重点实验室联想高性能计算平台中计算节点采用联想R510 G6机架式服务器,存储IO节点采用联想R350 G6机架式服务器,管理和登陆服务器采用联想R520 G6机架服务器,磁盘阵列采用先进的曙光DS8340FF磁盘阵列,配置10TB裸容量,管理网络由联想5448交换机和联想5424交换机堆叠组成。

联想高性能计算平台的计算网络、集群管理网络、存储网络、KVM切换控制网络分离,计算网络通过Myrinet M3F-PCIXD-2 4Gb/s全双工端口接入高性能Myrinet交换机,并通过1个存储I/O节点共享访问光纤存储;管理网络接入全线速交换机。KVM切换系统通过联想数字切换器级联构成一个控制切换系统。

系统中地所有节点、管理设备、网络设备全部放置在三个42U标准机柜中,统一进行管理。


系统配置

中科院空间科学与应用研究中心空间天气学国家重点实验室联想高性能计算平台是一个包括64台联想R510 G6机架式服务器、1台联想R520 G6机架服务器作为管理节点、1台联想R350 G6服务器作为存储I/O节点、采用Myrinet光纤网互联以及10T 曙光DS8340FF作为存储系统的高性能计算平台解决方案。其中,机架式服务器的具体配置如下:

  • 管理节点:

2×Intel Xeon WOODCREST 2.33GHz CPU (1*4MB L2 cache),2G FBD Mem 533内存,2×146G Ultra320 10K SAS热插拔硬盘(raid1),集成双端口千兆以太网卡,1+1冗余电源及DVD光驱、软驱。

  • 计算节点:

2×Intel Xeon WOODCREST 2.33GHz CPU (1*4MB L2 cache),2G FBD Mem 533内存,1块73G Ultra320 10K SAS热插拔硬盘,集成双端口千兆以太网卡。

  • 存储I/O节点:

2×Intel Xeon WOODCREST 2.33GHz CPU (1*4MB L2 cache),2G FBD Mem 533内存,2×146G Ultra320 10K SAS热插拔硬盘(raid1),集成双端口千兆以太网卡,2×Emulex LP1150 4G光纤卡,含连接线,2+1冗余电源以及DVD光驱、软驱。

  • 操作系统:

RedHat Linux Enterprise 4.0 for EM64T(64bit)。


平台拓扑

拓扑图说明:

本系统由若干个网络和相应软件系统构成。

1、计算网络(Myrinet)

计算网络由计算节点、管理节点、存储I/O节点、Myrinet交换机等硬件组成。

2、管理网络

管理网络由管理服务器、管理网络交换机等硬件组成。

3、存储系统

存储网络由磁盘阵列、光纤交换机、I/O节点服务器等硬件组成。

4、KVM切换控制网络

KVM切换控制网络由KVM交换机,终端键盘、鼠标和显示器等设备构成。

5、软件系统

Redhat Enterprise Linux 4.0

联想机群管理系统LCMS

联想机群资源管理与作业调度系统LJRS

MPICH/PVM/INTEL MPI (ESD)并行环境

性能分析工具Vtune PA 7.2 Plus -Academic Single (ESD)

调试器 GNU gdb、Intel IDB Debuger9.1

数学函数库 Goto、BLAS、Lapack、ScalaPack、FFTW、Intel MKL 7.2(ESD)

英特尔 Fortran 编译器 9.1 Linux 专业版

英特尔 C++ 编译器 9.1 Linux 专业版

 


存储系统

曙光DS8340FF磁盘阵列为联想高性能计算平台提供了约10T的裸存储容量,具体配置为:3U 16盘位机架式,双控制器,4个4Gb FC通道,Cache容量2GB,冗余电源,冗余风扇,配置磁盘阵列管理软件,2根10m光纤线,41U曙光标准机柜,3年质保服务,1个主磁盘柜+2个扩展盘柜,共36块300GB 2Gb FC硬盘。

 


可视化系统

曙光天阔A950,高档企业级Unix/Linux服务器,5U机架式,4颗AMD Opteron870双核芯片(8个2.0GHz CPU),可扩展到最多8颗双核处理器,8GB DDR ECC内存,146GB热插拔SCSI硬盘,冗余电源,集成双千兆网卡,DVD,软驱,CentOS 4.2或Turbo Linux操作系统;MPI和PVM环境;PGI C/Fortan编译器;ACML核心数学库。

 


性能测试

中科院空间科学与应用研究中心空间天气学国家重点实验室联想高性能计算平台的系统理论浮点峰值为2385.92 Gflops,采用Myrinet作为集群的计算网络,HPL 1.0a为测试程序,平台最终的linpack实测值为1562.86Gflops,并行效率65.5%。

 

回到顶端