支撐平臺
高性能計算機集群系統(tǒng)
儀器型號：曙光5000計算機集群
購置年月：2011年9月
儀器簡介：
曙光5000高效能計算機力求在體系結(jié)構(gòu)、多處理機芯片組、高性能節(jié)點操作系統(tǒng)、高可擴展互連網(wǎng)絡、高吞吐率通信軟件、多線程分割全局地址空間編程模型及編譯器等核心技術(shù)上實現(xiàn)較大突破；并提供高效能計算機的高密度節(jié)點、可靠的系統(tǒng)結(jié)構(gòu)、虛擬化軟件、高效能海量存儲、并行文件系統(tǒng)、大規(guī)模系統(tǒng)的管理軟件、系統(tǒng)級魯棒性技術(shù)、超大規(guī)模并行算法等產(chǎn)品及技術(shù)，從而實現(xiàn)系統(tǒng)的高性能、可編程性、可移植性和穩(wěn)定性，并服務于未來超算中心能力計算（Capability Computing）和容量計算（Capacity Computing）兩類應用。
曙光5000A基于高密服務器構(gòu)成的“超并行”體系結(jié)構(gòu)（Hyper Parallel Processing，簡稱HPP）；
峰值運算能力20Tflops CPU計算性能+50Tflops GPU計算性能，存儲能力96TB并行存儲系統(tǒng)+20TB備份存儲系統(tǒng)。
應用范圍：
1. 高性能計算應用范圍：先進制造、電子信息、環(huán)境工程、裝備制造、通信工程、光電工程、土木工程、軟件工程、流體力學計算、生物工程和農(nóng)學、基因工程、電子信息工程、基因工程、生物醫(yī)學、車輛工程、化學工程、數(shù)字城市、數(shù)字工程、影視動畫設計、三維動畫、特效制作、游戲引擎開發(fā)等、天氣預報、氣象災害評估、地理信息系統(tǒng)、海量遙感數(shù)據(jù)處理等；
高性能計算技術(shù)作為基礎工具，為各個學科行業(yè)以多種方式提供支持，提高生產(chǎn)力和創(chuàng)新能力，包括：
（1）基礎學科中深入的知識發(fā)現(xiàn)，問題規(guī)模的擴大和求解精度的增加需要更高性能的計算資源。例如，計算流體力學、計算材料學、計算電磁學。
（2）多學科綜合設計領域中，大量的多部門協(xié)同計算需要構(gòu)建高性能的綜合平臺。例如，汽車設計、船舶設計。
（3）基于仿真的工程科學結(jié)合傳統(tǒng)工程領域的知識技術(shù)與高性能計算，提供經(jīng)濟高效地設計與實踐方法。例如，基于仿真的醫(yī)學實踐、數(shù)字城市模擬、核電、油田仿真工具、新材料開發(fā)、碰撞仿真技術(shù)、數(shù)字風洞。
（4）高性能計算提升眾多行業(yè)服務、決策的時效性，提高經(jīng)濟效益。例如，實時天氣預報、城市交通控制、視頻點播服務、動漫設計、網(wǎng)絡游戲、基于RFID的貨物跟蹤、智能電子商務。
（5）數(shù)據(jù)密集型應用需要高性能數(shù)據(jù)處理，以應對數(shù)據(jù)爆炸式增長帶來的難題。例如，高能物理實驗數(shù)據(jù)處理、遙感數(shù)據(jù)處理、商業(yè)智能、生物信息學、RFID數(shù)據(jù)挖掘、金融業(yè)分析抵押借貸、移動電話流量分析。
2. 云計算應用范圍：IAAS硬件虛擬化云服務、云災備、云存儲、云安全、云融合等標準化云服務和研究。
技術(shù)參數(shù)：
|
曙光高性能計算集群系統(tǒng)配置清單 | ||||
|
序號 |
名稱 |
技術(shù)規(guī)格 |
單位 |
數(shù)量 |
|
1 |
硬件部分 | |||
|
1.1 |
計算子系統(tǒng) | |||
|
1.1.1 |
高性能計算分區(qū) | |||
|
刀片平臺 |
曙光TC3600 |
10U機架式刀片機箱，可以支持10個計算刀片； |
套 |
7 |
|
計算刀片 |
曙光CB65-G |
2*AMD Opteron 6172 12核處理器 (2.1GHz)； |
片 |
64 |
|
SMP胖節(jié)點 |
曙光A840-G |
4*AMD Opteron 6172 12核處理器 (2.1GHz)； |
臺 |
4 |
|
科學計算加速器(GPGPU) |
第一性原理計算 |
4U標準機架式設備 |
臺 |
6 |
|
分子動力學計算 |
4U標準機架式設備 |
臺 |
10 | |
|
計算容錯模塊 |
曙光CluSnap |
4U標準機架式設備； |
套 |
2 |
|
1.1.2 |
云服務分區(qū) | |||
|
云服務節(jié)點 |
曙光A840-G |
4*AMD Opteron 6172 12核處理器 (2.1GHz)； |
臺 |
8 |
|
1.1.3 |
協(xié)同設計分區(qū) | |||
|
工作站節(jié)點 |
曙光W580I |
4U機塔互換式； |
臺 |
10 |
|
1.1.4 |
安全隔離分區(qū) | |||
|
刀片平臺 |
曙光TC3600 |
10U機架式刀片機箱，可以支持10個計算刀片； |
套 |
1 |
|
計算刀片 |
曙光CB65-G |
2*AMD Opteron 6172 12核處理器 (2.1GHz)； |
片 |
10 |
|
SMP胖節(jié)點 |
曙光A840-G |
4*AMD Opteron 6172 12核處理器 (2.1GHz)； |
臺 |
1 |
|
1.2 |
管理控制子系統(tǒng) | |||
|
集群管理/監(jiān)控節(jié)點 |
曙光CB65-G |
2*AMD Opteron 6128 8核處理器 (2.0GHz)； |
臺 |
1 |
|
IB子網(wǎng)管理節(jié)點 |
曙光CB65-G |
2*AMD Opteron 6128 8核處理 (2.0GHz)； |
臺 |
1 |
|
功能節(jié)點（NIS、NTP、FTP、作業(yè)調(diào)度、License） |
曙光CB65-G |
2*AMD Opteron 6128 8核處理器 (2.0GHz)； |
臺 |
2 |
|
登錄節(jié)點（分區(qū)） |
曙光CB65-G |
2*AMD Opteron 6128 8核處理器 (2.0GHz)； |
臺 |
2 |
|
登錄節(jié)點（分區(qū)） |
曙光A620r-G |
2U機架式； |
臺 |
2 |
|
1.3 |
安全控制子系統(tǒng) | |||
|
安全認證服務器 |
曙光SecServer750 |
5U機塔互換設計,1顆Xeon E5506處理器,2G DDR3內(nèi)存,500G SATA 2硬盤,DVD-ROM,專用高性能加密卡,加密認證軟件光盤,具有CA認證、簽名、單機登錄等功能，與Nikey結(jié)合組成身份認證解決方案，擁有國家密碼管理局認證。 |
臺 |
1 |
|
網(wǎng)絡審計設備 |
曙光NetFirm-A1600 |
6個千兆口，4個光口，2U機架，冗余電源，實現(xiàn)網(wǎng)絡內(nèi)容與行為審計，支持網(wǎng)站過濾、聊天監(jiān)控、郵件監(jiān)控、行為管理、日志審計等功能，并發(fā)連接數(shù)250萬，吞吐量4.5G，用戶數(shù)5000個 |
臺 |
1 |
|
網(wǎng)絡防火墻 |
龍芯防火墻C10TLFW-1000L |
并發(fā)連接數(shù)100萬，吞吐量1G，VPN隧道數(shù)600 |
臺 |
2 |
|
智能密鑰 |
曙光NiKey100 |
曙光NiKey100智能密碼鑰匙，保證身份認證安全。與曙光GridView、防火墻VPN配合使用。 |
個 |
100 |
|
1.4 |
存儲子系統(tǒng) | |||
|
并行存儲系統(tǒng)Parastor（高性能計算分區(qū)） |
P100-MDC（數(shù)據(jù)索引控制器） |
高性能64位處理器，24GB Cache，1個管理網(wǎng)絡端口，2個1Gb接入端口，1個40Gb QDR IB高速接入端口，冗余電源，內(nèi)嵌高性能數(shù)據(jù)索引引擎，實現(xiàn)單一全局命名空間，管理多客戶端的并行訪問，支持雙機熱備 |
臺 |
2 |
|
P100-IOM（數(shù)據(jù)存取模塊） |
高性能64位處理器，24GB Cache，1個管理網(wǎng)絡端口，2個1Gb存取端口，1個40Gb QDR IB高速存取端口，冗余電源，內(nèi)嵌高性能數(shù)據(jù)存取引擎，并行處理所有客戶端的數(shù)據(jù)訪問請求，自動負載均衡，支持按需動態(tài)擴展，支持雙機熱備 |
臺 |
4 | |
|
P100-SSU（智能存儲單元：64TB） |
高性能64位處理器，全冗余架構(gòu)，1個管理網(wǎng)絡端口，支持多個RAID5、RAID6等RAID級別，支持SAS、SATA、SSD三種存儲介質(zhì)，提供海量存儲空間，最大可擴展到1EB，支持多副本容錯，支持按需動態(tài)在線擴展；實際配置裸容量64TB企業(yè)級SATA硬盤作為大容量存儲空間 |
套 |
1 | |
|
管理軟件 |
內(nèi)嵌曙光并行存儲管理軟件系統(tǒng)，中文界面，圖形化顯示，實時監(jiān)控并行存儲系統(tǒng)各組成模塊的運行狀態(tài)以及并行存儲系統(tǒng)的I/O性能 |
套 |
1 | |
|
并行存儲系統(tǒng)Parastor（安全隔離分區(qū)） |
P100-MDC（數(shù)據(jù)索引控制器） |
高性能64位處理器，24GB Cache，1個管理網(wǎng)絡端口，2個1Gb接入端口，1個40Gb QDR IB高速接入端口，冗余電源，內(nèi)嵌高性能數(shù)據(jù)索引引擎，實現(xiàn)單一全局命名空間，管理多客戶端的并行訪問，支持雙機熱備 |
臺 |
2 |
|
P100-IOM（數(shù)據(jù)存取模塊） |
高性能64位處理器，24GB Cache，1個管理網(wǎng)絡端口，2個1Gb存取端口，1個40Gb QDR IB高速存取端口，冗余電源，內(nèi)嵌高性能數(shù)據(jù)存取引擎，并行處理所有客戶端的數(shù)據(jù)訪問請求，自動負載均衡，支持按需動態(tài)擴展，支持雙機熱備 |
臺 |
4 | |
|
P100-SSU（智能存儲單元：32TB） |
高性能64位處理器，全冗余架構(gòu)，1個管理網(wǎng)絡端口，支持多個RAID5、RAID6等RAID級別，支持SAS、SATA、SSD三種存儲介質(zhì)，提供海量存儲空間，最大可擴展到1EB，支持多副本容錯，支持按需動態(tài)在線擴展；實際配置裸容量32TB企業(yè)級SATA硬盤作為大容量存儲空間 |
套 |
1 | |
|
管理軟件 |
內(nèi)嵌曙光并行存儲管理軟件系統(tǒng)，中文界面，圖形化顯示，實時監(jiān)控并行存儲系統(tǒng)各組成模塊的運行狀態(tài)以及并行存儲系統(tǒng)的I/O性能 |
套 |
1 | |
|
備份存儲系統(tǒng) |
曙光Dbstor備份存儲系統(tǒng) |
4U機架式，2個千兆網(wǎng)口，8GB緩存，20TB智能磁盤，含重復數(shù)據(jù)刪除，企業(yè)版?zhèn)浞蒈浖?/span>20個異構(gòu)客戶端，840W 2+1冗余電源 |
臺 |
1 |
|
光纖交換機 |
博科24端口光纖交換機 |
BR-360-0008-A，24端口交換機，24端口激活，單電源（固定），含24個8Gb短波SFP，含Web tools、Zoning軟件授權(quán),支持級聯(lián)，1年原廠保修（非現(xiàn)場） |
臺 |
1 |
|
1.5 |
網(wǎng)絡子系統(tǒng) | |||
|
高速計算網(wǎng)絡 |
Mellanox MIS5100Q-3DNC QDR IB交換機 |
標配機箱：6U模塊化交換機機箱、最大可支持108口（6個頁板），機箱內(nèi)包括3個內(nèi)部交換模塊、3個自適應110/220V AC電源模塊（2+1冗余）、管理模塊、熱插拔風扇模塊、上架套件 |
臺 |
1 |
|
Mellanox MIS5001QC 18口QSFP 40Gb/s IB頁板 |
18+18端口QSFP 40Gb/s IB頁板，芯片采用InfiniScale？ IV，用于MIS5XXX系列交換機 |
臺 |
6 | |
|
Infiniband線纜 |
FreePort QSFP(QDR) IB線纜(QDR 4X QSFP-QSFP IB線纜) |
根 |
108 | |
|
千兆以太網(wǎng)絡 |
Force10 C150交換機 |
配置96個10/100/1000baseT銅接口，包括：1個標配機箱（含1個AC電源，1個路由交換模塊），2個48口1Gb RJ-45口以太網(wǎng)卡板，1份操作系統(tǒng) |
臺 |
1 |
|
1.6 |
基礎架構(gòu)子系統(tǒng) | |||
|
曙光C1000散熱系統(tǒng) |
空調(diào)室內(nèi)機 |
曙光云座C1000氟冷水平送風空調(diào)室內(nèi)機模塊，最大顯冷量35KW，最大風量7000m3/h，尺寸600*1200*2000mm |
臺 |
3 |
|
空調(diào)室外機 |
GMVL-Rm600W/D，制冷量60KW |
臺 |
3 | |
|
除塵除濕一體機 |
曙光云座除塵除濕一體機，除濕量5kg/h，過濾等級亞高效 |
臺 |
1 | |
|
機柜 |
曙光云座C1000封閉機柜，尺寸600*1200*2000mm，有效空間42U，靜載1000kg |
臺 |
12 | |
|
監(jiān)控系統(tǒng) |
C1000監(jiān)控采集器 |
空調(diào)及機柜內(nèi)部傳感器數(shù)據(jù)采集及上傳功能 |
套 |
1 |
|
C1000溫度探頭 |
測量機柜內(nèi)部溫度 | |||
|
C1000溫濕一體探測器 |
測量機柜排冷、熱通道內(nèi)微環(huán)境的溫度及濕度 | |||
|
C1000煙霧探測器 |
測量機柜冷、熱通道內(nèi)微環(huán)境的煙霧濃度，預防火災隱患 | |||
|
C1000漏水探測器 |
測量空調(diào)室內(nèi)機下部冷凝水漏水，防止漏水水災隱患 | |||
|
控制臺 |
曙光集群控制臺 |
1U手動伸縮控制臺(曙光17”液晶顯示器、鼠標、鍵盤、8口切換器等) |
套 |
1 |
|
視頻切換系統(tǒng) |
SKVM |
SKVM IV Over IP（包含鍵盤鼠標），CIM節(jié)點控制模塊 |
套 |
1 |
|
2 |
軟件部分 | |||
|
操作系統(tǒng) |
Linux |
SuSE Linux 企業(yè)版 11.1 |
套 |
1 |
|
GPU編程環(huán)境 |
Nvidia GPU開發(fā)環(huán)境 |
nvcc C語言編譯器 |
套 |
1 |
|
用于GPU（圖形處理器）的CUDA FFT以及BLAS庫 | ||||
|
分析器（Profiler） | ||||
|
用于GPU（圖形處理器）的gdb調(diào)試程序 | ||||
|
CUDA運行時驅(qū)動程序 | ||||
|
云管理系統(tǒng) |
曙光Cloudview |
曙光Cloudview云管理平臺，支持項目組織管理、計費管理、虛擬化管理、云安全管理等功能 |
套 |
1 |
|
集群管理系統(tǒng) |
曙光GridView 2.5 |
GridView HPC版，支持系統(tǒng)部署、系統(tǒng)監(jiān)控、集群管理、數(shù)據(jù)報表、統(tǒng)一告警、作業(yè)調(diào)度 |
套 |
1 |
|
GridView應用Portal，8個基本應用Portal，支持Ansys、Lsdyna、Abaqus、Fluent、Vasp、Gaussian、NAMD、Gromacs；4個定制應用Portal，根據(jù)用戶需求開發(fā) |
套 |
1 | ||
|
GridView集群節(jié)能模塊PowerConf 2.0 |
套 |
1 | ||
|
應用開發(fā)環(huán)境 |
編譯器 |
GNU 編譯器，支持C/C++ Fortran77/90 |
套 |
1 |
|
數(shù)學庫 |
BLAS、LAPACK、ScaLAPACK、FFTW |
套 |
1 | |
|
MPI并行環(huán)境 |
OpenMPI（支持Infiniband和以太網(wǎng)的MPI環(huán)境） |
套 |
1 | |
|
MPICH（支持千兆以太網(wǎng)的MPI環(huán)境） |
套 |
1 | ||
|
CPU峰值（Tflops） |
20.16 |
|
|
|
|
GPU峰值（Tflops） |
50.43 |
|
|
|
中國科學院重慶綠色智能技術(shù)研究院 版權(quán)所有京ICP備05002857號渝公網(wǎng)安備50010943035號
