网格计算及其在高能物理中的应用概况市公开课获奖课件

1、网格计算及其在高能物理中应用概况高能物理所计算中心第1页第1页本汇报参考了：CERN钱思进专家207月汇报Grid Computing and its ApplicationIHEP孙功星副研究员准备年11月8日在韩国召开“国际高能物理数据网格研讨会上所作汇报Grid Activity in chinaIHEP杨大鉴研究员博士生蒋文保汇报Grid Computing美国加州理工大学Harvey B Newman 在2010月9日ICFA讨论会上作汇报Report from ICFA Standing Committee on Interregional Connectivity许榕生研究员为本

2、次大会准备汇报高能物理网格发展动态第2页第2页网络技术三次浪潮什么是网格计算 为何现在会发展网格计算哪些行业需要网格计算高能物理对计算需求网格计算基本技术国际网格计算技术发呈现实状况国内网格计算现实状况及发展前景第3页第3页网络技术发展三次浪潮第一次浪潮：Internet产生（80年代）计算机相互连接发展产生了局域网FTP、Telnet、Emailnewsgroup、BBS第二次浪潮：WWW（80年代末- 90年代中期）超文本文件由http协议连接WWW产生（1989年由CERN科学家创造）第三次浪潮：Grid（90年代后半期-.）各种资源统一经过网格技术连接依据用途不同分为数据网格、计算网格

3、.第4页第4页什么是网格Argonne试验室I. Foster认为网格是一个规模大小可变虚拟组织：由动态合作个体、研究单位和资源所有者之间灵活、安全、协调资源共享虚拟组织组员分布在世界各地，为了完毕同一件事情研究机构、大学、科学家个体资源计算机、存储设备、网络、大型科学仪器、数据库、软件、信息用户观点：希望使用网上资源像使用电力、自来水那样以便，不必关怀是从哪里来资源，也不必考虑用多用少，总能满足需求。第5页第5页与电力网比较积极，能够是提供共享资源节点被动最后用户规则不必中心控制是，在诸多国家和地域由政府单一控制中心控制全世界国家或地域（基于政治或经济原因等）共享地域地理分布、研究或工业领域

4、、研究机构地理分布共享范围计算机、数据存储设备、数据库、大型仪器设备、网络、软件发电站、高压线、变电站 共享资源计算网格电力网格第6页第6页为何现在会发展网格计算需求计算密集型、I/O密集型、数据密集型计算需求需要使用位于远处大型、位置固定仪器设备在不同地域使用含有不同政策已经有技术复杂需求大型国际合作项目标需求可能性计算机工业技术符合摩尔定律发展网络基础设施飞速发展，发达国家、地域高速网络及跨大洋洲际光缆已经具备相称规模软件技术新发展第7页第7页哪些行业需要网格计算生物、生化研究人类基因研究爱滋病药物研究地震仿真研究大气物理与气象预报高能物理理论与试验第8页第8页社团构成:数千家庭计算机用户

5、慈善机构提供计算能力 (Entropia)研究组 (Scripps)共同目的= 增进爱滋病研究家庭中计算机用来评价爱滋病药物_ image courtesy from第9页第9页地震工程和仿真NEESgrid（地震工程和仿真网格）:将地震工程师与试验设施、数据库、计算机结合体系结构按需地使用试验、数据流、计算设施、档案、合作NEESgrid: Argonne, Michigan, NCSA, UIUC, USC第10页第10页高能物理对计算需求以LHC试验为例第11页第11页 Large Hadron Collider （大型强子对撞机）能量.: 14 TeV (质子-质子) 1250 TeV

6、 (铅核-铅核)亮度: 1034 cm-2s-1 (质子-质子)1027 cm-2s-1 (铅核-铅核)周长: 26.6 km主要试验: 4个第12页第12页4 主要 LHC 试验ATLAS CMSALICELHCb第13页第13页LHC 计算需求数据存储 原始数据率 0.1 1 GByte/sec 相称于 5-8 PetaBytes/year 需要磁盘容量 10 PetaBytes处理能力 200,000 个当前 () 最快 PC机 第14页第14页LHC高能物理试验数据处理示意图层 1Tier2 Center在线取数 CERN 700k SI95 1 PB Disk; Tape Robot

7、FNAL: 200k SI95; 600 TBIN2P3 Center INFN Center RAL Center InstituteInstituteInstituteInstitute 0.25TIPSPC或工作站100-400 MBytes/sec2.5 Gbps100 - 1000 Mbits/secHPSSHPSS-8年达几十 Pbyte/sec.5年左右达到1000PByte/sec离线物理数据PByte/sec2.5 Gbits/secHPSSHPSSHPSSTier2 CenterTier2 CenterTier2 Center2.5 Gbps层 0 +1层 3 层 4层 2

8、中心 层 2对撞试验CERN内部/外部 百分比 1:2层 0/( 层 1)/( 层 2) 1:1:1第15页第15页世界上参与高能物理试验合作单位欧洲:267 个研究单位, 4603 个用户其它地域: 208 个研究单位, 1632 用户ICFA 国际未来加速器委员会SCIC 地域间连接原则委员会第16页第16页高能物理对网络需求ICFA 于1996年启动各国之间高速网络互联计划 ICFA 要求参与国际高能物理合作国家和机构必须： 检查他们运营办法以便确保与远方合作者完全连接 争取提供必要通信设施和足够国际带宽第17页第17页ICFA 1998联网带宽计划(Mbps)预计1998-年期间将增长

9、1001000 倍带宽需求每个物理学家使用带宽（所用峰值带宽）大学组使用带宽中心试验室，包括一个或几种主要试验使用带宽当地试验室或地域中心跨大洋连接带宽第18页第18页 跨越大西洋带宽要求* 按最大占用50%算 /lprice/TAN第19页第19页网格技术产生技术基础高性能计算技术发展CPU技术飞速发展超级计算机与计算机集群大规模共享资源网络基础设施高度发达发达国家高速光纤网已四通八达跨大洋海底光缆连接已经含有相称规模软件技术新发展异构平台体系和语言广域网资源共享软件中间件网络安全技术第20页第20页CPU计算速度每18个月翻一番你家里PC机CPU计算能力已经相称服务器CPU了你办公室和你家

10、里计算机CPU经常无事可做，或负荷很低它们在网格里能够提供应需要人使用，而对你毫无影响第21页第21页中国计算机TOP50排行榜第一： “深腾1800”，联想研制，安装于科学院数学院，含有512个Intel Xeon 2.0G CPU，峰值计算能力2048 Gflops第三：HP SuperDome，用于北京社会保险，含有256个CPU，峰值计算能力384 Gflops第42：北京大学数学学院在国内最早自行组装大型PC-Farm，含有60个PIII-700 CPU，峰值计算能力42 Gflops第22页第22页网络基础设施高度发达网络速度每9个月翻一番（技术）网络带宽每5年提升一个数量级（实际

11、）发达国家高速光纤网已四通八达跨大洋海底光缆连接已经含有相称规模第23页第23页主干网与各国连接进展欧洲 GEANT 主干网联结31个国家，速率 2.5 and 10 Gbps英国: JANET 网，速率10 Gbps2.5 Gbps NY-London, with 622 Mbps to ESnet and Abilene法国 (IN2P3): 2.5 Gbps RENATER里昂-日内瓦（CERN）连接千兆以太网1.0G计划年改用光纤 SuperSINET (日本): 10 Gbps IP and 10 Gbps Wavelength Core东京-纽约连接: 2 x 2.5 Gbps;

12、需要到StarlightCA*net4 (加拿大): 国内光纤，速率10 Gbps“Lambda-Grids” 计划205月实现GWIN (德国): 2.5 Gbps 骨干; 到美国 2 x 2.5 Gbps;俄罗斯: 155 Mbps 连到莫斯科到GEANT 155 Mbps第24页第24页（续）美国Abilene (Internet2) 从 2.5G 正升级到10 GbpsEncourage high throughput use for targeted applications 美国能源部ESNET: 升级到 10 Gbps美国与西欧中心（CERN）622 Mbps; 到STARLIG

13、HT2.5G 三地STARLIGHT-CERN-NL连接20到10G 美国SLAC到法国IN2P3 (BaBar) 100 Mbps通过US-CERN到Renater600 Mbps 今年BaBar目的美国费米试验室 （FNAL） 与Esnet 连接升级到622 Mbps用光纤连到STARLIGHT纽约到阿母斯特丹由Tyco公司捐助（IEEAF ）计划, 年由IEEAF安排 622 Gbps+10 Gbps Research Wavelength 第25页第25页One of the mosthomogeneous bandwidth distribution第26页第26页NLSURFnet

14、GENEVAUKSuperJANET4ABILENEESNETCALRENItGARR-BGEANTNewYorkFrRenaterSTAR-TAPSTARLIGHTDataTAG ProjectEU-Solicited Project. CERN, PPARC (UK), Amsterdam (NL), and INFN (IT);and US (DOE/NSF: UIC, NWU and Caltech) partnersMain Aims: Ensure maximum interoperability between US and EU Grid ProjectsTransatlant

15、ic Testbed for advanced network research2.5 Gbps Wavelength Triangle 7/02 (10 Gbps Triangle in ) Wave Triangle第27页第27页纽约-欧洲 9/02加州-东京 1/03(研究)第28页第28页软件技术新发展异构平台体系与程序语言Java语言、Java虚拟机中间件代理、可移动代理、CORBA广域网资源共享软件文献共享，如AFS数据库，如Objectivity网络安全技术SSH、SSL认证/授权技术加密技术数字署名、防抵赖技术第29页第29页网格计算基本技术（服务功效）通信服务 信息服务 安

16、全认证 名字服务 监视系统 资源管理和调度 资源交易机制 编程工具 用户图形界面 第30页第30页GRID协议分层体系结构 应用层 汇聚层 资源层 连接层 基础层 应用层 TCP层 IP层 链路层Grid协议体系结构Internet协议体系结构第31页第31页计算网格是如何实现ApplicationFabric“Controlling things locally（当地控制东东）”: 访问与控制、资源Connectivity“Talking to things（与东东对话）”: 通信 (Internet 协议) 与 安全Resource“Sharing single resources（共享单

17、一资源）”: 协商访问、控制使用Collective“Coordinating multiple resources（汇聚多个资源）”: 普及体系结构服务、应用特定分布式服务Grid 结构Globus Toolkit第32页第32页GRID技术要点构成结构网格结点中间件开发环境和工具层 应用层第33页第33页国际网格计算技术发呈现实状况科学界美国Argonne试验室 : Globus欧盟数据网格 : EU DataGrid物理学网格 : GriPhyN地震工程与仿真网格 : NEESgrid政府美国能源部 (DOE) : DOE Science Grid 美国国家航天局 (NASA) : In

18、formation Power Grid美国国家科学基金会 (NSF)国家计算科学联盟 (NCSA) : National Technology Grid德意志联邦教育科研部 (BMBF): UNICORE厂商 IBMSUNPlatform第34页第34页HEP领域中GRID技术 高能物理领域对计算技术需求从来走在时代前列，关于GRID技术研究也不例外举例：美国粒子物理数据网格 PPDG欧盟数据网格 (EU DataGrid)西欧核子研究中心CERNLCG计划 第35页第35页PPDG -参与者 加州理工大学阿槓国家试验室劳伦斯伯克利试验室布鲁克海文国家试验室费米国家试验室圣地亚哥超级计算机中

19、心斯坦福直线加速器中心威斯康星大学第36页第36页PPDG -主要目的 为成千个物理学家提供广域分布PB量级（1015Byte）数据粒子物理数据分析体系结构加速广泛针对数据密集型科学合作网络和中间件体系结构发展第37页第37页PPDG -体系框图第38页第38页PPDG -技术方案 第一步（1999年）：提供两个不同地点间高速文件复制服务提供多地点高速缓存文件存取服务第39页第39页PPDG -技术方案第二步（2000-年）：开发一个普通化文献迁移框架（支持 QoS）作为透明写访问和代理技术所需要基础，作到目录、资源代理和匹配服务实现/通用化实现文献透明写访问实现对代理有限支持实现数据网格分布

20、资源管理在组件级和结构级主要努力作到健壮性和快速问题诊断第40页第40页PPDG -技术方案长远目的 :系统必须使用静态和移动独立代理去执行定义好任务系统必须是有弹性、预测性/自适应任务优先级必须是基于策略和边界效用两者必须使用辅助调度算法（匹配）在一定期间限额内将请求配给资源，匹配结果将影响用于度量边界效用索引事务管理必须使用上述价格估算法，比如抽查/重算机制第41页第41页PPDG -已有技术基础ANL: Globus 网格中间件服务SLAC: 对象开放文献系统 (OOFS)Caltech: 全球互连对象数据库 (GIOD) 项目FNAL: 数据访问架构 (SAM)LBNL: 存储访问协作

21、系统 (STACS)ANL: 规模可伸缩目的存储和访问 Scalable Object Storage and Access威斯康星大学: Condor 分布资源管理系统SDSC: 存储资源代理 (SRB) 第42页第42页欧盟数据网格计划为进行数据密集型科学研究给大型分布科学组织提供世界级网格从计划构思和机构人员编制看主要涉及CERN和粒子物理界 (由LHC计划推动)由地球观测和生物学共享第43页第43页EU DataGrid 计划目的特定计划目的：构架中间件和网格管理软件（大部分由欧盟资助）大规模试验床（大部分由参与单位资助）含有产品质量级别演示（部分由欧盟资助）与欧洲和美国项目合作并提供

22、补充为开放原则和国际实体作出奉献：第44页第44页EU DataGrid 主要参与者CERN International (Switzerland/France)CNRS FranceESA/ESRIN International (Italy)INFN ItalyNIKHEF The NetherlandsPPARC - UK第45页第45页项目计划计划从201月1日开始测试床 0 （20前期）布署国际试验床0体系结构（仅用Globus 1 - 未用欧洲数据网格中间件）测试床 1 （20前期）第一版EU DataGrid 软件在项目内部定义了用户： 高能物理试验（工作组8）、地球观测（工作组

23、9）、生物医学（工作10）203月1日成功通过欧盟项目评审测试床 2 （2010月）在试验床 1上建立，扩充数据网格功效测试床 3 （203月）和 测试床 4（209月）计划到2012月31日停止第46页第46页EU DataGrid计划各工作组分工中间件WP1 网格工作负载管理WP2 网格数据管理WP3 网格监控服务WP4 构架管理WP5 海量存储管理测试床WP6 测试床集成WP7 网络服务科学应用WP8 高能物理WP9 地球观测WP10 生物学宣传 WP11项目管理 WP12第47页第47页EU DataGrid 软件结构Collective ServicesUnderlying Grid

24、 ServicesGrid Application LayerInformation & MonitoringReplica ManagerGrid SchedulerLocal ApplicationLocal DatabaseComputing Element ServicesAuthorization Authentication and AccountingReplica CatalogStorage Element ServicesSQL Database ServicesFabric servicesConfigurationManagementNode Installation

25、&ManagementMonitoringandFault ToleranceResource ManagementFabric StorageManagementGridFabricLocal ComputingGridData ManagementJob ManagementMetadata ManagementObject to File MappingService IndexGlobusMwareApps第48页第48页Web 用户界面 (1)第49页第49页Roberto Barbera4th DataGrid Conference, 04-08.03.Web 用户界面 (2)第5

26、0页第50页Web 用户界面 (3)第51页第51页LHC 计算网格计划 LCG开始称为MONARC计划，其任务是规划LHC计算目的： 每一个物理学家应当含有对于数据和资源相同访问通道LHC 计算网格（LCG）计划是CERN理事会于年9月同意一个LCG计划研讨会于203月在CERN召开CERN人工计划： 147 人年材料预算: 7千5百万瑞士法郎它并不是另一个网格技术计划，而是一个网格布署计划第52页第52页LCG 计划目的准备和布署LHC计算环境应用 - 工具、框架、环境、持久性计算系统机群 合作计算机中心 以CERN为中心物理分析助长合作，LHC 与区域计算中心结合使用 data chal

27、lenges 项目的规则第53页第53页Tier2 Centre 1 TIPSData Grid for LHC ComputingOnline SystemOffline Processor Farm 20 TIPSCERN Computer CentreFermiLab 4 TIPSFrance Regional Centre Italy Regional Centre Germany Regional Centre InstituteInstituteInstituteInstitute 0.25TIPSPentium II 300 MHzPentium II 300 MHzPentiu

28、m II 300 MHzPentium II 300 MHzPhysicist workstations100 MBytes/sec100 MBytes/sec622 Mbits/sec1 MBytes/secHPSSHPSSThere is a “bunch crossing” every 25 nsecs.There are 100 “triggers” per secondEach triggered event is 1 MByte in sizePhysicists work on analysis “channels”.Each institute will have 10 phy

29、sicists working on one or more channels; data for these channels should be cached by the institute serverPhysics data cachePBytes/sec 622 Mbits/sec or Air Freight (deprecated)HPSSHPSSHPSSTier2 Centre 1 TIPSTier2 Centre 1 TIPSTier2 Centre 1 TIPSCaltech 1 TIPS622 Mbits/secTier 0Tier 1Tier 2Tier 41 TIP

30、S is approximately 25,000 SpecInt95 equivalents_ Image courtesy Harvey Newman, Caltech第54页第54页Summary of LHC Computing GridLCG 是一个在世界范围为LHC计算布署专有体系结构计划，并且是所有LHC试验计算共同工作场合LCG 面临许多技术挑战并需要在布署前此后几年内处理它们 LCG 需要通过其它相关 Grid 计划向所有参与国和他们责任人、向其它科学、向工业界伸手来汇集资源LCG 作为LHC计划一部分在CERN享受最高优先级无论如何，LCG 对于它参与者、他们合作者和奉献者

31、都是非常主要第55页第55页国内网格计算现实状况及发展前景第56页第56页中国网格计划织女星网格计划（计算所、科技部）863计划国家高性能计算环境（科技部与许多参与者）网格体系结构建设 (教育部)科学数据网格（科学院、科技部）高能物理数据网格（高能所）第57页第57页中国网格计划一览为主要网格基地研制超级服务器建设一些高性能计算中心为网格系统开发系统软件在网格上开发应用示例在100个大学之间建设2Gbps带宽网络互连第58页第58页织女星计划1. 设计目的: 设计和实现网格级软件 建立一个国家级由高性能计算中心支持体系结构 开发在试验床上运营应用2. 研究制造面向网格超级服务器 曙光 4000

32、, 5000, 等等3. 它将是一个服务网格，提供计算能力和其它服务第59页第59页曙光超级计算机第60页第60页织女星网格批处理系统第61页第61页旅游在线事务系统旅游在线事务系统-在中国旅游基于网格操作系统应用在网格上注册了四种基本服务天气预报飞机票预订景点门票预订收费将这四种服务推向应用第62页第62页旅游在线事务系统第63页第63页旅游在线事务系统第64页第64页国家高性能计算项目一览在中国各地建立若干个高性能计算基地将这些基地用既有网络互相连接起来 ( CERnet & CSTnet)为每个基地提供曙光、 银河、 Sun 等超级计算机和 PC集群第65页第65页国家高性能计算项目网格

33、软件一览在节点操作系统之上功效层资源、用户和任务管理认证与授权使用硬件加强加密办法基于Web用户界面第66页第66页网格系统软件第67页第67页用户管理第68页第68页任务管理（提交）第69页第69页资源管理（寻找用户）第70页第70页网格系统监视第71页第71页网格实用命令第72页第72页国家高性能计算网格应用气象预报石油库仿真生物信息数据库与应用数字风洞仿真汽车撞击模拟船舶结构分析国家科学数据库与应用数字图书馆第73页第73页AudioNotebook HPC BP, Mobile phoneVideo CameraTel.GameTVDVD PCInternetGigabit IP NetworkNodeNodeNode NodeDBInfo lib.Instr.NHPCE国家高性能计算网格示意图第74页第74页科学数据网格项