网格计算及其在高能物理中的应用概况.ppt

网格计算及其在高能物理中的应用概况,高能物理所计算中心,本报告参考了：CERN钱思进教授2002年7月的报告GridComputinganditsApplicationIHEP孙功星副研究员准备2000年11月8日在韩国召开的“国际高能物理数据网格研讨会上所作的报告GridActivityinchinaIHEP杨大鉴研究员的博士生蒋文保的报告GridComputing美国加州理工大学HarveyBNewman在2002年10月9日ICFA讨论会上作的报告ReportfromICFAStandingCommitteeonInterregionalConnectivity许榕生研究员为本次大会准备的报告高能物理网格发展动态,网络技术的三次浪潮什么是网格计算为什么现在会发展网格计算哪些行业需要网格计算高能物理对计算的需求网格计算的基本技术国际网格计算技术的发展现状国内网格计算现状及发展前景,网络技术发展的三次浪潮,第一次浪潮：Internet的产生（80年代）计算机相互连接的发展产生了局域网FTP、Telnet、Emailnewsgroup、BBS第二次浪潮：WWW（80年代末-90年代中期）超文本文件由http协议连接WWW的产生（1989年由CERN科学家发明）第三次浪潮：Grid（90年代后半期-.）各种资源统一通过网格技术连接根据用途不同分为数据网格、计算网格.,什么是网格,Argonne实验室的I.Foster认为网格是一种规模大小可变的虚拟组织：由动态合作的个体、研究单位和资源所有者之间的灵活的、安全的、协调的资源共享虚拟组织的成员分布在世界各地的，为了完成同一件事情的研究机构、大学、科学家个体资源计算机、存储设备、网络、大型科学仪器、数据库、软件、信息用户的观点：希望使用网上资源像使用电力、自来水那样方便，不必关心是从哪里来的资源，也不必考虑用多用少，总能满足需求。,与电力网比较,为什么现在会发展网格计算,需求计算密集型、I/O密集型、数据密集型计算的需求需要使用位于远处的大型、位置固定的仪器设备在不同地区使用具有不同政策的已有技术的复杂需求大型国际合作项目的需求可能性计算机工业技术符合摩尔定律的发展网络基础设施飞速发展，发达国家、地区高速网络及跨大洋的洲际光缆已经具备相当的规模软件技术的新发展,哪些行业需要网格计算,生物、生化研究人类基因研究爱滋病药物研究地震仿真研究大气物理与气象预报高能物理理论与实验,社团组成:数千家庭计算机用户慈善机构提供的计算能力(Entropia)研究组(Scripps)共同的目的=促进爱滋病研究,家庭中的计算机用来评价爱滋病药物,_imagecourtesyfrom,地震工程和仿真,NEESgrid（地震工程和仿真网格）:将地震工程师与实验设施、数据库、计算机结合的体系结构按需地使用实验、数据流、计算设施、档案、合作,NEESgrid:Argonne,Michigan,NCSA,UIUC,USC,高能物理对计算的需求,以LHC实验为例,LargeHadronCollider（大型强子对撞机）,能量.:14TeV(质子-质子)1250TeV(铅核-铅核)亮度:1034cm-2s-1(质子-质子)1027cm-2s-1(铅核-铅核)周长:26.6km主要实验:4个,4主要的LHC实验,ATLASCMS,ALICE,LHCb,LHC计算需求,数据存储原始数据率0.11GByte/sec相当于5-8PetaBytes/year需要磁盘容量10PetaBytes处理能力200,000个目前(2001)最快的PC机,LHC高能物理实验数据处理示意图,层1,在线取数,CERN700kSI951PBDisk;TapeRobot,FNAL:200kSI95;600TB,IN2P3Center,INFNCenter,RALCenter,Institute,Institute,Institute,Institute0.25TIPS,PC或工作站,100-400MBytes/sec,2.5Gbps,100-1000Mbits/sec,HPSS,HPSS,2007-8年达几十Pbyte/sec.5年左右达到1000PByte/sec,离线物理数据,PByte/sec,2.5Gbits/sec,HPSS,HPSS,HPSS,2.5Gbps,层0+1,层3,层4,层2,对撞实验,CERN内部/外部比例1:2层0/(层1)/(层2)1:1:1,世界上参加高能物理实验合作的单位,欧洲:267个研究单位,4603个用户其他地区:208个研究单位,1632用户,ICFA国际未来加速器委员会SCIC地区间连接标准委员会,高能物理对网络的需求,ICFA于1996年启动各国之间的高速网络互联计划ICFA要求参与国际高能物理合作的国家和机构必须：检查他们的运行方法以便保证与远方合作者的完全连接争取提供必要的通信设施和足够的国际带宽,ICFA1998联网带宽计划(Mbps),估计1998-2005年期间将增加1001000倍的带宽需求,每个物理学家使用的带宽（所用峰值带宽）,大学组使用的带宽,中心实验室，包括一个或几个主要实验使用的带宽,本地实验室或地区中心,跨大洋连接带宽,跨越大西洋的带宽要求*,*按最大占用50%算/lprice/TAN,网格技术产生的技术基础,高性能计算技术的发展CPU技术飞速发展超级计算机与计算机集群大规模共享资源网络基础设施的高度发达发达国家的高速光纤网已四通八达跨大洋的海底光缆连接已经具有相当规模软件技术的新发展异构平台体系和语言广域网的资源共享软件中间件网络安全技术,CPU的计算速度每18个月翻一番,你家里的PC机的CPU计算能力已经相当服务器的CPU了你办公室和你家里的计算机的CPU经常无事可做，或负荷很低它们在网格里可以提供给需要的人使用，而对你毫无影响,中国计算机TOP50排行榜,第一：“深腾1800”，联想研制，安装于科学院数学院，具有512个IntelXeon2.0GCPU，峰值计算能力2048Gflops第三：HPSuperDome，用于北京社会保险，具有256个CPU，峰值计算能力384Gflops第42：北京大学数学学院在国内最早自行组装的大型PC-Farm，具有60个PIII-700CPU，峰值计算能力42Gflops,网络基础设施的高度发达,网络速度每9个月翻一番（技术）网络带宽每5年提高一个数量级（实际）发达国家的高速光纤网已四通八达跨大洋的海底光缆连接已经具有相当规模,主干网与各国连接的进展,欧洲GEANT主干网联结31个国家，速率2.5and10Gbps英国:JANET网，速率10Gbps2.5GbpsNY-London,with622MbpstoESnetandAbilene法国(IN2P3):2.5GbpsRENATER里昂-日内瓦（CERN）的连接千兆以太网1.0G计划2003年改用光纤SuperSINET(日本):10GbpsIPand10GbpsWavelengthCore东京-纽约的连接:2x2.5Gbps;需要到StarlightCA*net4(加拿大):国内光纤，速率10Gbps“Lambda-Grids”计划2004年5月实现GWIN(德国):2.5Gbps骨干;到美国2x2.5Gbps;俄罗斯:155Mbps连到莫斯科到GEANT155Mbps,（续）,美国Abilene(Internet2)从2.5G正升级到10GbpsEncouragehighthroughputusefortargetedapplications美国能源部ESNET:升级到10Gbps美国与西欧中心（CERN）622Mbps;到STARLIGHT2.5G三地STARLIGHT-CERN-NL连接2003年到10G美国SLAC到法国IN2P3(BaBar)100Mbps通过US-CERN到Renater600Mbps今年BaBar的目标美国费米实验室（FNAL）与Esnet连接升级到622Mbps用光纤连到STARLIGHT纽约到阿母斯特丹由Tyco公司捐助（IEEAF）计划,2002年由IEEAF安排622Gbps+10GbpsResearchWavelength,Oneofthemosthomogeneousbandwidthdistribution,GENEVA,ABILENE,ESNET,CALREN,GEANT,NewYork,STAR-TAP,STARLIGHT,DataTAGProject,EU-SolicitedProject.CERN,PPARC(UK),Amsterdam(NL),andINFN(IT);andUS(DOE/NSF:UIC,NWUandCaltech)partnersMainAims:EnsuremaximuminteroperabilitybetweenUSandEUGridProjectsTransatlanticTestbedforadvancednetworkresearch2.5GbpsWavelengthTriangle7/02(10GbpsTrianglein2003),WaveTriangle,纽约-欧洲9/02,加州-东京1/03,(研究),软件技术的新发展,异构平台体系与程序语言Java语言、Java虚拟机中间件代理、可移动代理、CORBA广域网的资源共享软件文件共享，如AFS数据库，如Objectivity网络安全技术SSH、SSL认证/授权技术加密技术数字签名、防抵赖技术,网格计算的基本技术（服务功能）,通信服务信息服务安全认证名字服务监视系统资源管理和调度资源交易机制编程工具用户图形界面,GRID的协议分层体系结构,计算网格是如何实现的,Formoreinfo:/research/papers/anatomy.pdf,Grid结构,GlobusToolkit,GRID技术要点组成结构,网格结点中间件开发环境和工具层应用层,国际网格计算技术的发展现状,科学界美国Argonne实验室:Globus欧盟数据网格:EUDataGrid物理学网格:GriPhyN地震工程与仿真网格:NEESgrid政府美国能源部(DOE):DOEScienceGrid美国国家航天局(NASA):InformationPowerGrid美国国家科学基金会(NSF)国家计算科学联盟(NCSA):NationalTechnologyGrid德意志联邦教育科研部(BMBF):UNICORE厂商IBMSUNPlatform,HEP领域中的GRID技术,高能物理领域对计算技术的需求历来走在时代的前列，关于GRID技术的研究也不例外举例：美国的粒子物理数据网格PPDG欧盟数据网格(EUDataGrid)西欧核子研究中心CERN的LCG计划,PPDG-参与者,加州理工大学阿槓国家实验室劳伦斯伯克利实验室布鲁克海文国家实验室费米国家实验室圣地亚哥超级计算机中心斯坦福直线加速器中心威斯康星大学,PPDG-主要目标,为成千个物理学家提供广域分布的PB量级（1015Byte）数据的粒子物理数据分析的体系结构加速广泛针对数据密集型科学合作的网络和中间件体系结构的发展,PPDG-体系框图,PPDG-技术方案,第一步（1999年）：提供两个不同地点间的高速文件复制服务提供多地点高速缓存的文件存取服务,PPDG-技术方案,第二步（2000-2001年）：开发一个一般化的文件迁移框架（支持QoS）作为透明写访问和代理技术所需要的基础，作到目录、资源代理和匹配服务的实现/通用化实现文件的透明的写访问实现对代理的有限支持实现数据网格的分布资源管理在组件级和结构级主要努力作到健壮性和快速问题诊断,PPDG-技术方案,长远目标:系统必须使用静态的和移动的独立代理去执行定义好的任务系统必须是有弹性的、预测性的/自适应的任务的优先级必须是基于策略和边界效用两者必须使用辅助调度算法（匹配）在一定的时间限额内将请求配给资源，匹配的结果将影响用于度量边界效用的索引事务管理必须使用上述价格估算法，比如抽查/重算机制,PPDG-已有的技术基础,ANL:Globus网格中间件服务SLAC:对象开放文件系统(OOFS)Caltech:全球互连对象数据库(GIOD)项目FNAL:数据访问架构(SAM)LBNL:存储访问协作系统(STACS)ANL:规模可伸缩的目标存储和访问ScalableObjectStorageandAccess威斯康星大学的:Condor分布资源管理系统SDSC:存储资源代理(SRB),欧盟数据网格计划,为进行数据密集型科学研究给大型分布科学组织提供世界级的网格从计划的构思和机构的人员编制看主要涉及CERN和粒子物理界(由LHC计划推动)由地球观测和生物学共享,EUDataGrid计划的目的,特定的计划目标：构架的中间件和网格管理软件（大部分由欧盟资助）大规模实验床（大部分由参加单位资助）具有产品质量级别的演示（部分由欧盟资助）与欧洲和美国的项目合作并提供补充为开放标准和国际实体作出贡献：,EUDataGrid主要参加者,CERNInternational(Switzerland/France)CNRSFranceESA/ESRINInternational(Italy)INFNItalyNIKHEFTheNetherlandsPPARC-UK,项目计划,计划从2001年1月1日开始测试床0（2001年前期）部署国际实验床0体系结构（仅用Globus1-未用欧洲数据网格中间件）测试床1（2002年前期）第一版EUDataGrid软件在项目内部定义了用户：高能物理实验（工作组8）、地球观测（工作组9）、生物医学（工作10）2002年3月1日成功通过欧盟的项目评审测试床2（2002年10月）在实验床1上建立，扩充数据网格的功能测试床3（2003年3月）和测试床4（2003年9月）计划到2003年12月31日停止,EUDataGrid计划的各工作组分工,中间件WP1网格工作负载管理WP2网格数据管理WP3网格监控服务WP4构架管理WP5海量存储管理测试床WP6测试床集成WP7网络服务科学应用WP8高能物理WP9地球观测WP10生物学宣传WP11项目管理WP12,EUDataGrid软件结构,CollectiveServices,UnderlyingGridServices,GridApplicationLayer,Web用户界面(1),RobertoBarbera,4thDataGridConference,04-08.03.2002,Web用户界面(2),Web用户界面(3),LHC计算网格计划LCG,开始称为MONARC计划，其任务是规划LHC的计算目标：每一个物理学家应该具有对于数据和资源的相同的访问通道LHC计算网格（LCG）计划是CERN理事会于2001年9月批准的一个LCG计划的研讨会于2002年3月在CERN召开CERN的人工计划：147人年材料预算:7千5百万瑞士法郎它并不是另一个网格技术计划，而是一个网格部署计划,LCG计划的目的,准备和部署LHC的计算环境应用-工具、框架、环境、持久性计算系统机群合作的计算机中心以CERN为中心的物理分析助长合作，LHC与区域计算中心结合使用datachallenges项目的规则,_ImagecourtesyHarveyNewman,Caltech,SummaryofLHCComputingGrid,LCG是一个在世界范围为LHC计算部署的专有的体系结构计划，并且是所有LHC实验计算共同的工作场所LCG面临许多技术挑战并需要在部署前的今后几年内解决它们LCG需要通过其他有关的Grid计划向所有的参加国和他们的负责人、向其他的科学、向工业界伸手来汇集资源LCG作为LHC计划的一部分在CERN享有最高优先级无论如何，LCG对于它的参加者、他们的合作者和贡献者都是非常重要的,国内网格计算现状及发展前景,中国的网格计划,织女星网格计划（计算所、科技部）863计划的国家高性能计算环境（科技部与许多参加者）网格体系结构建设(教育部)科学数据网格（科学院、科技部）高能物理数据网格（高能所）,中国网格计划一览,为主要的网格基地研制超级服务器建设一些高性能计算中心为网格系统开发系统软件在网格上开发应用示例在100个大学之间建设2Gbps带宽的网络互连,织女星计划,1.设计目标:设计和实现网格级的软件建立一个国家级的由高性能计算中心支持的体系结构开发在试验床上运行的应用2.研究制造面向网格的超级服务器曙光4000,5000,等等3.它将是一个服务网格，提供计算能力和其他服务,曙光超级计算机,织女星网格的批处理系统,旅游在线事务系统,旅游在线事务系统-在中国旅游基于网格操作系统的应用在网格上注册了四种基本服务天气预报飞机票预订景点门票预订收费将这四种服务推向应用,旅游在线事务系统,旅游在线事务系统,国家高性能计算项目,一览在中国各地建立若干个高性能计算基地将这些基地用现有网络互相连接起来(CERnet&CSTnet)为每个基地提供曙光、银河、Sun等超级计算机和PC集群,国家高性能计算项目网格软件一览,在节点操作系统之上的功能层资源、用户和任务管理认证与授权使用硬件加强的加密方法基于Web的用户界面,网格系统软件,用户管理,任务管理（提交）,资源管理（寻找用户）,网格系统监视,网格实用命令,国家高性能计算网格应用,气象预报石油库仿真生物信息数据库与应用数字风洞仿真汽车撞击模拟船舶结构分析国家科学数据库与应用数字图书馆,国家高性能计算网格示意图,科学数据网格项目,在科学数据库之上建立属于中国科学院，向全世界开放计划在2004-2005年提供服务,科学数据库（SDB）,科学院从1986年开始建立科学数据库科学数据库是一组多种学科的数据库，包括化学、生物学、地学、天文学、生态学、等等到2005年，科学院在全国有400多个研究所有分布在全国的300多个各种数据库有10TB以上的数据内容,为什么要搞科学数据网格（SDG）？,资源层共享和开发使数据更容易访问数据一体