关于发展战略高技术的一些思考李国杰科学院计算技术研究所.ppt

织女星网格与中国国家网格,张松zhangs中国科学院计算技术研究所2004.12.04南京,目录,计算所织女星网格(VegaGrid)简介织女星网格操作系统(VegaGOS)织女星网格技术应用示例织女星网格的未来总结,计算所织女星网格(VegaGrid),网格-下一个浪潮?,福布斯杂志：电脑业趋势,美国福布斯杂志科技版于2001年9月发表了一组文章，分析了信息技术40年的发展历史和今后20年的趋势，指出网络计算将极大地改变人们的工作和生活，信息技术的下一波大浪潮将在20042005年度出现，并造就2005-2020十五年的黄金时代这个大浪潮将极大地改变我们的工作和生活。到2020年，由此产生的互联网将成长为一个20万亿美元产值的大工业。信息市场从2000年的一万亿美元增长20倍。这一波浪潮的本质特征，就是万维网（WorldWideWeb）升华为网格（GreatGlobalGrid）。,2020年计算机技术将广泛普及,计算机科学与技术发展趋势,共享、协同和集成越来越重要从公众认识阶段到广泛使用阶段普遍但不可见（pervasivebutinvisible,silent）好用性大幅增强信息、知识、程序、服务的消费者也是提供者基于开放标准的松耦合结构（反垄断）从高性能到高生产率服务（评价标准改变）网络服务是主要的应用负载动态复杂、安全可信、环境友好是主要的挑战,网格技术的目标:应用层面的互连互通消除资源孤岛,GGG（GreatGlobalGrid）,计算和数据网格,TeraGridIPGGIGASCIGridDataGrid,信息网格和知识网格,SemanticWebKnowledgeManagementOntologyInformationPlatform,其它模式,P2PParasiticComputing,网格（按应用模式划分）,HPUtilityComputingIBMe-BusinessonDemandMicrosof.NetSunN1,IndustrialPerspectiveonGrids:AWideRangeofApplications,Sources:IDC,2000andBearStearns-Internet3.0-5/01AnalysisbySAI,GridServicesMarketOpportunity2005,UniquebyIndustrywithCommonCharacteristics,什么是织女星网格,什么是织女星网格？,计算所网格研究工作的整体计算所对网格的认识突破性创新机会三大战略品牌之一研究工作的“伞把”织女星网格的研究目标前沿的科学研究和技术创新实质的社会影响和国际影响对产业的实质推动产品、应用、标准、论文、人才,织女星（VegaGrid）服务网格,超级服务器服务网格（ServiceGrid）SUMAVEGAVersatileServices（通用服务）通用服务与资源，共性技术,支持多种应用类型,支持多种应用模式,兼容多种现有技术,支持多种平台。EnablingIntelligence（辅助智能）自动、自我、动态、交互共性智能支持技术信息、知识、服务的自动生产；设备的自动接入；自我描述、自我路由；动态功能部署，动态页面等。GlobalUniformity（全局一体）连通性、单一系统映像、互操作性网格中的所有资源都联成了一个整体，实现了全面的资源共享和协同工作。AutonomousControl（自主控制）用户自主、公开标准、以人为中心反对锁定用户（lock-in），吸引用户自愿参与。要让用户自主地使用网格，而不是让网格控制用户,织女星网格的业务益处,降低成本,提高产出,低成本（Cost）,可依赖性（Dependability）,用户为中心（User-Centric）,业务益处:性能,客户端：拓广应用面麦特考夫定律：(网络)系统的价值用户数2布朗定律：网络系统的价值2社区个数服务器端：提高资源利用率麦特考夫：全球计算机利用率1%航空工业：利用率30%，同时每年必须升级(3亿元)自动化：减少人为环节优化：并行、缩短路径、拓宽瓶颈,用户为中心,自主控制：用户选择产品，而不是被厂家锁定(lock-in)商品化趋势独立性趋势水平化趋势专业化服务：系统可根据用户需求个性化动态定制应用、界面、安全与隐私策略、资源共享策略都可定制定制策略可动态调整用户确定定制策略、系统自动完成定制细节更像Web和电视,可依赖性,可依赖性常常被用户简化为安全可靠包括RAS(可靠性、可用性、可维护性)还包括安全性(Security)、隐私保护(Privacy)、诚信(Trust)由于联通性，网格的可依赖性面临更大挑战网格也具有更高可依赖性的潜力异地冗余(铁路已有很好的实例)多途径检测、监控,成本,上述益处(除用户为中心外)，都可以使用现有技术实现网格的优势在于低成本（最根本的原因是开放标准）时间成本降低开发时间部署时间维护时间人力成本降低知识成本降低(系统的使用和维护更方便)硬件和软件成本降低(独立性,“无限升级”),网格是不是分布式系统？,网格是一种分布式系统网格不同与传统的分布式系统开放（开放标准、开放系统）通用（通用标准、通用系统）非集中控制（自主控制）服务模式（utilitycomputing）平台与基础设施（而非解决方案）,网格是突破性创新,应用界面,操作系统,硬件,办公、上网、游戏事务处理、等等,命令行、视窗、WebBasic,C,Java,COM,Windows,MacOS,Linux,IBM体系结构Intel/AMD处理器,微机/服务器,织女星网格是计算所的品牌,行业3,硬件系统,应用软件,系统软件,运行服务,硬件部件,（a）垂直方式,IBMGlobalService,EDS,SAP,Oracle,BEA,IBM,Microsoft,Linux,Sun,IBM,HP,Dell,Intel,Seagate,Cisco,（b）水平方式,织女星网格是计算所的品牌,（c）空间方式,织女星网格是计算所的伞把,织女星网格是计算所的伞把,网格计算机的若干关键问题,什么是处理器？什么是存储器？什么是外部设备？什么是公共编码？什么是指令系统？什么是操作系统？什么是编程语言？什么是数据库？什么是应用软件？,织女星网格的影响,织女星网格团队,整个团队目前已经超过200人(不包括超级计算机研究),并且不断吸收来自全球各地的研究人员.研究方向:网格操作系统(VegaGOS),计算网格,服务网格,信息网格,知识网格等,国内开展网格研究最早,影响力最大的团队之一,国内5大网格,计算所织女星团队承担了其中3个网格的研究和建设ChinaNationalGrid,国家863计划,徐志伟研究员ChinaScienceGrid,国家自然科学基金,李国杰院士ChinaSemanticGrid,国家973计划,诸葛海研究员ChinaEducationGrid,中国教育部ShanghaiGrid,上海市政府,织女星网格研究正在引起国际关注,2002年10月，李国杰研究员应邀在IEEETencon2002和IWADS2002国际会议上作网格计算和织女星网格的主题报告。2002年7月，徐志伟研究员应邀在GGF-5上做大会发言，介绍了织女星网格，并于2002年12月在HPCAsia2002做主题报告。诸葛海研究员应邀担任两个国际杂志编委，并将为FutureGenerationofComputerSystems负责客座编辑“SemanticGrid”专辑。徐志伟研究员应邀担任InternationalJournalonGridComputing编委。,InternationalJournalofGridComputingEditorialBoard,织女星网格操作系统(VegaGOS),关于网格的各种观点,Gridisevolving,noexactdefinitionyetThereareseveralpopularviews:TheinfrastructureviewThepervasivecomputingviewTheworld-widecomputerviewTheutility-computingviewTheintegrationviewTheGreatGlobalGridviewOurview:alloftheabove+opportunity,网格技术的本质,计算技术的发展史是不断“虚拟化”的历史。网格的本质是数字空间更高一层的虚拟化，把连在网上的各种资源看成是一台计算机，即“网络是一台计算机”地址空间是计算机体系结构的核心内容。它的一大进展发生在60年代，产生了物理地址、有效地址、逻辑地址、虚拟地址、动态寻址技术，从而使得分时系统、交互式系统、现代操作系统变得可能。网格把资源分成物理资源、逻辑资源和虚拟资源三个层次，不仅数据有地址，各种联网的实物、知识、应用程序等都对应唯一的地址，大大扩大的信息技术应用的领域并减化了网格编程的难度。,Storage,Applications,Processing,OperatingSystem,Data,I/O,DistributedComputingOveraNetworkofHeterogeneousResourcesUsingOpenStandards,GridComputing,VegaGOS的目标,本研制一套网格软件，能够有效地支持分布在全国各地的多个网格结点，为科学计算和信息服务网格应用用户提供一个安全、统一、好用的界面，让他们能够从网络任意地方的联网客户机方便地使用网格的资源，实现计算、数据、软件和组合资源的共享,VegaGrid总体思路,OGSI,关键技术难题,资源的自主管理和按需共享共享资源的全局视图聚合计算资源的透明访问和使用大规模数据资源的虚拟化管理安全的使用环境和共享授权快速高效的应用开发应用的高效稳定运行人机之间的大规模协同工作,基本技术思路,物理层,虚拟层封装注册映射访问控制元数据集成引擎,有效利用,VegaGOS1.0体系结构,网格软件1.0版层次结构,网格软件1.0版部署结构,网格软件1.0版软件包,一个压缩文件(All-in-one整体包),集成服务端/客户端/支撑环境,包括JDK1.4.1+patchANT1.5.xTomcat4.1.29GT3Core3.0.2GOSSystemServices(Routing,Batch,Data,DDS)GOSAPILibrary测试证书安装过程?,中国国家网格CNGrid,中国国家网格计划,九五期间863计划重点项目“国家高性能计算环境”十五863重大专项“高性能计算机及其核心软件”重大专项项目周期:2002年-2005年863计划经费1亿人民币吸引地方政府、应用部门和产业界2-3倍的配套经费,CNGrid的总体目标,建设新一代国家信息基础设施试验床中国国家网格（ChinaNationalGrid，简称CNGrid），提供高性能计算、资源共享、协同工作的能力。在科学研究、环境资源、制造业、服务业中建设若干大型行业应用网格。研制面向网格计算，具有良好的应用开发环境的高性能计算机，装备网格结点，促进我国高性能计算机的研究和产业化。在网格体系结构、网格软件、网格应用技术、网格服务模式、网格安全以及网格管理和运行机制等方面突破一批关键技术在网格技术方面达到世界先进水平，大幅度地提高我国的综合国力和国际竞争能力,CNGrid的研究内容,研制具有每秒4万亿次运算能力、面向网格的高性能计算机建设一个具有5-7万亿次聚合计算能力的高性能计算环境即中国国家网格开发一套具有自主知识产权的网格软件建设若干个科学研究、经济建设、社会发展和国防建设急需的重要应用网格形成若干网格技术的国家标准，参与制定国际标准,应用网格,网格软件,网格资源,网格系统软件（GOS）,网格应用开发环境,网格使用环境,科学研究,环境资源,制造业,服务业,高性能计算机,数据库,数据,应用软件,Internet,三个层次的研究工作,网格试验床环境建设,全国各地8个结点主结点中科院计算机网络信息中心上海超级计算机中心普通结点清华大学（北京）应用物理所（北京）中国科学技术大学（合肥）西安交通大学（西安）国防科技大学（长沙）香港大学（香港）,中国国家网格（ChinaNationalGrid）,网格软件部署与试运行,网格软件1.0Alpha版中科院计算所BLAST，DSPBS(DawningScalablePortableBatchSystem)清华大学生物计算门户（CAP3，Clustalw，Genscan）香港大学OpenPBS+后端cluster计算能力网格软件1.0Beta版中科院计算所，清华大学，香港大学，所有网格结点单位，部分教育网格院校（华中科技大学等）,织女星网格应用示例,中科院计算所承担的信息网格项目,VEGAServiceSuite工具集模式的服务网格平台及其基础设施,奥运公众服务/应急联动,行业应用网格:铁路/水利GIS,制造业网格应用,电子政务,服务组合,语义社区,核心技术,国际标准,其它,标准规范,FLAME2008V1,InforGrid,AMGridv0.8,政务（可信web服务环境）,国家标准,VEGAGOS网格基础设施,消防指挥中心,通讯,公安指挥中心,防汛指挥中心,急救指挥中心,奥运应急指挥信息网格平台,具体实例（一）,“液化”了的数据,应急指挥系统方案示意图,公安,应急指挥中心现场指挥官公众,医疗,服务,FLAME2008,交通,消防,服务中介,服务管理中心,网格门户,奥运信息处理平台示意图,织女星网格的未来,人机社会高性能低成本信息系统,人机社会问题的起源,JimGray在1999年的图灵奖获奖演说中，指出，计算机的研究开发有三个主要的脉络，即巴贝奇问题（如何构造计算机系统）、布什问题（人机之间有什么关系、如何使用计算机）以及图灵问题（机器智能）。VannervarBush在1945年发表“AsWeMayThink”的经典文章后，布什问题的一个里程碑发生在1960年，利克莱德（J.C.R.Licklider）在IRETransactionsonHumanFactorsinElectronics杂志上发表了“Man-ComputerSymbiosis”（人机共生）的论文，重点研究了人与电脑的关系，即“电脑的使用模式”的科学问题，得出了“人机共生”的insight，引导了交互式计算技术。,人机共生的思想要点,1、人机要共生。机不只是一个工具，而是人的帮手，人的伙伴。事实上，人机共生论文的一个草稿的标题就是人机伙伴（man-computerpartnership）。因此，不是人事先编好一个程序，让机被动地执行一个人们事先想好的算法；而是人机之间通过连续地交互，通过探索（trial-and-error），动态地建立解决问题的模型（这种合作模式称为dynamicmodeling）。2、人机要交互。人机之间必须有即时的、连续的、双向通信，使能实时commandandcontrol，实现实时合作思考，从而增强创造性。3、人机要分工。人确定目标和动机、提出假设、问问题、提出判断准则（criteria）、思索机理、过程和模型、作出判断和决策。总而言之，人的作用是引导思维过程的思路（guidethegenerallineofthought）。而机的作用则是处理执行琐碎细节。比如，将假设转换成可执行的模型，使用数据测试模型；回答问题；模拟和执行机理、过程与模型；显示结果（包括文字和图形方式、静态和动态方式）。,人机社会的思想,“人机社会”的全称是“人与计算机组成的开放社会”（anopensocietyofpeopleandcomputers）。它不仅代表了网络计算的科学问题，也代表了一种解决这些问题的模式（paradigm）和领悟（insight），称为“社会计算”（societycomputing）或“社区计算”（communitycomputing）。归结起来，人机社会在系统、界面和评价标准三个方面有五个特点，也就是与人机共生的五大区别，多人多机（peopleandcomputers）、开放社会（opensociety）、深度交互（sophisticatedinteraction）、3A使用（anyplace,anytime,andonanydevice）、全生命周期高生产率服务（fulllifecyclehighproductivityservices）。,理想的信息网络系统,我国信息化面临四大挑战：,（1）信息化成本高、普及率低，信息化不能有效地带动国民经济和社会的可持续发展；（2）数字鸿沟加大，相对贫困加剧，广大人民群众从信息化中获益不多；（3）计算机、通信和信息家电产品市场规模虽大但我国自有技术的贡献小，市场仍然被外国公司控制。（4）军民完全隔离建网,造成投资的巨大浪费,战时难以保证网络安全。,新型信息化道路,我国不仅要走以信息化带动工业化的新型工业化道路，而且在网络与信息系统建设上要走与以往不同的新型信息化道路。新型信息化道路的特点是：低成本（降低一个数量级）惠及大众(IPV6,易用性)以人为本（计算机与网络围着人转）资源共享的网格应用（知识与资源地址化）可管理、安全可信寓军于民,低成本网络建设道路,A（性能1000X，成本1X）,B（性能100X，成本0.1X）,C（性能10X，成本0.01X),D(性能1X,成本0.001X),15年后按MOORE定律可到达的技术/成本“界面”（简化模型）,1/成本,性能,MOORE定律与我们的努力目标,100,1000,10,1000,100,10,假定：性能正比于晶体管数，成本正比于芯片面积,另辟蹊径，重点发展低成本技术,我国发展网络通信要考虑国情，不能采取“美国的今天就是我们的明天”的发展战略，一定要另辟蹊径。龙芯CPU研制的经验表明我们完全有可能研制出性能相当外国产品一半而成本和功耗只有国外1/10的网络服务器。,建立资源共享、按需服务、安全可信、平战结合，体现中国文化特色，以提高国民素质、促进国民经济和社会协调发展为主要应用目标的21世纪国家公共网络基础环境。在此基础上建成世界上最大的新一代信息网络系统（基于IPv6），使我国2020年上网用户普及率达到50%以上(7-8亿人上网)，实现像水电供应一样的一体化按需信息服务。,建立资源共享的国家信息化网络基础环境（数字中华网络工程）,实现共享网络环境的基本思路,按照传统的信息化思路，我国实现信息化需要投入10万亿元以上。为了大幅度地降低信息化成本，我国必须走不同于西方的新型信息化道路。全民学习基础工程、海洋环境监测网络等都可作为此环境的应用。本专项要为这些信息化基础设施建设提供共性关键技术（如IPv6、传感器网