VO之路：应用为王.ppt

VO：虚则实之，应用为王,乌鲁木齐天文站发展纪要,王相锋wangxf,国家天文台乌鲁木齐天文站,2007.11中国天文年会广州,内容,VO背景框架简介信息通讯技术应用现状科学任务之VO需求科研人员之VO需要VO应用为王之突破和扩展VO应用发展瓶颈乌鲁木齐天文站的VO尝试和未来发展结论,VO背景框架简介,VO：VirtualObservatory虚拟天文台是利用信息网络技术为天文科研观测监控管理、数据处理、资源共享提供全方位一体快捷服务天文领域实际上是很早使用计算机网络技术。随着IT技术、产品和性能、应用的飞速发展，其在天文的应用和借鉴更加深入广泛，而且具有挑战性VO作为一种视角、理念、系统方法论的打包而凸现当前IT和天文研究之间的互动和影响VO不是止于概念，不是从无到有，不是高不可攀无处下手，而是不断拓展的、可操作的、实际集成应用VO侧重于天文观测研究的后端（前台），在我的讲述中把它向整个流程扩展，VO本身虚则实之，它所扩展的地方实则虚之,VO-IVOA,VO作为新千年天文研究的重要技术支撑而提出，美国、欧洲、日本、澳大利亚以及中国等纷纷提出各自的解决方案全球天文资源的共享和互操作性需要促使国际VO联盟成立，建立不同工作组，统一规划协调VO不同领域的标准和协议的建立,IVOAW/IGroups,数据访问层工作组（DataAccessLayer）数据模型工作组（DataModel）网格WEB服务工作组（Grid&WebService）查询语言工作组（QueryLanguage）资源注册工作组（ResourceRegistry）标准&文档进展工作组（Standards&DocumentsProcess）语义工作组（Semantics），负责统一内容描述工作组（UCD）VO事件工作组（VOEvents）VO交换数据格式表工作组（VOTable）应用工作组（Applications）天文网格通讯研究组（AstronomicalGridCommunity）天文数据诊断保存兴趣组（DataCurationandPreservation）IVOA理论兴趣组（Theory）,VO逻辑架构框图,网格（WEB）技术,数据库技术,实时操作系统技术,开发运行环境,并行集群技术,时域频域数据处理技术,网络传输技术,文件系统数据存储技术,处理器/DSP/FPGA技术,电磁/光存储技术,总线IO技术,高速数据采集技术,半导体光电子技术,信息通讯技术发展应用现状（1）,信息技术目前还是依赖半导体技术，虽还没有根本性的突破寻找新的实现基础，但继续在一些重要工程细节方面取得进展，延续“摩尔定律”，目前，大规模工业量产已经进入45nm工艺，更出色的成本控制和性能表现光电子/光纤技术在信号调制、远距离无中继传输等方面继续刷新记录，借助DWDM（密集波分复用），在实际应用中可以实现单根光纤80 x40Gbs的通讯速率，实验室中的记录是160 x80Gbps2550km和80 x100Gbps520km我国目前骨干网的速度在2.5/10Gbps，WDM以及DWDM没有大规模采用,信息通讯技术发展应用现状（2）,处理器：45nm工艺、集成双核四核多核、64位处理、更高主频系统总线、优化设计的处理器单元执行缓存架构、芯片级多位多媒体扩展指令集、智能能耗控制策略等进展，都有利于满足高运算能力要求的天文数据处理。与此同时，专用嵌入式DSP/FPGA/ASIC处理器的性能也在飞速提高，灵活适应实时信号处理领域存储：内存芯片的速度和容量不断提高，借助双通道，内存整体带宽大为提高。当前普通PC搭载2/4GB双通道内存更为常见，服务器层次则有更大容量和速度。硬盘依靠垂直磁记录技术、统一服务器/台式机硬盘总线接口、提高盘片转速以及加大缓存容量等方式，提高硬盘容量以及访问性能。当前厂家已经推出1TB容量的单个硬盘，依靠磁盘阵列、存储网络SAN/NAS，存储容量可以达到P级别,信息通讯技术发展应用现状（3）,总线IO：多个紧密芯片互连或者芯片内部多个物理核心互连往往是高速并行总线，属于芯片尺度，传统多个设备之间的低速并行总线逐渐让位于高速串行总线，物理尺寸大为减少，带宽极具扩展性。同时，总线更加智能，设备热插拔，更少的处理器干预，更为出色性能表现。不断发展的服务器桌面总线也做出某些改变进入工业/军事实时控制领域。高频总线带来一个较为不利的因素是电磁干扰,信息通讯技术发展应用现状（4）,高速数据采集：无线通讯网络以及射电天文观测，都要求高速的数字采样，满足宽带电磁波信号的要求，然后用软件方式灵活处理（软件无线电SDR）。很多厂家推出1-2Gsps采样率，8-16位量化的高速AD转换芯片，借助2/4甚至更多个芯片交叉采样，实现更高采样率2/4/8Gsps，满足更高信号带宽采样需要,信息通讯技术发展应用现状（5）,操作系统：作为整个计算机系统全部软硬件资源管理调度者也在不断发展，适应硬件、应用和操作需要。现代多用户多任务操作系统（Linux/Windows）的内核不断优化调度、安全策略、分布通讯协调等方面，提升资源利用率和管理更多计算和存储资源；同时，提高多个平台的资源互操作性和用户操作界面体验。嵌入式/实时操作系统是经过特殊内核定制的操作系统，器实时响应能力和单位时间事务吞吐能力适用于特殊苛刻场合，比如工业控制现场、军事武器控制等等,信息通讯技术发展应用现状（6）,文件系统：存储设备需要一定的文件系统来加以组织数据文件，管理更大的分区，突破32位的限制，支持更大的文件，这对于海量的天文观测数据尤其重要，更加注重访问安全、文件的快速访问以及数据存储健壮性。跨平台文件系统的互相访问，以及支持多种语言编码的存储格式一直是用户需要。动态磁盘技术提供更加灵活的文件系统到物理硬盘的映射，侧重性能或安全可靠,信息通讯技术发展应用现状（7）,网络传输，强烈的需求要求操作系统重新考虑网络模块的实现，提高性能组成庞大地球互联网的有线/无线以太局域网继续在物理层演进，全面拥抱光纤，从10Mbps到100/1000Mbps，直至10/100Gbps更大的线速率（不是有效载荷速率）。密集波分复用和时分复用技术可以成比例提高传输带宽数据链路层有许多协议，为了支持QoS，需要在多个协议之间进行转换，增加网络延迟，即提供优秀的QoS控制，又简化协议的技术改进正在进行（PPP/SDH/ATM）,信息通讯技术发展应用现状（8）,网络传输：分布在不同位置局域网依靠路由器实现网络层的功能，掩盖不同局域网实现的差异性。IPv4到IPv6协议的逐渐过渡，实现更多的地址容量以及安全和QoS服务，迅速收敛路由算法带来更加可靠、迅速的路由服务传输层：以TCP/UDP为代表的传输层协议实现在网络层“多路复用”，优化/简化该层的协议实现，甚至根据当前的硬件特点完全重写传输层实现，目的都是为了提升网络的有效传输带宽以及吞吐率,信息通讯技术发展应用现状（9）,网络传输：应用层：有操作系统之间远程调用、消息传递的应用，有远程登陆、文件传输应用。改应用的无状态为有状态，改单线程单块传输为单线程多块传输，改任务的单点对点为多点对点，改明文传输为加密数据通讯天文科学任务对网络传输的要求高，因此，作为INTERNET2重要的实践应用之一，比如实时VLBI,信息通讯技术发展应用现状（10）,数据处理：数值计算和符号处理是计算机系统的主要功能，天文方面的应用侧重前者：拟合最优模拟求解：遗传算法/模拟退火/最小二乘法时域频域变换分析：快速傅立叶变换算法FFT/小波变换Wavelet算法/自相关算法/统计分析算法二维图像处理：二维时频变换压缩算法人工智能算法（模式识别、机器学习、数据挖掘）：采用决策树、神经网络算法的聚类分析以Matlab、Origin等为代表数据分析处理软件提供了丰富的函数库（包）,信息通讯技术发展应用现状（11）,开发运行环境：新的编程语言、新的开发框架、新的编译工具、新的语言库、新的跨平台运行虚拟机给专业和业余开发者提供快捷开发和不同硬件平台下优化的高效执行过程传统Fortran/C语言在数值计算方面拥有优势，有众多函数库使用，新出现的语言往往因为缺少库的丰富支持而得不到充分应用发展真正一次编程跨平台运行的语言平台无疑对科研人员来讲极具诱惑力，windows和linux不再是障碍，Java语言就是一个好的例子，很多天文处理软件采用该语言实现新编译工具和运行环境在多处理器并行以及分布计算方面提供支持,信息通讯技术发展应用现状（12）,并行集群技术：专用软硬件的超级计算机实现方式逐渐显示出高昂成本和低灵活性，与此同时：PC大规模工业生产低成本“摩尔定律”驱动下计算、存储、通讯飞速发展性能（多处理器/多通道）互连网络大规模的分布式计算芯片内部、芯片之间、联网计算机之间多层次的并行性，借助开发环境、操作系统、集群协作环境，最终形成极具扩展性的低成本超级计算机,信息通讯技术发展应用现状（13）,数据库技术：格式化数据、更高的存储效率、多用户细粒度的访问控制、高效率的数据操作管理统计操作语言、多种开发语言平台编程接口，原始天文观测数据几乎没有采用数据库记录，但数据发布等需要离不开数据库。传统关系数据库不断根据新出现的服务方式、接口而更改自己接口层设计满足不同应用需要,信息通讯技术发展应用现状（14）,网格WEB技术：HTTP-WEB应用的迅速普及，人们希望在这个基础上构建更多的应用和服务，实际上，HTTP不可能适应所有情况。IBM率先提出“网格Grid”，更加强调网络应用深度和广度，网格计算（高性能计算HPC）、网格存储、网格通讯、网格安全认证等等，当前很难想象一个程序不提供网络通讯,信息通讯技术发展应用现状（15）,新材料、新工艺、新设备、新技术、新应用等各个方面进展或突破而推动信息技术的迅猛发展，各种相近技术力争成为行业标准，最终经过市场竞争，只有一两个成为最后的胜利者。我们应用集成密切跟踪“庄家”新概念伴随着新技术、新应用推出，也许不“新”，但有类似思想、视野的解放功效。成立利益兴趣组织和工作组，来建立规范、标准，群策群力，争取长远发展“一支独秀”还要“万紫千红”,科学任务之VO需求（1）,行星、恒星、星系、黑洞、宇宙理论及其演化模型需要全电磁波段、大空间尺度、大样本的巡天观测进行验证、修正、改变相对论（引力波）、量子论、粒子理论（超弦）等理论模型也需要天文领域对引力波、暗物质、暗能量、磁场的间接探测来分析论证,科学任务之VO需求（2）,正在实施或规划的大口径的不同波段地基/空基望远镜和几十、上千面不同波段的地基/空基望远镜阵为天文观测提供更高灵敏度、更高的空间分辨率、更大视场FOV，有利于巡天、精细结构等观测无线电射电波段的宽带接收机、红外可见光紫外线的大尺寸CCD、高能粒子射线计数器，这些性能不断提高的前端接收系统有利于微弱信号的接收,科学任务之VO需求（3）,大尺寸CCD图像、宽带信号AD采样量化数字数据需要快速、实时、海量存储空间的数据终端网络支持，完成数据干涉、频域分析等事务大量的二维图像、一维频谱数据以及其他类型数据需要处理思路、高效算法以及高性能计算网格，充分利用当前计算机网络软硬件平台特征,科学任务之VO需求（4）,分布的多波段天文数据处理、发布应用集成所以，VO对于科学任务是支柱和加速器,科研人员之VO需要（1）,灵感、思路需要高质量最新相关前沿信息汇集吸收交流简单快捷的资源、数据定位访问处理的VO程序科研人员既是使用者又是贡献者，希望有一个良好的平台发布自己的产出VO为学习工作提供良好的内容档案管理、文档规范标准化,科研人员之VO需要（2）,作为普通科研人员，VO所展现更多是一个软件界面，完成功能，输出结果。其后面的实现是VO的成果作为VO的实现开发人员要求所使用“部件”标准，简化实现的复杂度，提高利用率VO类似一个冰山，需求是简单，实现却是复杂,VO应用为王之突破和扩展（1）,VO内容为王：内容是广而告之开放的。作为内容的“观测数据”仅仅是一部分，相关背景内容负责解读处理，构成另外一部分。VO-WEB应用则提供内容展现载体VO功能为王：内容丰富促进更多、更强大功能的需要，WEB服务仅仅是其中的一种方式，属于高附加值操作,VO应用为王之突破和扩展（2）,应用聚集人气，集中力量，谋得发展先机先期零散的VO应用，促进VO进一步丰富，规范和标准，谋后面长期发展和快速进化VO制定许多内容和功能方面的结构组成以及层次接口，需要快速及时提供多种语言的库实现、灵活的开发架构，支持跨平台VO应该是基于“开源方式”，更要提倡自由、共享精神,VO应用发展瓶颈（1）,VO所大量借鉴商业IT概念技术本身存在风险性，一方面在于本身的不成熟性，一方面外部竞争失利标准建立很多，但仅仅是建议，很可能现实中无人问津VO的发展基本是已有的以前应用的拓展，好处是充分利用前面的资源，不利地方在于性能受限、应用受限,VO应用发展瓶颈（2）,WEB应用的不充分，内容不完备，阻碍VO发展，成为无源之水，这是一个不能忽视的突破点合适人才以及培养培训环境的缺乏、不足极大限制VO的应用相关资金项目课题应用有限，很难拉动VO突破,乌鲁木齐天文站的VO尝试和未来发展,鉴于乌站目前的课题任务以及人力方面的情况，VO的尝试是零散