用大数据技术来提高学科建设-培养社会继续的应用型人才

用大数据技术来提高学科建设，培养社会继续的应用型人才,倪军博士,2013年3月27日,演讲提纲,大数据项目宗旨大数据实验平台与学科建设结合项目进展,数据尺度测量,Yottabyte(YB),1024Zettabye(ZB),1021Exabyte(EB),1018Petabyte(PB),1015Terabyte(TB),1012Gigabyte(GB),109Megabyte(MB),106Kilobyte(KB),103,当今,未来,过去,软盘,Zip驱动硬盘,U盘,USB-硬盘,RAIDorarray硬盘系列,ScaleExamples,2.5Petabytes:人脑的内存容量13Petabytes:每个美国人同时上网，每二分钟可下载的容量98Petabytes:谷歌所能检索到的网站容量4.75Exabytes:全世界总人口的人类基因序列总和422Exabytes:2008年全球所产生的数据1Zettabyte:目前全世界数据存储的总容量1.8Zettabytes:2011年全球所产生的数据资源:PopularScienceandKatiePeek,大数据预测,思科公司的预测资源：TotalMobileDataTrafficwillbeOffloadedin2017,-CISCOReport2013,到2017年，每个月手机的传递量为11.2Exabytes资源：,亚太地区和北美地区的手机信息传递量占全球量的二分之三。资源:CiscoVNIMobilReport2013,智能手机主导整个手机业资源:CiscoVNIMobilReport2013,大数据预测,麦肯锡全球研究院报告举例：大数据在以下五个领域发挥巨大价值美国的医疗业欧洲的公共事业美国的零售业全球的个人信息定位资源:,大数据预测,如果美国医疗保健能够使用大数据创造性地，有效地提高效率和质量，该部门每年可以创造超过三千亿美元的价值。其中三分之二可以用来减少8的美国医疗保健支出。,信息的获取和提炼,数据量的剧增,数据结构的丰富多彩,R,r,数据尺度的增大,时间进程,商业,医疗卫生,工程,教育,事业,产业,服务业,大数据的定义,定义1:大数据可以被定义为已经生成或正在生成的空前庞大的数据量，这些数据具有同构和异质并存的数据结构。他们可以通过特殊的技术（包括数据的采集，管理，处理和分析等手段，获取非常有价值的信息。,大数据的定义,定义2:是一种大规模并且复杂的数据的集合，这些数据难以用常规的数据库管理工具或传统的数据处理应用程序来处理。-根据维基百科定义3:“大数据指的是用于特大型数据的流程和程序技术，其中包括数据的建立、操作和管理大型数据集和存储设施”-根据,大数据的定义,定义4:大数据指的是新兴的、针对巨大的数据集的信息技术，其中包括各种工具、流程和程序，用于收集、管理、处理、分析和挖掘这些数据集,大数据的定义,这些定义的共同点:数据中必须蕴藏信息、数据量巨大、数据结构复杂、数据量快速增长常规的数据处理和管理的方法无法解决大数据不仅仅是指数据，它包容相关的技术,大数据的定义,定义:大数据可以定义为前所未有、迅速增长的、结构复杂的、具有信息价值的庞大数据之集，以及与其相关的紧急而又特殊的数据技术，使人们能够采用这些技术来获取、管理、处理、分配、分析和挖掘这些数据，其宗旨是为机构的运作和决策提供服务。,举例：医疗卫生也的大数据由来,医疗仪器设备的数值化医疗实践从相对传统的个人观察、主管经验判断走向标准化、和科学依据为基础的医疗医疗系统的数字化和信息化,举例：医疗卫生也的大数据由来,采纳系统化电子医疗记录（EHR）技术和标准(DICOM,HL7,IHE等)临床医学、转化医学、生物医学信息学、医疗信息学等领域的加盟和新科技的转化应用,医学科学的数值化进程所引发的数据剧增,资源:美国伯克利大学细细管理系统学院,0C.E.,2003,40,000BCEcavepaintingsbonetools,3500writing,paper105,1450printing,1870electricity,telephone,transistor1947,computing1950,1993TheWeb,数字心脏病学,ElectronicMedicalRecord,电子-医疗卫生遗传工程,数值放射学,1999,Late1960sInternet,Petabytes,数值病理学,医疗卫生大数据的来源,数字医疗服务、信息流程和管理的普及应用转化医学和生物医学所带来的新知识、新成果，以及医学的新探索和新发现社会网络和数字通讯高速发展来源:BigDataAnalyticsforHealthcarebyJimengSunandChandanK.Reddy,TutorialpresentationattheSIAMInternationalConferenceonDataMining,Austin,TX,2013；Sarkar,IndraNeil.Biomedicalinformaticsandtranslationalmedicine.JournalofTranslationalMedicine8.1(2010):22.,医疗卫生大数据的来源,全尺度的医疗服务微观尺度性的临床基因诊断和基因治疗生物信息学的成就和发展人体组织和器官尺度的医学影像数字化和病理数字化进程和应用医学影像信息学和病理信息学的成熟和广泛应用宏观大尺度下的、基于社会网络的医疗服务信息化和公共卫生健康信息化医疗信息学和公共医疗卫生信息学,大数据的定义,IBM最近的报告预测在2020年之前大约有万亿个新的设备连接到互联网：其中80的数据将是非结构性的，这一趋势将有助于推动数字数据的增长，同时要求大力发展大规模数字分析技术,大数据的特性,归纳为四点，既4H或4V数据尺度和量级上非常巨大Hugedatavolume在数据结构上具有混合多样性和复杂性Hybridstructureandcomplexityformatvariety,大数据的特性,归纳为四点，既4H或4V在数据量的迅速扩展上具有高速性、动态定、和实时性High-speedanddynamicgrowthinbothvolumeanddimensions,real-timestreamingprocessing在数据的内涵中，存有巨大的信息价值Hiddeninformation(compriseinformationofvalidityorveracity),大数据的特性,第一个特征:巨大数据量前所未有的数据量数据量太大而无法用常规的技术对其处理和分析在数据的存储、调配、管理等方面超越传统的数据库管理技术Source：Reading:Hilbert,Martin;Lpez,Priscila(2011).TheWorldsTechnologicalCapacitytoStore,Communicate,andComputeInformation.Science332(6025):6065.,大数据的特性,大数据增长的技术因素：信息技术（硬软件和网络技术）的迅猛发展无处不在的信息资源、感知移动设备剧增传感技术的成熟应用摄像机的普及应用射频识别器的普及应用无线传感器网络的迅猛发展数字建模和仿真计算（科学探索中除理论和实验之外的第三种方法）,大数据的特性,比如全球性海洋流动观测数据的汇总和可视化Source：NASAsmovie:/2013/mining-data/,大数据的特性,第二个特征：数据结构的多样和异构性结构性数据：列式性数据，比如关系型数据MSAccess,Excel,SQL表常用于数据记录和交易数据（RecordandTransaction）非结构性数据:关系型数据文本（Text）：互联网语言，微博，聊天，短信log,internet,tweetsandchatting,textmessageXML（半结构化）多媒体（Multimedia）：图像，视频，音频image,video,audio,XML(semi-structured)etc.,大数据的特性,第二个特征：数据结构的多样和异构性（继续）大数据往往是不同数据结构系统的混合组合或集成比如非结构、半结构、结构包含非结构性、半结构型、和结构型数据的交通、合并、分解、融合等。比如非结构的短信和日志和结构型数据的融合医院诊断报告、病人病例、病人信息等等在大数据分析中的关系,大数据的特性,第二个特征：数据结构的多样和异构性（继续）举例：医疗卫生和放射信息系统中的大数据应用范例的思考兼容非结构型DICOM影像图片的PACS系统数据和结构型病人病例数据之间的大数据分析基因治疗和遗传临床诊断之间的关系分析非结构型基因序列和储存在电子医疗记录系统（eHR）中的结构型病人记录文本之间大数据分析非结构型病例诊断实验分析报告医院信息系统中的病人记录档案数据分析,大数据的特性,第二个特征：数据结构的多样和异构性（继续）很难用当前的数据库管理系统来管理比如基于SQL的关系型数据搜索很难用传统的数据处理和应用系统来分析,大数据的特性,要求1:需要研发一种特殊的处理机制和平台，使得可以管理和处理不同数据结构的数据，比如维基（wiki）、博客、网络日志、来源于网络的任何信息要求2:需要合适地设计一种相应的分析和挖掘流程机制和平台这种平台必须建立在系统工程的理念上,大数据的特性,系统工程的技术理念带来异常的技术挑战分布式大数据存储基于SQO/NoSQL并存的数据搜索大数据的表达和可视化大数据的分配和网络设计大数据的分析流程动态管理大数据的处理和分析大数据信息挖掘和决策,Hugedatavolume,Hybriddatastructure,Hiddeninformationdiscovery,High-speeddatagrowth,大数据的特性,第三个特征：数据结构的多样和异构性快速增长数据流的动态性要求：高性能数据计算系统用大数据过滤、压缩、删除来解决大数据堆积采用大数据的转化、移植、和变化技术正确选择中央型和分布型计算机平行计算的数据处理平台实时性信息挖掘和智能决策,大数据的特性,第四个特征含有信息的价值需要高性能的数据统计和挖掘采用智能计算技术迅速转化为决策的依据、增强企业的竞争力和产业,大数据的优势和效益,重新设计相关的数据信息属性结构和行为，特别是各类数据之间的接口和关系，确保大数据信息的应用扩展性改造高性能数据处理和分析的流程，以便直接为产业和服务业实时服务建立崭新的决策机制，有利于锐化组织运营与管理、和企业的利益,大数据应用范例,气象学基因学和基因工程应用神经科学物理数学建模与仿真生物技术环境研究和改善,大数据应用范例,网络搜索财经商务信息生物医学与医疗健康石油勘探宇航和太空探索,大数据应用范例,IBM大数据和分析解决方案个人银行管理和商业收益来源：,大数据应用范例,生物医学研究中的大数据自人类基因工程建立之后，基因链被移植和应用到成千上万的人体、动物实验中，获取非凡的成就。基因序列数码的发明和创新、计算技术的成素、以及崭新的生物信息学的健康发展，产生了新的、具有重大意义的生命科学技术分支，特别是临床转化医学的应用。,大数据应用范例,比如临床医学转化的大数据由美国国家癌症研究院主持的、SusanHolbeck博士测试的5000多对美国药物总局认可的癌症药物对60多种细胞链的反应。一共进行了30万次的实验，人们终于认识到每一个细胞链中的每一个基因的RNA表达式的层次。,大数据应用范例,临床医学转化的大数据获得巨大的序列，蛋白质和微小RNA表达谱数据后，通过大数据挖掘，人们懂得了一个细胞链往往会对某些良好的组合做出反应，而对另一些组合不产生反应。这样的观察可以变成一个理性的、具有针对性的药物临床试验。,大数据应用范例,临床医学转化的大数据让我们在看一段今年超算会议上由JanisLandry-Lane女士所作的关于IBM在生命科学方面的解决方案。演讲主要围绕IBM大数据挖掘时如何帮助他们的用户来完成临床基因学方面的大数据挖掘。她的演讲特别提到用IBM大数据技术来设计数据的获取，管理、处理和分析的进程。这种大数据技术可以直接应用到不同的领域。,大数据技术挑战的当务之急,如何存储大数据？如何处理非结构型数据？如何用现有的计算设备来动态的、并行的处理大数据？如何研发新的处理和分析的方法来挖掘信息？如何把大数据，通过信息的提炼，转化为决策机制？,所需的计算技术,充分利用现有的计算设施跟踪和积累信息技术的和经历、掌握分布式计算技术重视标准化和开源软件的开发和流程设计建立高性能分布式存储系统尽快掌握大数据的系统构架和流程设计、配置和安装集成、维护和服务等技能,高校大数据项目举例：项目背景和宗旨,学院状况：上海杉达学院（民办高校）信息学科已有较长时间的历史，但也有跟上信息技术迅速发展的迫切需要以“大数据”技术为抓手，确立两个研究方向:大数据处理技术（云计算、并行处理、分布存储，高性能计算等）方向，以此带动杉达学院传统信息技术的及教学和科研上一个台阶，紧跟信息技术发展的前沿。大数据分析及其应用（在医学医疗卫生健康、商务和管理等领域的数据挖掘及数据分析等），以此发挥大数据技术队其他学科领域的辐射作用，将大数据技术和上述其他学科领域相结合产生新的学科发展生长点,数据实验平台与学科建设结合,研究任务落实的具体情况（按三个明确的阶段开展）实验室平台建设建立了大数据计算设施平台（分布式计算、云计算、高性能计算、数据分析处理和挖掘、统计计算）（第一阶段）确定并展开大数据应用领域（建立了医疗卫生的大数据库存平台，大约80万数据（第二阶段）,基于SPSS的健康卫生医疗大数据输入，格式转化，和显示系统,实验室机房：IBMFlex高性能大数据和高性能计算系统,数据实验平台与学科建设结合,研究任务落实的具体情况（按三个明确的阶段开展）实验室平台建设管理/登录/调度节点：配置1台x240双路刀片服务器，作为管理、登录的调度节点，配置64GB内存，2颗E5-2620CPU(2.0GHz/6-core），8块1TB7近线SAS硬盘；计算和数据分析节点：8台Flexx240双路刀片服务器，做为计算和数据分析节点，配置32GB内存，2颗E5-2620CPU(2.0GHz/6-core），2块1TB7近线SAS硬盘；管理网络和InfiniBand高速网络：所有节点间通过56GbInfiniBand高速网络连接，保证高速通讯和存储I/O，管理网络采用IBM千兆以太网，负责集群管理和监控。,数据实验平台与学科建设结合,数据实验平台与学科建设结合,数据实验平台与学科建设结合,数据实验平台与学科建设结合,数据实验平台与学科建设结合,数据实验平台与学科建设结合,建立一个公共健康信息系统大数据实验平台科研与教学兼顾分布式模拟大数据存储基于多核（Multi-core）这个平台既有硬件的系统设置，又有软件的配套计算,数据实验平台与学科建设结合,三方法：在所建立的实验平台上探索和研究大数据储存方法大数据平行处理方法大数据挖掘方法,数据实验平台与学科建设结合,调研、汇总包括数据处理、分析、和数理统计在内的、各类现有常用计算方法和应用性软件根据应用范畴，整合一套较为完整的、实际有效的大数据处理和挖掘软件系统为基层卫生信息系统的建设提出参考的价值和建议。,数据实验平台与学科建设结合,三培养：青年教师创新性科研能力的培养师资队伍的学科建设能力的培养学生应用性技能的培养,数据实验平台与学科建设结合,采用分布式和集中式相结合的大数据并行计算平台，侧重计算任务的分配和数据域的再分解相结合的方法在混合式操作环境下、共享和分布式内存相结合的、多种多核处理器相结合的计算模式研发国际HL7,DICOM和其它IT标准接口规范方法收集、研发、整合各类数据处理分析、统计、挖掘的方法技术和方法,数据实验平台与学科建设结合,小采样和大数据之间的关系性方法各类数据之间的格式转化、制作必要的软件数据分配的非平衡处理方法大数据的统计计算方法科研和教学相结合的教学培养方法,数据实验平台与学科建设结合,调研、分析需求、制定系统的初步方案设计和搭建计算平台收集大数据资源实现基于高性能计算的数据处理和挖掘的可行性分析和实验以若干应用为实例，研究适用于公共健康数据挖掘的算法及其实施方案探索具有大数据分析能力的应用性专门人才的培养模式，制定培养方案，实施培养计划整理实验数据，培养青年教师如何开展科研，特别注重科研与教学的结合培养青年教师的写作国际论文能力,数据实验平台与学科建设结合,A.搭建面向基层的公共健康信息管理与分析系统平台；实现基本层次的、基于高性能计算的数据处理和挖掘的可行性研究,C.培养相关的应用性专门人才的新模式,B.医疗卫生健康数据二次开发的实践，探索数据分析与挖掘新功能模式；实现基于高性能计算的数据处理和挖掘应用性研究,卫生信息系统的调研、国际数据资源调查、分析需求、制定系统（硬件和软件）的初步方案,建立公共卫生信息分布式数据管理系统、建立中央式分析和基本层次高性能计算系统,开放式接口、可扩展性和安全性研究,卫生健康数据采集、调配，预处理、处理计算,卫生健康数据统计（SAS或SPSS）、挖掘和融合，中期验收,卫生健康数据融合、整合、系统兼容性研究,根据测试和验证结果，必要时对系统进行修正、改进和完善,采用小样本来模拟数据和系统的可行性；同时收集和研发并行计算软件,国际标准数据的调试计算模块的数据分析及挖掘的功能；调整应用性层次的高性能计算系统平台,对数据管理系统和计算分析系统进行修正，调试；研究计算任务分配和数据的传递和可视,设计培训课程(数值计算、统计计算、并行计算、数据分析与挖掘等),开设培训课程；学术论文,课题的收尾工作（数据整合、课题报告、论文准备、延伸课题的预研等）,课题开始,中期验收,课题完成验收,数据实验平台与学科建设结合,研究任务落实的具体情况（按三个明确的阶段开展）持续进行有助于整个信息学科的发展和内涵提升，也有助于促进其他学科产生新的科研教学生长点,科研小组D,科研小组A,科研小组B,科研小组C,科研小组E,实验室科研培训,数据实验平台与学科建设结合,研究任务落实的具体情况（按三个明确的阶段开展）研究成果固化成课程的形式，丰富和完善了信息学科的课程体系（第三个阶段）将大数据技术融合到现有的课程中，同时建设新的教学课程为学科建设奠定实验设施基础、研发平台、课程实践、教师培养，以及学生实习奠定了基础。,为青年教师培训大数据基础知识和技术,数据实验平台与学科建设结合,实验室平台建设,带动科研项目开展,新的课程建设,大数据计算设施平台,大数据资源和库存平台,100%,50%,30%,数据实验平台与学科建设结合,科研经费管理科研处、设备处、财务处、校方大力支持科研经费规范体现在：经费到位、需求的设备申报、购买评估和审批项目的资金分配，按校内评估分期拨款（50%）财务的规范化，帐务的平衡支撑条件落实，项目管理规范本项目得到校方的大力支持，校方提供400万，追加本项目的开支本项目作为学校学科整体规划和建设的一个重要组成，推动整个学校的学科建设和教学课程改革、以及师资力量的提高。本项目从开题、中期检查、经费拨款、实验室场地落实、团队建设、人员配备等得到校方的鼎力支持和具体的落实。,与青年教师团队建设结合,团队建设结合情况项目团队取得的阶段性成果完成大数据实验平台搭建（设计、评估、申报、购置、安装、调试）大数据的技术探索、资料收集、系统设计、大数据结构获取并建立80万大数据资源和数据库存（其中包括SEER大数据等团队着手学习和掌握大数据处理技术，特别是医疗信息数据的分析和挖掘收集大数据成功应用范例鼓励并带领青年教师积极开展科研项目，建设新的课程,与青年教师团队建设结合,团队建设结合情况项目团队取得的阶段性成果与IBM建立大数据实训平台，广泛深入展开一下合作项目师资培训、教学平台共建、联合研究开发精品课程共建、课程与技术传授、学生实习,2014年3月11日,与青年教师团队建设结合,团队建设结合情况学科带头人培养、教学科研团队建设在确立研究方向的同时，也树立了相应的学科带头人倪军：负责大数据处理技术陈瑛：负责大数据应用带领6名青年教师：刘在英、沙洁、杨平、马晖男、章鸣嬛、朱琳玲,与青年教师团队建设结合,团队建设结合情况学科带头人培养、教学科研团队建设每周三召开团队学术会议，探讨和学习大数据技术、布置科研任务，汇报任务落实和进展计划通过组织青年教师参与本项目实施的全过程，培养了青年教师的教学科研能力，促进师资队伍的建设,与青年教师团队建设结合,团队建设结合情况学术交流情况（校级学术交流）在全校范围内,通过科技专题讲座，为校管理干部和教师们进行了大数据与云计算的解读，并就大数据背景下如何推进我校的学科专业发展作了探讨,2013年3月20日,与青年教师团队建设结合,团队建设结合情况学术交流情况（校级学术交流）杉达学院嘉善校区，与基础部教师开展学术研讨,2013/10/16,与青年教师团队建设结合,团队建设结合情况学术交流情况（国际交流）：在杉达学院主办了第7届科学与工程网络计算国际会议，会议论文由国际IEEE计算机学会出版，论文全部EI检索。青年教师踊跃投稿，积极参加会议学术交流、并参与会议服务和编辑工作。邀请美国佛蒙特大学计算机系首席教授，现任复旦大学计算机学院院长王晓阳博士作关于“大数据分析”学术报告。,2013年9月22日,与青年教师团队建设结合,团队建设结合情况团队成员参与程度人数上：团队成员人数不断增加，技能的不断提升鼓励开展与之相关的辐射的技术，直接为科研和教学服务从学科内涵为基点，在大数据技术层和应用技术层基础上，寻求科研教学新的伸长点,大数据项目的宗旨,大数据高性能计算技术（平行计算）,数据获取处理分析挖掘（数据结构和计算方法）,服务界面技术（云计算、分布式计算,医疗大数据数据库系统,商业信息大数据处理和挖掘（TheOrganizationforEconomicCo-operationandDevelopment,OECD),医疗大数据结构特征分析和挖掘,与学校建设结合情况,与学科整体规划、专业建设、结构布局等结合情况与学科整体规划、专业建设、结构布局等结合情况整合大数据技术到整个信息科学与技术学院的科研和教学体系中把大数据内涵技术应用到不同专业领域的学科建设（科研和教学）中,与学校建设结合情况,与学科整体规划、专业建设、结构布局等结合情况与课程建设、教材建设、教学名师、精品课程、实验科研基地建设等结合情况把该技术融合到其他课程建设，补充现有课程的内容，提高课程的教学质量把大数据实验室建设成科研实验基地，以大数据实验室为基地，展开各类应用领域的研发，开发新的学科领域和课程，比如,与学校建设结合情况,与学科整体规划、专业建设、结构布局等结合情况Hadoop/MapReduce大数据解决非结构数据的方案Hadoop是Apache软件基金会管理的开源软件平台Hadoop是在分布式服务器集群上存储海量数据并运行分布式分析应用的一种方法Hadoop有两个主要部分：一个数据处理框架（MapReduce）和一个分布式数据存储文件系统（HDFS）。通常会把输入的数据集切分为若干独立的数据块，由map任务（task）以完全并行的方式处理它们。框架会对map的输出先进行排序，然后把结果输入给reduce任务。通常作业的输入和输出都会被存储在文件系统中。整个框架负责任务的调度和监控，以及重新执行已经失败的任务。,与学校建设结合情况,与学科整体规划、专业建设、结构布局等结合情况FlexSystem+PlatformSymphony-大数据计算解决方案IBMPlatformSymphony软件提供强大的企业级管理，用于在可扩展的共享网格上运行分布式应用程序和大数据分析。它可加速数十个同时运行的应用程序，以加快实现成果并更好地利用所有可用资源。IBMPlatformSymphony软件可帮助您控制当前和将来的技术计算系统中可用的大量计算能力，以应对最艰巨和最复杂的问题。,与学校建设结合情况,与学科整体规划、专业建设、结构布局等结合情况IBMPlatformComputing软件技术理念就是让客户能把成千上万台计算机当作一台来使用和管理。为了达到这个目的，IBMPlatformComputing采用了3层软件功能第一层是资源整合，把企业所有的服务器及操作系统的软硬件整合成一个逻辑层，交给第二层资源分配来处理，第二层是资源分配，是网络层次的一个概念，把资源整合的逻辑层根据应用的使用、资源情况动态分配，大幅提高资源的利用率，并同时满足用户的服务标准。第三层是资源使用，使用户通过API或UI界面或APP能够清楚明了地使用资源。如果是一个并行任务，用户可以通过一个中间件API调用资源，满足并行应用。,与学校建设结合情况,与学科整体规划、专业建设、结构布局等结合情况这三层逻辑抽象，就构成了完整的PlatformComputing的软件应用层次，可以支持多用户、多应用、共享、动态的平台，实现主流的技术计算。Symphony是PlatformComputing平台一个并行分析的计算平台，从理解的角度，与WEB服务器的应用服务器类似，可以把Symphony看成是PlatformComputing技术运算平台的应用服务器，它包含针对低延迟、可靠性和资源共享进行优化的MapReduce，还可以兼容ApacheHadoop，进行大数据分析。,与学校建设结合情况,与学科整体规划、专业建设、结构布局等结合情况如何用PlatformSymphony做大数据分析IBMPlatformSymphony是一个并行分析的计算平台，可以支持各种类型的计算密集型和数据密集型的应用。从开发者的角度来说，Symphony是一个可以成百上千倍提高运用速度，提供低延时、高并行度、高可靠性的应用中间件。同时，还可以把Symphony看成是一个面向技术运算的服务器。数据显示，Symphony远程并行服务的延迟低至毫秒级，每秒钟可以同时启动17000个服务任务，每一个应用可以使用多达10000个核，每一个集群可以支持多达40000个核，可以实现多个任务、多个应用同时运行。,与学校建设结合情况,与学科整体规划、专业建设、结构布局等结合情况如何用PlatformSymphony做大数据分析不仅如此，Symphony还可以同时支持计算密集型应用和数据密集型应用的管理软件。随着分析工作负载的计算与数据密集性的不断增高，许多类型的应用程序都要求快速分析使用内存中的数据网格存储的或分布式文件系统上的大量数据。不同于其他网格管理解决方案，PlatformSymphonyAdvancedEdition(Symphony的高级版)并不需要单独的基础架构来支持这些数据密集型问题。它包含针对低延迟、可靠性和资源共享进行优化的MapReduce，还可以兼容ApacheHadoop。用户可以通过使用此功能在相同的共享分布式基础架构上运行使用其他语言编写的Hadoop和非Hadoop应用程序。此外，PlatformSymphony的多租户架构可以使其在单一的共享式基础架构上部署多个MapReduce引擎,与学校建设结合情况,与学科整体规划、专业建设、结构布局等结合情况如何用PlatformSymphony做大数据分析就工作环境而言，PlatformSymphony客户机和服务可以在不同的操作系统、语言和框架上实施，集群还可包含运行多个操作系统的节点。PlatformSymphony可在相同的集群中管理多种不同类型的主机，并控制每个主机上运行的应用程序服务。,与学校建设结合情况,与学科整体规划、专业建设、结构布局等结合情PlatformSymphony支持GPFS(GeneralParallelFileSystem）-大数据平行文件存储IBMPlatformSymphony支持各种类型的数据，开源MapReduce只支持开源的HDFS（TheHadoopDistributedFileSystem）IBMPlatformSymphony支持包括IBMGPFS、HDFS、数据仓库以及其它数据来源和输出端GPFS是一个高性能的，共享磁盘空间的文件系统的管理方案。GPFS运用于集群环境中，提供快速可靠的数据访问。通过GPFS，同一个集群中的多个节点可以同时访问同一个共享文件。IBMGPFS提供快速的数据访问以及简单且经济有效的数据管理。IBMGPFS可帮助：消除数据相关的瓶颈，简化数据管理规模，实现全球协作,经济有效地管理完整的数据生命周期,确保端到端数据的可用性、可靠性和完整性,与学校建设结合情况,与学科整体规划、专业建设、结构布局等结合情况PlatformSymphony支持GPFS(GeneralParallelFileSystem）-大数据平行文件存储GPFS还可以提供在线存储管理、可扩展的访问和集成的生命周期管理工具,并且有能力管理PB级的数据和数十亿的文件,可以大大减少切换时间，减小客户应用的不可用时间。GPFS可以帮助企业降低存储管理成本，并能减少数据重复和更有效的使用离散的存储组件，使之成为一个逻辑整体，使信息呈现一个集中的、高性能存储的架构。GPFS还可以帮助改善服务器硬件利用率，从任何节点通过允许动态存储访问所有数据，GPFS多层次的方法可以减少存储成本。,与学校建设结合情况,与学科整体规划、专业建设、结构布局等结合情况与IBM联合开设课程Hadoop分布式存储与分布式计算开源框架概览本课程主要介绍了开源hadoop的基本原理，重要的组件MapReduce和HDFS。还详细指导学生如何构建一个开源的hadoop集群，如何在上面运行指令等。本课程包含以下小节内容：Hadoop基本架构介绍大数据概念的由来，开源hadoop的历史起源，背景，架构，重要组件基本功能，管理运行机制，1.0版本的架构缺陷及改进的2.0版本的发展方向等。Mapreduce基本原理介绍MR的运行原理，管理机制，Map、Reduce两个具体的实现过程，MR的应用开发，如何参数调优等。HDFS基本原理介绍HDFS的设计思想，基本原理，架构框图，适用范围，目前的市场前景及发展方向。Hadoop其他的重要组件介绍Pig、Hbase、Hive、Jaql、Zookeeper的作用，基本原理，实现机制，市场应用等。如何构建一个小型的hadoop集群指导学生如何在一个集群的多个节点上部署开源hadoop1.0.0,如何设置各种参数及其具体意义，如何运行各种类，如何通过开源hadoopGUI来进行作业检查等。,与学校建设结合情况,与学科整体规划、专业建设、结构布局等结合情况与IBM联合开设课程IBMGPFS企业级分布式存储架构与实践本课程主要介绍IBMGPFS的基本原理，以及面向大数据应用的GPFSFPO新特性。还详细指导学生如何构建一个IBMGPFSFPO存储集群，如何管理和运维等。本课程包含以下小节内容：GPFS基础架构及原理介绍IBMGPFS通用并行文件系统的基础架构，包括高可靠性、可扩展性、数据复制机制、POSIX兼容性等等。GPFSFPO面向大数据应用新特性介绍GPFSFPO面向Map-Reduce分布式应用的存储架构，以及GPFSFPO与开源HDFS的对比、技术优势。如何构建一个小规模的GPFSFPO集群介绍如何安装和调试GPFS-FPO存储集群，在实验平台上，一步一步演示搭建GPFS集群的过程，包括常用参数的设置与优化等。GPFS运行维护及故障诊断如何运行GPFS系统管理命令，如何查看系统日志，常见错误与故障处理等等。,与学校建设结合情况,与学科整体规划、专业建设、结构布局等结合情况与IBM联合开设课程IBMPlatformSymphony企业级分布式计算架构与实践本课程主要介绍了IBM的旗舰产品PlatformSymphony的基本原理，架构和运行机制，而且还详细介绍了如何安装PlatformSymphony及如何运维。本课程包含以下小节内容：Symphony基本原理及架构介绍symphony的原理，整体架构，包含组件，接口平台，可以实现的功能，对数据库和文件系统的支持原理等。Symphony资源管理介绍symphony的一些基本概念,如resourcegroup、consumer、slots，以及所有的调度策略。介绍如何针对不同的场景进行资源动态分配设计，如何结合优先级、资源比例、时间段进行资源的分配，如何进行资源池的总体监控等。SymphonySOA架构介绍symphony的低延迟SOA架构原理，具体运行机制，各种性能指标及其含义，主要特点及优势，高可用功能等。介绍symphony如何对作业进行全程的监控，如何设置有效的监控参数等。,与学校建设结合情况,与学科整体规划、专业建设、结构布局等结合情况与IBM联合开设课程IBMPlatformSymphony企业级分布式计算架构