大数据技术及产业应用

1大数据问题及技术与产业应用清华大学苏研院大数据处理中心

海量数据212+TBs

oftweetdata

everyday25+TBsof

logdataeveryday?TBsof

dataeveryday2+billionpeopleontheWebbyend201130billionRFIDtagstoday

(1.3Bin2005)4.6billioncameraphonesworldwide100sofmillionsofGPSenableddevicessoldannually76millionsmartmetersin2009…

200Mby2014数据分析复杂度大数据BigData大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合大数据=“海量数据”+“复杂类型的数据”涉及各个行业领域电力、电信、经贸、教育、医疗、金融、石油、民航天文、气象、基因、医学、物理、互联网与人类社会活动有关的网络数据4大数据特征5不同结构的复杂数据：关系型数据、日志和文本数据流量大：数据处理从批处理转向流处理大容量：从TB、PB到ZB数据即资源，体现价值，数据中能挖掘出价值信息Variety:Velocity:Volume:Value：

数据==价值6数据正在成为各行各业，乃至每个人最关心、最有价值的东西医生需要了解病人病历以及典型病人治疗方式相关数据，以便对症治疗；疾病预防中心需要了解疫情爆发、扩散的相关数据，以便做好疫情防御；医院需要病床、药品及季节行流行病相关数据，以便统一部署医疗设施；股票经济人需要对股票行情数据分析，判定下一个市场投资热点；公司供应链需要了解产品进销存数据，以便下一步备料生产；企业经营者需要对市场数据进行分析，以便制定企业下一步的市场策略；投资者需要靠数据进行投资前景、可行性进行分析评估，确保投资收益；民航、酒店需要了解旅客的出行规律，以便更好的服务客户；商场、商家需要了解顾客的生活习惯、购物心理，制定最有效市场推广方式；商业网站则需要了解用户的网络浏览方式，以便推出更贴切客户习惯的产品；癌症研究者需要了解分子结构和癌分子的绑定数据，以便研制新型的抗癌药；石油勘探需要需要了解地质数据并分析建模；气象工作者需要了解海洋气候数据，以便发布及时准确发布；大数据蓝海7区域发展气候信息行业信息市场信息国家战略投资信息经济信息生活咨询贸易信息旅游咨询计算应用分析加工个人生活相关（投资理财、居家生活、旅游出行）企业发展相关（投资前景、市场战略、市场先机）区域经济发展（区域规划、城市发展、发展先机）国家发展战略（全球经济、国计民生、政策法规）大数据影响到我们生活周边的各个方面。大数据处理的意义8大数据不是噱头，是技术发展的必然阶段云计算等新兴信息技术正在真正地落地和实施云计算等新兴信息技术恰恰是是解决大数据问题的核心关键应用背景对大数据的推动作用大于其他条件有充足的应用场景有一个系统科学的方法论合理的人才和知识储备有极为广泛的创新动机大数据是一个不可多得的发展机遇关键技术和核心技术各国之间的差距不是很大，这是追赶和减少绑架进而实现自主创新的最大契机海外市场环境美国奥巴马政府2012年推出了“大数据研究和发展倡议”，并投资2亿美金支持大数据的研发，说明大数据已成为信息科技领域的热点。资本市场高度关注大数据技术型企业的发展风投机构AccelPartners设立1亿美元专项基金大数据分析公司Splunk，首日上市IPO即上涨109%大数据软件提供商Birst公司今年已经从红杉资本等机构获得了2600万美元的投资为开源大数据技术Hadoop的商业版本提供销售和支持服务的Cloudera获得7500万美元投资MapR、10Gen、DataStax等大数据软件服务商近期都完成了千万美元级的融资。9市场预测10根据Wikibon最近发布的报告，大数据市场正处在井喷式增长的前夕，未来五年全球大数据市场价值将高达500亿美元。国内云计算及大数据市场已经初步具备发展态势，据研究表明，大数据市场规模也将从2010年的167亿元增长到2013年的1174亿元，年均复合增长率达到91.5%。市场规模112012年政府、互联网、电信、金融的大数据市场规模较大，四个行业将占据一半市场份额。大数据问题12速度方面的问题导入导出问题统计分析问题检索查询问题实时响应问题

种类及架构问题多源问题异构问题原系统的底层架构问题体量及灵活性问题线性扩展问题动态调度问题成本问题大机与小型服务器的成本比对原有系统改造的成本把控价值挖掘问题数据分析与挖掘问题数据挖掘后的实际增效问题存储及安全问题结构与非结构数据安全隐私安全互联互通与数据共享问题数据标准与接口共享协议访问权限大数据技术13计算结果展现报表、图形、可视化工具、增强现实数据计算查询、统计、分析、预测、挖掘、图谱、BI数据存储分布式文件系统，分布式数据库数据采集ETL工具，数据总线基础架构支持云计算平台、云存储、分布式文件系统等行业大数据应用的挑战14清华大学大数据产品及成果云计算管理平台：计算、网络、存储资源的虚拟化管理、调度、监控虚拟资源池管理系统：跨数据中心的虚拟资源池部署、配置、管理大规模分布式云存储系统：分布式自容错、自恢复的云存储系统分布式闪电数据库：高效率的、支持综合查询及事务的分布式数据库行业大数据处理平台：结合多模态的大数据综合处理平台数据挖掘算法平台：分布式数据挖掘平台视频处理平台：多媒体综合检索、识别及语义分析平台3D建模及体感交互技术：3D数字化建模及体感交互控制技术15行业大数据解决方案云燕：大规模任务流程管理系统应用定制复杂流程管理自动容错机制可视化云鹰：大规模任务调度系统轻型高效的任务调度：每秒分发几千个任务高可扩展性支持：上千万任务、数十万CPU跨数据中心资源协同使用自动负载均衡云龙：云资源管理监控系统集中统一的计算平台：资源共享，弹性调度虚拟镜像：自动应用环境部署完善的监控及日志功能16云燕系统架构17云燕解决海量数据计算中数据的多样复杂性、系统的异构性、系统流程管理问题；自动实现并行化的运行，能够运行于集群、网格、超级计算机及云平台上。管理调度160000个CPU核18应用效果：医药学靶点分析19CPU核:118784任务数:934803运行时间:2.01小时CPU年:21.43利用率:持续:99.6%总体:78.3%吞吐量(任务/秒)

完成任务数处理器数目时间(秒)处理器活动的任务完成的任务吞吐量(任务/秒)大数据应用20大数据智慧安全智慧商业国家电网中航信工商总局审计中移动智慧城市智能交通智能社区智能政务国家电网21中航信动态航班联程300万航班实时路径搜索与规则匹配90%的查询操作在50ms内完成跨数据中心同步分布式数据库22中移动营销数据分析及建模移动终端促销数据业务/手机应用推广23社保审计大数据处理24政策分析模型绩效监测模型分析型监测模型合法性合规性监测模型基础数据统计业务审计、财务审计、复核审计供养比、替代率、基尼系数可持续性、政策一致性等地市区划或行业划分业务流程险种企业职工基本养老保险发放数据A市职工基本医疗保险征缴数据清华大数据中心运营模式25企业研究院生产一线企应用专家组政政府扶持力量海外资源产专家委员会研专业研究人员学师资团队企业化平台合约关系优势：企业化运营独立法人机构研发、实施、运维、服务以现代服务业理念服务于行业需求大数据应用建议正确应