大数据时代的机遇与挑战

,一,二,三,最早提出“大数据时代”是全球著名咨询公司麦肯锡。麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”,纽约时报2012年2月的一篇专栏中所称，“大数据时代”已经降临，在商业、经济及其他领域中，决策将日益基于数据和分析而作出，而并非基于经验和直觉。,2013年被公认为大数据元年：,1、舍恩伯格认为：当前，人类已进人大数据时代。国际数据公司的研究结果表明：2011年全球产生的数据量高达1.82ZB（1ZB=1024EB=10242PB=10243TB=230TB）.,Mayer-SchonbergerV.，CukierKBigData：arevolutionthatwilltransformhowwelive，work，andthinkMBoston：HoughtonMiflinHarcourt，2013,2、2012年3月，奥巴马政府发布了“大数据研究和发展倡议”，拟投资2亿美元，启动“大数据发展计划”，以期在科学研究、环境、生物医学等领域利用大数据技术进行突破。,3、2012年5月，联合国发表大数据促发展：挑战与机遇政务白皮书中，指出大数据对于世界各国是一个历史机遇，探讨如何利用包括社交网络在内的大数据资源造福人类。,大数据时代：生活、工作与思维的大变革一书的作者维克托迈尔舍恩伯格，如是说，“如果个体的人，拒绝大数据时代，可能会失去生命；如果是一个国家，拒绝大数据时代，可能意味着失去这个国家的未来，失去一代人的未来。”,1、什么是大数据？2、大数据有何特点3、大数据时代有何特征？,维克托舍恩伯格认为：大数据是互联网的延续，具有很多丰富的内涵。大数据的主要功能是用于预测，并且数据越大，预测越准确。相对于小数据时代，大数据时代数据的价值体现在反复使用，反复分析与运算之中。,JeeK，KimGHPotentialityofbigdatainthemedicalsector：focusonhowtoreshapethehealthcaresystemJlHealthc.Inform.Res.，2013，19(2)：7985,大数据(bigdata)是指由于容量太大和过于复杂，无法在一定时间内用常规软件对其内容进行抓取、管理、存储、检索、共享、传输和分析的数据集。大数据具有“4V”特征：Volume;数据容量一般在1PB以上；Variety;数据类型繁多，包括结构化、半结构化和非结构化；Velocity;产生与更新速度快，时效性高；Value;蕴含着新知识，以及极其重要的预测价值。,大数据的特点：,大数据时代的标志：,1、智能终端的普及,2、网络带宽的提升,3、电子商务的狂热,4、社交网络流行,5、热点地区预测,6、云计算的兴起,7、物联网时代的到来,全球流量累计达到1EB（即10242TB）的时间：一年（2001）一个月（2004）一周（2007）一天（2013）一天产生的信息量可刻满1.88亿张DVD光盘,大数据时代，数据量究竟有多大？,磁盘发明到现在已近60年，原来的数据存储和现在的数据存储有哪些不同？,1987年，东芝发布了世界上第一个NAND闪存。从2005年到2014年间，MicroSD的容量提升了1000倍。10年1000倍。,1956年，第一块硬盘容量只有5MB，体积比2个冰箱还大。2013年主力硬盘容量是4TB，大小只有3.5。希捷预计，2020年，采用新技术的机械硬盘的容量将达60TB。,1974年的机械硬盘容量只有200MB，重达10磅。而2013年一个东芝512GB的PCIeNAND闪存磁盘，只有一条内存大小。,左边是1981年DEC的机械硬盘，用当时流行的14”的盘片制成。而右边是希捷的微硬盘，尺寸比1.8还小，但容量大得多。,我国网民数量居世界之首，每天产生的数据量也位于世界前列。,2013年，世界范围内大数据总产值保守估计为186亿美元，但广义的大数据应用几乎覆盖所有产业。据麦肯锡公司预测，开放数据仅在教育、保健等7个行业便释放3.25.4万亿美元的经济价值。,机械工程,地理,图书馆学,金融领域,教育领域,互联网领域,政治领域,医疗卫生领域,一,二,三,16,华尔街“德温特资本市场”公司CEO保罗霍廷每天的工作之一就是分析全球3.4亿微博账户的留言，根据结果再决定如何处理手中的股票。他的判断原则很简单：所有人似乎都高兴就买入；如果大家的焦虑情绪上升，那就抛售。,金融领域,金融领域,金融领域,教育领域,教育领域,美国联邦政府教育部2012年参与了一项耗资2亿美元的公共教育中的大数据计划，旨在通过运用大数据分析来改善教育。联邦教育部从财政预算中支出2500万美元，用于理解学生在个性化层面是怎样学习的。,加拿大教育科技公司Desire2Learn已经面向高等教育领域的学生推出了：基于过去学习成绩数据的预测，并得出如何改善未来学习成绩的大数据服务项目。通过监控学生阅读电子化的课程材料、提交电子版的作业、通过在线与同学交流、完成考试与测验，就能让计算程序持续、系统地分析每个学生的教育数据。老师得到的不再是只展示学生分数与作业的结果，而是更为详细的重要信息。,通过大数据分析可以得到解答以下问题：一个学生成绩差是因为周围环境造成的吗？师生每节课互动的时长与频率各为多少，有助于学生吸收知识？期末考试不及格是否说明学生未掌握学习内容，还是因为他请了很多病假的缘故？入学成绩对升学率/辍学率有多大影响？,教育领域,互联网领域,截止2014年1月，国内有2亿手机用户使用百度地图。用户每次位置变化，百度都能得到数据。基于LBS(基于地理位置的服务)平台把定位信息汇总成大数据进行分析，即勾勒出人们的迁徙轨迹。数据每8小时更新一次，囊括了全国铁路、公路和航空在内的线路。,互联网领域,爸爸去哪儿大数据解读,2013年11月，新华社新媒体中心联合数托邦创意分析工作室抓取了新浪微博上提及“爸爸去哪儿”45.5万条原创微博，并对36.7万独立原发作者用户（去除疑似水军账户）、1300余万条用户微博及近1亿的关系进行数据分析。结果发现：爸爸去哪儿不仅成为名副其实的“口碑王”，还使娱乐节目发生了很多微妙变化。,互联网领域,互联网领域,纸牌屋大数据时代成功的典范,纸牌屋是从3000万付费用户的数据中总结收视习惯、选择，仔细分析400万条评论、300万次主题搜索，并对用户喜好精准分析的基础上进行创作的。从受众洞察、受众定位、受众接触到受众转化，每一步都由精准细致高效经济的数据引导，从而实现大众创造的C2B，即由用户需求决定生产。,2012年奥巴马的竞选团队对数以千万计的选民邮件进行数据挖掘，精确预测出更拥护奥巴马的选民类型，并进行了有针对性的宣传，从而帮助奥巴马成为了美国历史上唯一一位在竞选经费处于劣势下实现连任的总统。,政治领域,政治领域,国双数据中心发布的中国政府网站发展数据报告2012中显示：政府网站用户的总体跳出率为63.33%，即有2/3左右的用户来到政府网站之后，仅访问一个页面就离开了网站。,政治领域,2013年10月，济南电子政务数据交换平台正式启用。该平台基于云计算理念，成功将工商、国税、质检、公安、社保等20多个部门数据共享。国税局与地税局通过数据比对，发现了25000条数据差异，落实纳税企业5000多户，补缴税款2700多万元。,政治领域,随着GBT2818-2011安全防范视频监控联网系统信息传输、交换、控制技术要求于2012年6月1日正式生效，基于大数据的城市大联网平台建设已经成为未来几年智慧城市建设的首要任务。,“智慧城市”基于物联网、云计算、大数据处理等技术，旨在构建一个可感知、可预测判断、可数据安全共享、可自动度量、调配的富有生命力的现代城市安全、卫生关系数据系统。,“智慧城市”所具备的基本特征简称“4I”，表述如下：（1）Information（2）Intelligence（3）Innovation（4）Interaction,业务应用层,支撑平台层,移动监控,交通管控,治安管理,刑事侦查,CSS2000云存储平台,IEC3.0计算资源虚拟化平台,流媒体服务器,智能分析服务器,管理服务器,海量视频分析服务器,卡口管理服务器,统一网管,交互感知层,传感装置,高清摄像机,半球摄像机,无线摄像机,一体机与编码器,网络传输层,金盾网,监控专网,广域网,政治领域,2013年两会期间，有代表提议将发展“大数据”上升为国家战略。大数据的发展，将极大地改变政府的管理模式，有利于节约政府投资、加强市场监管能力、提高政府决策能力、提升公共服务能力，实现区域化管理。,大数据背景下，我国电子政务创新模式的转变：1、关注焦点从信息向原始数据转变；2、数据增值从信息公布到数据开放转变；3、协同方式从部门信息独立到部门间数据共享。大数据时代，政治领域的终极目标是：开放数据智慧政府。,医疗卫生领域,2008年，谷歌利用从各国卫生组织获取的数据，制作出一款“全球流感地图”，用于预测世界各地爆发流感疫情的可能性，指导游客安全出行。,两年后，H1N1病毒肆虐全球，谷歌的“全球流感地图”成功派上用场，准确预测出患病高发地区，有效地指导人们进行预防。,医疗卫生领域,SimonI.Hay,DylanB.George,CatherineL.Moyes,JohnS.Brownstein.BigDataOpportunitiesforGlobalInfectiousDiseaseSurveillance.PlosOne.2013.Vol.10(4):e1001413-16.,医疗卫生领域,随着大数据时代的到来，医疗卫生数据领域智能化管理成为时代需要。所谓智能化管理，即为感知、互联、大数据诊断与分析、优质医疗卫生资源共享。这种管理主要基于多种数据结构集成与交互，通过大数据存储、云计算、远程通信等手段，对医院内部数据进行整合，并与国家医疗数据平台进行数据交换，最大程度达到数据共享。这将极大地推动医学与公共卫生事业的发展。,医院信息平台,临床文档存储,电子病历,外科学,HMIS,医院管理系统,医院管理系统,医院管理系统,医院管理系统,核医学,标准外部接口,RIS/PACS,检验LIS,病理,麻醉,手术科,内科学,医校智能化,专家系统,ICU/CCU,国家医疗信息数据平台,医疗卫生领域,大数据对传统医疗卫生领域的影响如下：（1）大数据提高了全球疾病监控的效率；（2）大数据分析加快医学数据从概念走向价值，成为智慧健康的基础；（3）大数据推进个体化医疗的发展；（4）大数据对临床病理产生重大影响；（5）大数据呼唤多学科融合的创新性IT人才。,ChawlaNV，DavisDABringbigdatatopersonalizedhealthcare：apatient-centeredframeworkJJGenInternMed，2013，28Suppl3：s660-665.,李静，顾江：个体化医疗和大数据时代的机遇和挑战J.医学与哲学,2014,Vol.35(1A):5-11.,因此，大数据时代的机遇概括如下：大数据时代，数据的汇聚、分析与利用推动国家和社会向智能化方向快速发展;大数据的快速、高效分析成为企业竞争的新焦点;大数据时代呼唤更多创新型、综合型优秀IT人才。,Opportunities,Challenges?Yes!,BreakingNews1,BreakingNews1,通过智能手机与互联网后门，监听用户私人信息。,BreakingNews2,（1）大数据中有用信息的准确提取；（2）大数据时代，信息安全是一个亟待解决的问题。,舍恩伯格提出了两大挑战：,一、大数据时代有用信息的准确提取,二、大数据时代对信息安全带来挑战,三、主要应对措施,（1）着重培养创新型、多学科交