《新一代信息技术》-第4章 大数据

PARTONE/什么是大数据PARTTWO/大数据起源与发展PARTTHREE/大数据核心技术PARTFOUR/大数据应用领域PARTFIVE/大数据现状与发展趋势目录contents什么是大数据？什么是大数据？一组漫画带你了解什么是大数据。什么是大数据？***宅急送电话铃声响起.什么是大数据？您好？请问您需要我为您服务？你好,我想要一份…什么是大数据？1357178****先生，请先把您的会员卡号告诉我好吗？什么是大数据？你怎么知道我所有电话号码?张先生，您好？您的地址是水木清华小区12栋831，您的电话1357178****,1330917***，您公司电话72148**，您家里电话72583**，请问您用哪个电话付费？什么是大数据？张先生，因为我们联机CRM系统。我想要一个海鲜披萨什么是大数据？为什么？海鲜披萨不太适合您.什么是大数据？那你有什么可以推荐的？根据您的医疗记录，您的胆固醇和血压都偏高.什么是大数据？你怎么知道我喜欢低脂食物？低脂健康披萨.什么是大数据？好的，我要一个家庭大号披萨您上周在国家图书馆借阅了《低脂健康食谱》什么是大数据？为什么？张先生，大号的不够吃哦？什么是大数据？要付多少钱因为您家六口人，来个特大号,咋样？什么是大数据？可以刷卡吗？99元，足够吃了，但您母亲应该少吃，她上周刚做了手术，正在恢复期。什么是大数据？为什么不能刷卡？张先生，对不起，请您付现金。什么是大数据？那我去附近提款机提现。一般是可以的，但您的信用卡已经刷爆了，您现在还欠银行5897，不包括房贷和车贷。什么是大数据？算了，你们直接送我家吧，多久送到？张先生，根据您的记录，您已经超过今日限额了什么是大数据？为什么？大约30分钟，如果您不想等，可以自己开车来取。什么是大数据？好吧根据我们的CRM全球定位系统车辆行驶跟踪记录显示，您驾驶的尾号BJ-458的车辆正在银泰百货停车场，距离我们的店仅50米什么是大数据？这就是大数据!什么是大数据大数据的定义;“大数据(bigdata)”，IT行业术语或称巨量资料，是指无法在一定时间范围内用常规软件进行捕捉、管理和处理的数据集合，是需要全新的处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高速增长率和多样化的信息资产，大数据就是“未来的新石油”什么是大数据大数据意义将数据资源利用各类手段统一协调成一个有机整体，然后利用不同的可视化分析工具直观呈现给用户，让其通俗易懂的发现数据中的一些关键因素点，保障相关人员提升工作效率及分析数据核心指标，并且会为企业带来收益价值。什么是大数据大数据意义想象一下这样的场景，当顾客在地铁候车时，墙上有某一零售商的巨幅数字屏幕广告，可以自由浏览产品信息，对感兴趣的或需要购买的商品用手机扫描下单，约定在晚些时候送到家中。而在顾客浏览商品并最终选购商品后，商家已经了解顾客的喜好及个人详细信息，按要求配货并送达顾客家中。什么是大数据大数据意义在用户浏览选购商品时，企业收集的各种信息非常重要，对于这些信息数据的收集进行分析，能够了解顾客行为偏好操作制造更好的营销方案，帮助企业精准定位客户，还能够从中挖掘更多的商业机会以了解市场动态。什么是大数据大数据意义未来，甚至顾客都不需要有任何购买动作，利用之前购买行为产生的大数据，当你的沐浴露剩下最后一滴时，你中意的沐浴露就已送到你的手上，而虽然顾客和商家从未谋面，但已如朋友般熟识。第一节

了解大数据起源与发展什么是大数据大数据的定义;“大数据(bigdata)”，IT行业术语或称巨量资料，是指无法在一定时间范围内用常规软件进行捕捉、管理和处理的数据集合，是需要全新的处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高速增长率和多样化的信息资产，大数据就是“未来的新石油”大数据起源“结绳记事”开辟文明之路“文以载道”的近代文明以“数据建模”为核心的现代科学以电子计算机为代表的现代信息技术人类掌握数据、处理数据的能力才实现了质的飞跃大数据起源

“大数据”这一概念起源自互联网，大数据的目的是为了更好了解客户喜好，它将海量碎片化的数据信息进行加工、筛选，并最终归纳整理出企业所需的咨询，而这些海量的数据正是来自于互联网。大数据起源大数据起源

美国高性能计算公司SGI的首席科学家约翰·马西（John Mashey）在一个国际会议报告中指出：随着数据量的快速增长，必将出现数据难理解、难获取、难处理和难组织等四个难题，并用“Big Data（大数据）”来描述这一挑战，在计算领域引发思考。大数据起源拓展知识数据资产化数据资产化，在大数据时代，数据不仅仅是一种“资源”，更是一种“资产”，应该把数据当作一种资产来进行管理，而不仅仅是作为资源来对待，和其他的资产一样，数据资源同样具有财务价值，需要作为独立实体进行组织与管理。探秘大数据发展2007年，数据库领域的先驱人物吉姆.格雷（JimGray）2012年，牛津大学教授维克托.迈尔-舍恩伯格大数据于2012、2013年达到其宣传高潮2014年后概念体系逐渐成形2019年10月30日，中国人大网发布《大数据：发展现状与未来趋势》“大数据是信息化发展的新阶段，以推动大数据技术产业创新发展、构建以数据为关键要素的数字经济为抓手，运用大数据提升代化水平及保障数据安全”。熟悉大数据特征规模性（Volume）大数据中的数据不再是传统意义中的以GB、TB为单位来衡量，而是PB、EB、ZB为计量单位价值性（Value）从大量不相关的各种类型的数据中。挖掘出对未来趋势与模式预测分析有价值的数据高速性（Velocity）区分于传统数据挖掘最显著的特征。大数据要求的数据规模更大，处理数据的响应速度要求更严格。多样性（Variety）数据的多样性主要体现在数据来源多、数据类型多和数据之间关联性强这三个方面思考与练习讨论：什么是大数据？大数据解决了什么问题？大数据和海量数据有什么区别？第二节

掌握大数据核心技术大数据的生命周期大数据存储大数据预处理大数据采集大数据分析大数据采集Sqoop和ETL，传统的关系型数据库MySQL和Oracle等数据库采集网络数据采集网络爬虫或网站公开API，从网页获取非结构化或半结构化数据，并将其统一结构化为本地数据的数据采集方式实时文件采集和处理技术flume、基于ELK的日志采集和增量采集等文件采集大数据预处理数据清理指利用ETL等清洗工具，对有遗漏数据（缺少感兴趣的属性）、噪音数据（数据中存在着错误、或偏离期望值的数据）、不一致数据进行处理。数据规约在最大限度保持数据原貌的基础上，最大限度精简数据量，以得到较小数据集的操作，包括：数据立方体聚集、维规约、数据压缩、数值规约、概念分层等。数据转换是指对所抽取出来的数据中存在的不一致，进行处理的过程。它同时包含了数据清洗的工作，即根据业务规则对异常数据进行清洗，以保证后续分析结果准确性。数据集成将不同数据源中的数据，合并存放到统一数据库的，存储方法，着重解决三个问题：模式匹配、数据冗余、数据值冲突检测与处理。大数据存储020301改善方案基于MPP架构的新型数据库集群高效分布式计算模式采用SharedNothing架构+MPP架构。重点面向行业大数据所展开的数据存储方式，采用列存储、粗粒度索引等多项大数据处理技术。成本低、性能高、扩展性高，广泛应用于企业分析。基于Hadoop的技术扩展和封装Hadoop解决了传统关系型数据库无法存储和处理非结构化数据的弊病，Hadoop以其开源优势和善于处理非结构、半结构化数据、复杂的ETL流程、复杂的数据挖掘和计算模型等相关特性，应用前景广泛，最为典型的应用场景是通过扩展和封装Hadoop来实现对互联网大数据存储、分析的支撑，其中涉及了几十种NoSQL技术。专为大数据的分析处理而设计的软、硬件结合的一种产品。它由一组集成的服务器、存储设备、操作系统、数据库管理系统，以及为数据查询、处理、分析而预安装和优化的软件组成，具有良好的稳定性和纵向扩展性。大数据一体机拓展知识结构化数据:结构化数据也称作行数据，是由二维表结构来逻辑表达和实现的数据，严格地遵循数据格式与长度规范，主要通过关系型数据库进行存储和管理。非结构化数据:非结构化数据是数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据。包括所有格式的办公文档、文本、图片、XML,HTML、各类报表、图像和音频/视频信息等。结构化数据和非结构化数据拓展知识hadoop的优缺点优缺高可靠性（假设计算的元素和存储会出现故障,因此会维护多个副本,在出现故障的时候可以对节点重新分配数据）、高扩展性（可以在集群中分配任务数据,方便扩展数以千计的节点）、高效性（在MapReduce思想下,Hadoop是并行工作的,提高任务的处理速度）不能进行实时的处理,给出的结果没有实时性,效率较慢hadoop目前可以做的是离线的数据分析处理,虽然每次会产生磁盘文件,速度比较慢,但相对稳定,对于大量的对数据的实时性不高的数据,使用hadoop很稳定大数据分析可视化分析指借助图形化手段，清晰并有效传达与沟通信息的分析手段。数据挖掘算法通过创建数据挖掘模型，对数据进行试探和计算、数据分析手段。预测性分析通过结合多种高级分析功能，达到预测不确定事件的目的。数据质量管理对数据全生命周期的每个阶段中可能引发的各类数据质量问题，进行识别、度量、监控、预警等操作，以提高数据质量的一系列管理活动。语义引擎通过为已有数据添加语义的操作，提高用户互联网搜索体验。第三节

大数据应用领域大数据应用领域近年来各地云计算、大数据中心如雨后春笋般不断建立和完善，用大数据代替人工做出相应的判断，能更好的解决现实的问题，大数据的应用已经惠及生活的方方面面。大数据时代引领未来数据，已经渗透到每一个行业和业务领域洞见本质，预测趋势，指引未来是大数据时代的核心用未来牵引现在，用现在保证未来电商行业最早利用大数据进行精准营销的是电商行业，它根据客户的消费习惯进行数据分析，预测流行趋势，消费趋势、地域消费特点、客户消费习惯、各种消费行为等，提前准备生产资料、物流管理等，有利于精细社会大生产。金融行业大数据分析可以帮助金融机构以数据为基础，对现象分析和预测，精准地对市场变化做出反应。大数据可以帮助金融机构识别客户需求，量身打造金融产品。通过大数据底层平台建设，并实现文字、图片和视频等更加多元化数据的存储分析，有效提升金融结构数据资产管理能力。大数据技术可以帮助金融机构通过客户相关数据信息分析，识别可疑信息和违规操作，规避风险。医疗行业如果未来基因技术发展成熟，可以根据病人的基因序列特点进行分类，建立医疗行业的病人分类数据库。在医生诊断病人时可以参考病人的疾病特征、化验报告和检测报告，参考疾病数据库来快速帮助病人确诊，明确定位疾病。在制定治疗方案时，医生可以依据病人的基因特点，调取相似基因、年龄、人种、身体情况相同的有效治疗方案，制定出适合病人的治疗方案，帮助更多人及时进行治疗。同时这些数据也有利于医药行业开发出更加有效的药物和医疗器械。病菌、病毒，以及肿瘤细胞，不但数目及种类繁多，而且处于不断的进化的过程中。在发现诊断疾病时，疾病的确诊和治疗方案的确定是最困难的。医疗行业拥有大量的病例，病理报告，治愈方案，药物报告等等数据资源，在未来，借助于大数据平台我们可以收集不同病例和治疗方案，以及病人的基本特征，建立针对疾病特点的数据库。农牧渔农牧渔领域应用大数据分析，有计划展开生产，降低菜贱伤农的概率。也可以精准预测天气变化，帮助农民做好自然灾害的预防工作，也能够提高单位种植面积的高产出；牧农也可以根据大数据分析安排放牧范围，有效利用农场，减少动物流失；渔民也可以利用大数据安排休渔期、定位捕鱼等，同时，也能减少人员损伤。生物技术基因技术是人类未来挑战疾病的重要武器，科学家可以借助大数据技术的应用，从而也会加快自身基因和其它动物基因的研究过程，这将是人类未来战胜疾病的重要武器之一，未来生物基因技术不但能够改良农作物，还能利用基因技术培养人类器官和消灭害虫等。智慧城市大数据还被应用改善我们日常生活的城市。例如基于城市实时交通信息、利用社交网络和天气数据来优化最新的交通情况。目前很多城市都在进行大数据的分析和试点。改善安全和执法大数据现在已经广泛应用到安全执法的过程当中。想必大家都知道美国安全局利用大数据进行恐怖主义打击，甚至监控人们的日常生活。而企业则应用大数据技术进行防御网络攻击。警察应用大数据工具进行捕捉罪犯，信用卡公司应用大数据工具来拦截欺诈性交易。大数据应用典型案例助力疫情防控助力精准扶贫助力大学生创业大数据助力疫情防控迅速锁定“涉疫”人员流动轨迹，开展疫情发展态势预测与溯源推动病例诊断与疫情研究有力支持疫情防控知识传播

助力地方政府科学精准施策

。大数据助力精准扶贫精准脱贫即精准摆脱贫困。中共中央要求实现精准脱贫，防止平均数掩盖大多数。精准扶贫2014年12月11日闭幕的中国中央经济工作会议透出了2015年经济工作的一系列新动向。在扶贫方面，要求实现精准脱贫，防止平均数掩盖大多数，要求更加注重保障基本民生，更加关注低收入群众生活。

2017年10月18日，习近平同志在十九大报告中指出，要坚持精准脱贫。大数据助力精准扶贫“陕西精准扶贫大数据”App是立足于本地经济发展特点和本地扶贫工作的特殊要求，推出的一款立足于大数据分析的APP。是针对陕西省驻村扶贫干部打造的移动办公应用，使用这款软件可以及时的接收最新的扶贫政策资讯，及时的录入扶贫对象信息，并进行核实和统计，做好脱贫攻坚工作。精准扶贫

根据政策解读、范围控制、分级负责、动态管理、一户一策、实时监控、脱贫追踪的原则，帮助各级政府扶贫部门对每一个贫困县、乡、村、户、人口建立全面的档案信息，推进专项扶贫，深入分析致贫原因、逐村逐户制定脱贫措施。全力实现扶贫对象精确化、资金使用透明化、扶贫措施多样化、扶贫责任明确化、扶贫效果显著化，提高扶贫工作的可控性和操作性。大数据助力精准扶贫软件功能：1.新闻搜索新闻公告页面，增加“搜索”功能，可以快速查找新闻或公告。2.贫困户常驻地位置增加“常驻地位置”功能。通过编辑贫困户常驻地位置，补充完善贫困户家庭位置信息。3.一键分享增加“一键分享”功能，可通过微信、微信朋友圈、Qq、新浪微博等工具将精准扶贫App分享给他人。4.到村签到优化到村签到功能，如果系统自动获取位置不详细，可以“选择”附近位置或“搜位”查找更详细、更准确位置。大数据助力精准扶贫大数据助力大学生创业青创园与北京银行的合作就开创了一种新颖的模式，这种模式使用大数据信息，利用一个客户端“双创服务平台”为银行与创业者之间搭起了桥梁。在双创服务平台的基础上增添金融科技功能，用人工智能企业大数据以及物联网技术解决上述问题，并得到北京银行的支持，为园区企业授信，园区接下来会推动更多的科技金融产品和文化金融产品落地，充分利用双创的数据平台为银企对接做好服务。”课后思考讨论：了解下个人征信报告大数据，如何提高个人征信？第四节

大数据现状与发展趋势了解大数据的发展现状全球范围内，研究发展大数据技术、运用大数据推动经济发展、完善社会治理、提升政府服务和监管能力正成为趋势。了解大数据的发展现状在大数据应用的实践中，描述性、预测性分析应用多，决策指导性等更深层次分析应用偏少。大数据治理体系远未形成大数据时代随之而来的就是隐私保护、数据安全与数据共享利用效率三者之间的矛盾，大数据作为战略资源的地位日益凸显，人们越来越强烈地意识到制约大数据发展最大的短板之一就是：数据治理体系远未形成。数据资产地位归属尚未明确，数据的流通、管控面临诸多问题，数据壁垒广泛存在，阻止了数据的开放和共享，相关的法律法规发展滞后，导致大数据应用存在安全隐患，严重制约了数据资源中所蕴含价值的挖掘与转化。大数据治理体系远未形成

人工智能应用取得的重要进展，主要源于对海量、高质量数据资源的分析和挖掘。对于单一组织机构而言，很难靠自身的积累聚集足够的高质量数据。大数据应用的威力源自于多源数据的处理融合和深度分析，从而获得不通角度、全方位视图，单一的系统的数据只能包含事物片面、局部的信息，在此背景下，十分迫切需要开放数据共享。只有通过共享开放和数据跨域流通才能建立信息完整的数据集。然而，数据的无序流通与共享，又可能导致隐私保护和数据安全方面的重大风险，必须对其加以规范和限制。迫切需要出台相关的法律法规来约束。拓展知识：大数据相关法规网络安全法规网络安全法规网络安全法规2018年5月25日欧盟制定了“史上最严格的”数据安全管理法规《通用数据保护条例》2020年1月1日，被称为美国“最严厉、最全面的个人隐私保护法案”——《加利福利亚消费者隐私法案》（CCPA）将正式生效2016年11月7日，全国人大常委会通过的《中华人民共和国网络安全法》网络安全法规《中华人民共和国网络安全法》自2017年6月1日起施行如何兼顾发展和安全，平衡效率和风险，在保障安全的前提下，不因噎废食，不对大数据价值的挖掘利用造成过分的负面影响。未来很长一段时间我们的努力方向将是大数据治理体系建设。共同课题课后思考上网查询了解，大数据时代涉及的安全防护技术，对于你的个人信息你采用了哪些防护