数据基础及分析 10

Python爬虫、数据清洗和数据可视化大数据分析大数据与人工智能技术丛书本章学习目标了解大数据的定义了解大数据的特征及技术框架掌握不同数据分类了解大数据与云计算的关系了解大数据与人工智能的关系了解发展大数据的意义了解大数据在我国的发展现状第一章大数据介绍大数据（bigdata），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。什么是大数据？大数据时代的概念最早是全球知名咨询公司麦肯锡提出的，2006年麦肯锡提出了大数据概念。何为“大数据”？大数据的发展主要历经了三个阶段，出现阶段、热门阶段和应用阶段。1、出现阶段（1980-2008）2、热门阶段（2009-2012）3、应用阶段（2013-2016）大数据发展经历大数据简介1.1大数据概述大数据简介BIGDATA2015年国务院正式印发《促进大数据发展行动纲要》，《纲要》明确指出要不断的推动大数据发展和应用，在未来打造精准治理、多方协作的社会治理新模式，建立运行平稳、安全高效的经济运行新机制，构建以人为本、惠及全民的民生服务新体系，开启大众创业、万众创新的创新驱动新格局，培育高端智能、新兴繁荣的产业发展新生态。2015年，大数据“十三五”规划出台，《规划》通过定量和定性相结合的方式提出了2020年大数据产业发展目标。在总体目标方面，提出到2020年，技术先进、应用繁荣、保障有力的大数据产业体系基本形成，大数据相关产品和服务业务收入突破1万亿元，年均复合增长率保持30%左右。A大数据相关政策B大数据的影响当数据量不断增长和累积到今天，传统的三种范式在科学研究，特别是一些新的研究领域已经无法很好的发挥作用，需要有一种全新的第四种范式来指导新形势下的科学研究。这种新的范式就是从以计算为中心，转变到以数据处理为中心，确切的说也就是数据思维。人类在科学研究上先后历经了实验、理论和计算三种范式。大数据对思维方式的影响人们处理的数据从样本数据变成全部数据。由于是全样本数据，人们不得不接受数据的混杂性，而放弃对精确性的追求。传统的数据分析为了保证精确性和准确性，往往采取抽样分析来实现。在大数据时代，往往采取全样分析而不再采用以往的抽样分析。人类通过对大数据的处理，放弃对因果关系的渴求，转而关注相关关系。大数据对科学活动的影响大数据的影响大数据激发内需的剧增，引发产业的巨变。生产者具有自身的价值，而消费者则是价值的意义所在。有意义的东西才会有价值，消费者如果不认同，就卖不出去，价值就实现不了；消费者如果认同，就卖得出去，价值就得以体现。大数据可以帮助人们从消费者这里分析意义所在，从而帮助生产者实现更多的价值。在大数据时代，不管是物理学、生物学、环境生态学等领域，还是军事、金融、通信等行业，数据正在迅速膨胀，没有一个领域可以不被波及。“大数据”正在改变甚至颠覆着人们所处的整个时代，对社会发展产生了方方面面的影响。大数据对社会发展的影响大数据对就业市场的影响随着对大数据认识的不断加深，人们认为大数据一般具有四个特征大数据中的数据量大，就是指的海量数据。大数据之“大”还表现在其采集范围和内容的丰富多变，能存入数据库的不仅包含各种具有规律性的数据符号，还囊括了各种如图片、视频、声音等非规则的数据。（1）数据产生得快。（2）数据处理得快数据产生速度快数据量大大数据包括结构化数据、半结构化数据和非结构化数据。随着互联网以及物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，如何结合业务逻辑并通过强大的机器算法来挖掘数据价值，是大数据时代最需要解决的问题。数据价值密度低数据类型繁多大数据的特征01020304大数据的特征数据类型繁多2012年一季度2012年二季度2012年三季度销售费用财务费用管理费用账套3账套2账套1切片切块旋转上卷下钻结构化数据OLAP分析大数据的特征非结构化数据处理分析技术文本数据图像数据语音数据视频数据流数据数据类型繁多大数据的特征大数据征信系统大数据爬虫应用大数据应用大数据关键技术大数据采集物联网感知技术可穿戴设备技术校园一卡通技术01

物联感知类技术采集：学生学习行为数据、设备状态数据、学生体质数据、学生生活数据。采集：学生学习过程中的情感数据、校园安全数据、课堂教学数据。视频监控技术智能录播技术情感识别技术02视频录制类技术采集：各种在线与管理数据、采集移动学习过程数据、运维日志与用户日志数据、采集教育网络舆情数据。网评网阅技术点阵数码笔技术拍照搜题技术03图像识别类技术采集：各种在线与管理数据、采集移动学习过程数据、运维日志与用户日志数据、采集教育网络舆情数据。日志搜索分析技术在线学习与管理平台技术移动APP技术网络爬虫采集技术04平台采集类技术大数据预处理数据清理：用来清除数据中的噪声，纠正不一致。数据处理数据归一化数据存储数据预处理高线运算实时查询输出结果或展示数据预处理技术主要包含以下几点：数据集成：将数据由多个数据源合并成一个一致的数据存储，如数据仓库。数据归约：通过如聚集、删除冗余特征或聚类来降低数据的规模。数据变换：把数据压缩到较小的区间，如[0,1]，可以提高涉及距离度量的挖掘算法的准确率和效率。大数据关键技术分布式键值系统用于存储关系简单的半结构化数据。典型的分布式键值系统有AmazonDynamo，以及获得广泛应用和关注的对象存储技术（ObjectStorage）也可以视为键值系统，其存储和管理的是对象而不是数据块。分布式文件系统分布式键值系统存储管理需要多种技术的协同工作，其中文件系统为其提供最底层存储能力的支持。分布式文件系统HDFS是一个高度容错性系统，被设计成适用于批量处理，能够提供高吞吐量的的数据访问。大数据存储大数据关键技术大数据分析挖掘大数据分析与挖掘主要包含两个内容：可视化分析与数据挖掘算法的选择。可视化分析不论是分析专家，还是普通用户，在分析大数据时，最基本的要求就是对数据进行可视化分析。经过可视化分析后,大数据的特点可以直观地呈现出来，将单一的表格变为丰富多彩的图形模式，简单明了、清晰直观，更易于读者接受。大数据挖掘算法的选择在大数据分析中的理论核心就是数据挖掘算法，数据挖掘的算法多种多样，不同的算法基于不同的数据类型和格式会呈现出数据所具备的不同特点。各类统计方法都能深入数据内部，挖掘出数据的价值。数据挖掘算法是根据数据创建数据挖掘模型的一组试探法和计算。大数据关键技术大数据查询与分析计算：HBase、Hive、Cassandra、Premel、Impala、Shark、Hana、Redis。批处理计算：

MapReduce、Spark。流式计算：Scribe、Flume、Storm、S4、SparkStreaming。迭代计算：HaLoop、iMapReduce、Twister、Spark。图计算：Pregel、PowerGrapg、GraphX。内存计算：Dremel、Hana、Redis。大数据计算模式谷歌大数据计算模式大数据计算模式对应系统大数据查询与分析计算：HBase、Hive、Cassandra、Premel、Impala、Shark、Hana、Redis。批处理计算：

MapReduce、Spark。流式计算：Scribe、Flume、Storm、S4、SparkStreaming。迭代计算：HaLoop、iMapReduce、Twister、Spark。图计算：Pregel、PowerGrapg、GraphX。内存计算：Dremel、Hana、Redis。大数据计算模式对应的系统如下所示。批处理系统ApacheHadoop是一种专用于批处理的处理框架，Hadoop是首个在开源社区获得极大关注的大数据框架。处理非常巨大的数据集时，批处理系统是最有效的。批处理的过程包括将任务分解为较小的任务，分别在集群中的每个计算机上进行计算，根据中间结果重新组合数据，然后计算和组合最终结果。批处理是一种用来计算大规模数据集的方法。大数据框架流处理系统大数据框架流处理系统是指用于处理永不停止的接入数据的系统，与批处理系统所处理的数据不同之处在于，流处理系统并不对已经存在的数据集进行操作，而是对从外部系统接入的的数据进行处理。流处理系统可以分为两种。逐项处理：每次处理一条数据，是真正意义上的流处理。微批处理：这种处理方式把一小段时间内的数据当作一个微批次，对这个微批次内的数据进行处理。ApacheStorm是一种侧重于低延迟的流处理框架，它可以处理海量的接入数据，以近实时方式处理数据。Storm延时可以达到亚秒级。这种框架不仅可以提供处理数据所需的方法，而且提供了自己的集成项、库、工具，可胜任图形分析、机器学习、交互式查询等多种任务。当前主流的混合处理框架主要为Spark和Flink。混合处理系统大数据框架一些处理框架可同时处理批处理和流处理工作负载。这些框架可以用相同或相关的组件和API处理两种类型的数据，借此让不同的处理需求得以简化，这就是混合处理系统。混合出来系统意在提供一种数据处理的通用解决方案。如果将云计算与大数据进行一些比较，最明显的区分在两个方面：海量数据存储分布式并行计算海量数据管理提供机遇海量业务数据的创新型服务通过云计算技术的不断发展降低大数据业务的成本SaaS(软件及服务）PaaS(平台即服务)IaaS(基础设施即服务)大数据云计算大数据与云计算0102在概念上两者有所不同，云计算改变了IT，而大数据则改变了业务。然而大数据必须有云作为基础架构，才能得以顺畅运营。大数据和云计算的目标受众不同，云计算是CIO等关心的技术层，是一个进阶的IT解决方案。而大数据是CEO关注的、是业务层的产品，而大数据的决策者是业务层。概念区分目标受众区分操作日志交易数据位置信息系统日志图片应用日志视频数据库日志文档人工智能行为个人信用安全习惯健康企业人工智能可学习大量大数据，高效分析挖掘出数据价值。在概念上两者有所不同，大数据和云计算可以理解为技术上的概念，人工智能是应用层面的概念，人工智能的技术前提是云计算和大数据。

在实现上，大数据主要是依靠海量数据来帮助人们对问题作出更好的判断和分析，而人工智能一种计算形式，它允许机器执行认知功能，例如对输入起作用或作出反应，类似于人类的做法，并能够替代人类对认知结果作出决定。如果将大数据与人工智能进行一些比较，最明显的区分在两个方面：大数据与人工智能工作汇报概念区分形式区分010201经典比特与量子比特量子计算的原理是这样的：一个量子位（也叫做量子比特，hi量子计算和量子新的基本概念，目前可以用光子、电子、原子等实现）可以同时表示0和1，也就是说，有一定的概率是0，有一定的概率是1，概率和是1。而如果人们使用设备测量，测量本身会对量子位造成影响，使得量子位的确切地变成0或者1。测量一个量子位若干此，大概会出现50%几率是1,50%几率是是0，机会均等，测量次数越多，概率越稳定。图1-10显示了经典比特与量子比特，在经典比特中的状态只会出现0或者1，就像一枚硬币，不是正面朝上，就是反面朝上。而在量子比特中测量时则各有50%的概率得到0或者1态，也就是说，量子比特被检测之前一直处于介于|0>和|1>之间的一个连续态。而测量时，仅概率性的给出0或1作为检测结果。01020304大数据与量子计算大数据的国家战略意义大数据是一个事关我国经济社会发展全局的战略性产业，大数据技术为社会经济活动提供决策依据，提高各个领域的运行效率，提升整个社会经济的集约化程度，对于我国经济发展转型具有重要的推动作用。如何应对大数据时代的到来已经成为了每一个企业需要面对的问题。2016-2021年中国大数据市场规模预测趋势图1.2大数据的意义大数据的企业意义应用于服务层结果预测（云标签、聚类图、空间信息流、关系图）模型呈现（模型预测、机器学习、建模仿真）数据流分析与挖掘层数据分析（基础分析、多位分析、数据挖掘、实时分析、自助分析、数据共享）数据挖掘（分类、估计、预测相关性分组复杂数据类型挖掘）组织与管理层数据管理（云储存、分布式文件系统）数据存储（关系数据库、NOSQL、SQL）产生与聚集层数据预处理（提取、清洁、标注、转换、加载）数据采集（云化ETL、流数据处理、爬虫）数据源互联网、物联网、企业数据、政府数据等数据标准数据安全IT基础1.3大数据的产业链分析基础支撑可视化监控游戏设计支撑运营活动支撑数据收集定制提取KPI追踪游戏活动监控………