《大数据导论》课件第1章 绪论

第1章绪论提纲1.1什么是大数据1.2相关术语1.3大数据的应用、挑战与变革1.4大数据所涉及的技术1.5物联网、云计算与大数据1.6数据科学与大数据1.1什么是大数据1.1.1大数据的由来随着以博客、社交网络、基于位置的服务LBS为代表的新型信息发布方式的不断涌现，以及云计算、物联网等技术的兴起，数据正以前所未有的速度在不断的增长和累积，大数据时代已经来到。根据IDC作出的估测，数据一直都在以每年50%的速度增长，也就是说每两年就增长一倍（大数据摩尔定律）。这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量。1980年，美国著名未来学家阿尔文·托夫勒的《第三次浪潮》一书中出现“大数据”（BigData）一词，将大数据称为“第三次浪潮的华彩乐章”。2008年9月4日出版的《自然》杂志第455卷第7209期推出了名为“大数据”的封面专栏1.1.1大数据的由来1.1.2大数据的特点大约从2009年开始，“大数据”才成为互联网信息技术行业的流行词汇。人类社会的数据产生方式大致经历了3个阶段，而正是数据产生方式的巨大变化才最终导致大数据的产生。

1、运营式系统阶段。

2、用户原创内容阶段。3、感知式系统阶段。简单来说，数据产生经历了被动、主动和自动三个阶段。这些被动、主动和自动的数据共同构成了大数据的数据来源，但其中自动式的数据才是大数据产生的最根本原因。一般而言，大家比较认可关于大数据的4V说法。大数据的4个“V”，或者说是大数据的四个特点，包含四个层面：第一，数据体量巨大。从TB级别，跃升到PB级别；第二，数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。第三，价值密度低，商业价值高。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。第四，处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。业界将其归纳为4个“V”——Volume，Variety，Value，Velocity。1.1.1

大数据的由来

舍恩伯格的《大数据时代》受到了广泛的赞誉，他本人也因此书被视为大数据领域中的领军人物。在舍恩伯格看来，大数据一共具有三个特征：（1）全样而非抽样；但有了云计算和数据仓库以后，获取足够大的样本数据乃至全体数据，就变得非常容易了。（2）效率而非精确；但在样本=总体的大数据时代，“快速获得一个大概的轮廓和发展脉络，就要比严格的精确性要重要得多”。（3）相关而非因果。舍恩伯格认为，大数据时代只需要知道是什么，而无需知道为什么，就像亚马逊推荐算法一样，知道喜欢A的人很可能喜欢B但却不知道其中的原因。1.1.2大数据的特点“大数据”的奥秘不在于它的“大”，而在于“新数据与传统知识之间的”矛盾日益突出。大数据并不等同于“小数据的集合”。从小数据到大数据中出现了“涌现现象”，“涌现”才是大数据的本质特征。所谓涌现（Emergence）是指系统大于元素之和，或者说系统在跨越层次时，出现了新的质1.1.3大数据的奥秘价值涌现。大数据中的某个成员小数据可能没有什么价值，但由这些小数据组成的大数据会很用价值。隐私涌现。大数据中的成员小数据可能不涉及隐私（非敏感数据），但由这些小数据组成的大数据可能严重威胁个人隐私（敏感数据）。质量涌现。大数据中的成员小数据可能有质量问题（不可信的数据），如缺少、冗余、垃圾数据的存在，但不影响大数据的质量（可信的数据）。安全涌现。大数据中的成员小数据可能不涉及安全问题（不带密级的数据），但如果将这些小数据放在一起变成大数据之后，很可能影响到机构信息安全、社会稳定甚至国家安全（带密级的数据）。1.1.3大数据的奥秘1.2相关术语1.2.1从数据到智慧1Byte(B)相当于一个英文字母1Kilobyte(KB)=1024B（千）相当于一则短篇故事的内容1Megabyte(MB)=1024KB（兆）相当于一则短篇小说的文字内容1Gigabyte(GB)=1024MB（吉）相当于贝多芬第五交响曲的乐谱内容1Terabyte(TB)=1024GB（太）相当于一家大型医院中所有X光图片内容1Petabyte(PB)=1024TB（拍）相当于50%全美学术研究图书馆藏书信息1Exabyte(EB)=1024PB（艾）相当于美国国会图书馆中所有书面资料的十万倍1Zettabyte(ZB)=1024EB（泽）如同全世界海滩上的沙子数量的总和1YottaByte(YB)=1024ZB（尧）1024个像地球一样的星球上的沙子数量总和DIKW模型（DatatoInformationtoKnowledgetoWisdomModel）是一个可以帮助我们理解数据（Data）、信息（Information）、知识（Knowledge）和智慧（Wisdom）之间关系的模型，它向我们展现了数据是如何一步步转化为信息、知识、乃至智慧的。

1.2.1从数据到智慧

1.2.2结构化与非结构化数据

从数据格式的角度对数据加以区分的1、结构化数据

一般是指可以存储在数据库中，用二维表结构来逻辑表达实现的数据。2）非结构化数据相对于结构化数据，一般将不方便用二维表结构来表现的数据即称为非结构化数据，具体可细分为：半结构化数据

介于完全结构化数据和完全无结构化数据之间的数据，半结构化数据格式较规范，一般是纯文本数据，可以通过某种方式解析得到每项数据。最常见的是日志数据、XML、JSON等格式数据。

1.2.2结构化与非结构化数据

无结构化数据

指非纯文本类数据，没有标准格式，无法直接解析出相应的值。常见的有富文本格式文档（RichTextFormat，简称RTF）、多媒体（图像、声音、视频等）。

富文本不同于普通文本之处在于其文本包含多种格式如颜色、字体大小等，富文本通常由富文本编辑产生，

1.2.2结构化与非结构化数据

1.3大数据的应用、挑战与变革大数据的出现改变了传统数据收集、存储、处理挖掘的方式，数据采集方式更加多样化，数据来源更加广泛、多样化，数据处理方式也由简单因果关系转向发现丰富联系的相关关系，同时，大数据还能基于历史数据分析，提供市场预测，促成决策。具体来说，大数据通过“量”提升了数据分析对“质”的宽容度；使技术与算法从“静态”走向“持续”；实现了从数据到价值的高效转化；降低了数据分析的成本门槛。

大数据的应用

1.大数据在工业中的应用在工业企业中，生产线处于高速运行状态，工业设备产生、采集和处理的数据量远远大于企业计算机和人工生成的数据，其中大部分是数据类型中的非结构化数据，生产线的高速运行也需要更高的实时数据，因此，大数据在工业领域中的应用前景巨大，但也需面临许多问题和挑战。2.大数据在农业中的应用

农业大数据是融合了农业地域性、季节性、多样性、周期性等自身特征后产生的来源广泛、类型多样、结构复杂、具有潜在价值，并难以应用通常方法处理和分析的数据集合。它保留了大数据自身具有的规模巨大、类型多样、价值密度低、处理速度快、精确度高和复杂度高等基本特征外，还使农业内部的信息流得到了延展和深化。根据农业的产业链条划分，目前农业大数据主要集中在农业环境与资源、农业生产、农业市场和农业管理等领域。

大数据的应用

3.大数据在服务业中的应用1）大数据缓解交通拥堵2）大数据守护轨道交通安全3）大数据优化物流资源配置

大数据的应用

3.大数据在服务业中的应用1）大数据缓解交通拥堵2）大数据守护轨道交通安全3）大数据优化物流资源配置4.大数据在体育界的应用

未来，竞技体育中的体征数据（心率、血压、血氧）、环境数据（天气、场馆地面、球门、球框）、装备数据（场上运动员的装备及能力），乃至运动员的心态数据都将逐步涌现出来。这些数据将协助制定更有针对性的训练计划，并且结合诸如球员心理状态和医疗进度等方面的信息，最终将所有这些数据整合到统一的系统解决方案之中。

大数据的应用

5.大数据在医药业中的应用

医药行业作为与民众生命健康密不可分的行业，其重要性不言而喻，大数据在医药行业的应用不仅关乎医药产业的发展，还影响着民众的生命健康，具有极为重要的意义。通过大数据采集和挖掘，医药企业可以拓宽市场调研数据的广度和深度，并通过大数据模型分析，掌握医药行业市场构成及变化趋势、细分市场的特征、消费者需求和竞争者经营状况等众多因素，并可对未来的市场作出一定的预测

大数据的应用

1.成本挑战。运营商普遍受到腾讯、阿里巴巴等互联网厂商的OTT应用的挤压，面临着管道转型、利润下降的风险。而运营商的数据量巨大，以PB为基本单位的数据，处理起来需要巨大的投入。外部商业环境和内部规模的双重挤压，对大数据平台提出了很高的性能和成本要求。

大数据的挑战

2.实时性挑战。

如果从广义的数据质量角度看，随着时间的推移，数据的价值将逐渐降低，时间越久的数据，价值越低。举个例子，一家商场需要对当前在商场内的客户做一个推荐活动。但是端到端采集和处理数据的时间过长，最后推荐平台得到的用户列表都是过期的列表，列表上的名单可能已经不在商场内，而新到的用户还没有更新到名单中，所以很多业务对大数据平台端到端的实时性提出了很高的要求。

大数据的挑战

3.安全挑战。

安全挑战体现在两个方面：一方面是在技术上，随着HTTPS的推广应用，数据在传输过程中采管理加密的方式，运营商作为管道获取数据的难度变得越来越大。另一面是在法理上，用户的哪些数据是可以获取、哪些是不允许读取，始终存在侵犯用户隐私的法律风险。

大数据的挑战

决策方式：从目标驱动型到数据驱动型方法论：从基于知识的方法到基于数据的方法计算方式：从复杂算法到简单分析管理方式：从业务数据化到数据业务化研究范式：从第三范式到第四范式数据的属性：从数据是资源到数据是资产数据处理模式：从小众参与到大规模协同思维模式：从抽样思维到整体思维、相关思维和容错思维

大数据的变革

1.4大数据所涉及的技术1.4大数据所涉及的技术1.4大数据所涉及的技术大数据存储和管理技术

近年来互联网、云计算、移动和物联网的迅猛发展。无所不在的移动设备、RFID、无线传感器每分每秒都在产生数据，数以亿计用户的互联网服务时时刻刻在产生巨量的交互，要处理的数据量实在是太大、增长太快了，而业务需求和竞争压力对数据处理的实时性、有效性又提出了更高要求，传统的常规技术手段根本无法应付。

在这种情况下，技术人员纷纷研发和采用了一批新技术，主要包括分布式缓存、基于MPP的分布式数据库、分布式文件系统、各种NoSQL分布式存储方案等。大数据存储和管理技术

1分布式缓存技术

换句话说，分布式缓存所管理的机器实际上就是一个集群。它负责维护集群中成员列表的更新，并负责执行各种操作，比如说在集群成员发生故障时执行故障转移，以及在机器重新加入集群时执行故障恢复。Memcached是高性能的分布式内存缓存服务器。一般的使用目的是通过缓存数据库查询结果，减少数据库的访问次数，以提高动态Web应用的速度、提高扩展性。大数据存储和管理技术

2分布式数据库分布式数据库系统通常使用较小的计算机系统，每台计算机可单独放在一个地方，每台计算机中都有DBMS的一份完整拷贝副本，并具有自己局部的数据库，位于不同地点的许多计算机通过网络互相连接，共同组成一个完整的、全局的大型数据库。直接采用关系模型的分布式数据库并不能适应大数据时代的数据存储，主要因为：（1)规模效应所带来的压力。（2)数据类型的多样化。（3)设计理念的冲突。大数据存储和管理技术

2分布式数据库产生了一批未采用关系模型的数据库，这些方案现在被统一的称为NoSQL(NotOnlySQL)。NoSQL并没有一个准确的定义，但一般认为NoSQL数据库应当具有以下的特征：模式自由(schema-free)、支持简易备份(easyreplicationsupport)、简单的应用程序接口(simpleAPI)、最终一致性(或者说支持BASE特性，不支持ACID)、支持海量数据(Hugeamountofdata)。大数据存储和管理技术

3分布式文件系统Google自行设计开发了Google文件系统GFS(GoogleFileSystem)。GFS是构建在大量廉价服务器之上的一个可扩展的分布式文件系统。

在Google的论文发表后，就诞生了Hadoop。截至今日，Hadoop被很多中国最大互联网公司所追捧，百度的搜索日志分析，腾讯、淘宝和支付宝的数据仓库都可以看到Hadoop的身影。Hadoop具备低廉的硬件成本、开源的软件体系、较强的灵活性、允许用户自己修改代码等特点，同时能支持海量数据存储和计算任务。大数据分析技术

数据分析是大数据应用最核心的技术之一，每一次简单的网络点击背后都需要进行复杂的分析过程。MapReduce是Google最早采用的计算模型，适用于批处理。Pregel是Google继MapReduce之后提出的又一个计算模型，与MapReduce的离线批处理模式不同，它主要用于图的计算。

实时数据处理是大数据分析的一个核心需求。很多研究工作正是围绕这一需求展开的。前面介绍了大数据处理的两种基本模式，而在实时处理的模式选择中，主要有三种思路：（1)采用流处理模式。（2)采用批处理模式。（3)二者的融合。1.5物联网、云计算与大数据1.6数据科学与大数据1.6.1数据科学数据科学（DataScience）是关于数据，尤其是大数据的科学。可以从以下四个方面理解数据科学的含义。它是一门将“现实世界”映射到“数据世界”之后，在“数据层次”上研究“现实世界”的问题，并根据“数据世界”的分析结果，对“现实世界”进行预测、洞见、解释和决策的新兴科学。它是一门以“数据”，尤其是“大数据”为研究对象，并以数据统计、机器学习、数据可视化等为理论基础，主要研究数据加工、数据管理、数据计算、数据产品开发等活动的交叉学科。它是一门以实现“从数据到信息”、“从数据到知识”“从数据到智慧”的转化为