大数据概论及应用实践 课件 第一章绪论

第一章

绪论大数据概论及应用实践IntroductiontoBigDataandApplicationPractice第1章

绪论大数据时代悄然来临，带来了信息技术发展的巨大变革，开启一次重大的时代转型，并深刻影响着社会生产和人们生活的方方面面。企业和学术机构纷纷加大技术、资金和人员投入力度，加大对大数据关键技术的研发与应用，以期在“第三次信息化浪潮”中占得先机、引领市场。同时世界各国政府均高度重视大数据技术的研究和产业发展，纷纷把大数据上升为国家战略加以重点推进。大数据的时代的到了，它的影响力和作用力正迅速触及社会的每个角落，特别是随着计算机技术的进步以及移动互联网、物联网、云计算、5G移动通信网络技术的发展，多源异构、形式多样的数据正在沿着“摩尔定律”呈爆炸式增长，所到之处，或是颠覆，或是提升，都让人们深切感受到了大数据实实在在的威力。数据1.1大数据时代1.2大数据的技术挑战和科学意义1.3本章小结1.4目录CONTENTS习题1.5

本节主要介绍数据的定义、数据的类型、数据组织形式、数据的生命周期、数据的价值以及大数据特征。数

据PART011.1.1

数据的定义数据和信息：数据是指对客观事物的属性、状态以及相互之间的关系等进行记载的描述客观事件的物理符号或是物理符号的组合，它们是可识别的、抽象的。信息是较为宏观的概念，它是由数据有序排列组合而成，传递给读者某个方法或者概念等不同的信息。一段时间。项目是一次性（或者说是临时性）的，每个项目都具有明确的开始和结尾。数据是信息的基本组成单位，离散的数据几乎没有任何有用的价值。1.1.2

数据的类型常见的数据类型通常包括文本、图片、视频、音频等文本：文本是一种由若干行字符构成的计算机文件。通常文本数据是不能参与算数运算的任何字符，也称之为字符型数据。图片：图片是指由图形、图像等构成的平面媒体。图片的格式很多，大体上可以分为点阵图和矢量图两大类。音频：人类能够听到的所有声音都称之为音频，它可能包括噪音等。在即使是中，数字化的声音数据就是音频数据。音频数据一般用音频文件的格式来保存。视频：视频泛指将一系列静态影像以电信号的方式加以捕捉、记录、处理、储存、传送与重现的各种技术。因此视频数据是指连续的图像序列。1.1.3

数据组织形式根据数据结构的不同，数据可分为结构化数据、半结构化数据和非结构化数据结构化数据多数存在于传统的关系型数据库中，是我们熟知的使用的数据形式，数据结构事先已经定义好，非常方便使用二维表格形式描述，便于存储和管理。非结构化数据不同于传统的结构化数据，其数据结构很难描述，不规则或者不完整，没有统一的数据结构或者模型，无法提前预知。半结构化的数据介于结构化数据与非结构化数据之间，可以用一定数据结构来描述，但通常数据内容与结构混叠在一起，结构变化很大，本质上不具有关系性，不能简单地用二维表格来实现结构描述。半结构化数据通常是自描述的结构，多数以树或者图的数据模型进行存储。1.1.4数据生命周期数据都存在生命周期，通常为四个阶段第一阶段：数据采集，需要借助工具去实现数据转换，形成高质量的、标准化的数据，把数据变成一种可用的状态。第二阶段：数据存储与管理，“多源异构”的数据决定了数据的存储方式也是比较多样的，但是通常还是存放到数据库系统中进行管理。第三阶段：分析与挖掘，为了充分发挥存储设备和数据的价值，需要对数据生命周期进行认真分析，在不同的阶段对数据采取不同的管理策略。第四阶段：可视化显示1.1.4数据生命周期数据全生命周期包含了以下八个阶段数据采集阶段：为了进行分析，首先必须记录或采集数据，这是创建组织内尚不存在的信息的行为。被采集到的数据可能来自公司的外部或内部。采集的数据数据维护阶段：捕捉数据后，生命周期的第二阶段可以定义为向发生数据合成和数据使用的点提供数据。数据合成阶段：数据合成涉及统计方法的使用，这些方法结合了许多数据来源或测试，以获得更好的总体估计或被问到的有关数据问题的答案。一些人把这个称为数据建模或使用归纳推理以转换数据。另一些人将数据合成视为数据维护的子集。数据使用阶段：数据使用就是如何使用数据来支持业务的任务，此阶段可以定义为将数据应用到企业需要自行运行和管理的任务。如战略规划、客户关系管理、处理发票、向供应商发送订购单等。1.1.4数据生命周期数据分析阶段：数据分析是以创建新的信息和产生业务洞察力为目的检查原始数据的科学性。它包含技能、科学、迭代探索和对过去业务绩效的调查，以获得洞察力并推动未来的业务规划。在它最基本的层次，它意味着用数据分析的方法来回答问题。一些人将数据分析视为数据使用的子集。数据发布阶段：数据发布是向组织外部发送数据的行为，可以发布数据以供广泛使用，通常将数据发送到业务部门。例如向客户发送结算单。数据存档阶段：单个数据值可能会使用相当长的一段时间，但其生命周期最终都会到尽头。那时，组织应该将数据值存档。数据存档是从有效使用的数据中删除数据，并将其存储以备潜在的未来使用的过程，数据存档是存储数据的位置，但是它没有定期维护，且使用率可能很少。数据清除阶段：数据清除涉及删除不再有用或不需要的数据，在数据生命周期结束时，将从企业中删除数据项的每个副本，这通常是从归档中完成的。管理者应创建数据保留政策以实施正确的数据清除实践。1.1.5

数据的价值大数据时代，数据的根本价值是可以为人们提供价值大数据时代，数据的采集往往是为了某个特定的目的。对于数据采集者来说，数据的价值是确定，并且是不断地被人所熟知的。数据的价值不会因为不断使用而消减，反而会因为不断重组而产生更大的价值。基于数据的价值特性，各种途径收集上来的各种不同类型的数据都应当尽可能长时间地保存下来，同时也在一定条件下与全社会分享，产生更多更大的价值。在大数据时代，当今和未来最有价值的商品是数据。因此，要实现大数据时代思维方式的转拨，就必须要正确认识数据的价值，数据已经具备了经济的属性。1.1.6

大数据的特征美国国家标准技术研究院认为大数据由具有规模巨大（Volume）、种类繁多（Variety）、增长速度快（Valocity）和变化多样（Variability），且需要一个可扩展体系结构来有效存储、处理和分析的广泛的数据集组成。数据的价值不会因为不断使用而消减，反而会因为不断重组而产生更大的价值。IBM在大数据概念提出的早期，也对大数据给出了一个“4V特性”的定义，与上述的表述略有不同，强调了大数据的数量（Volume）、多样性（Variety）、速度（Velocity）和真实性（Veracity）等方面，后来也将数据价值（Value）吸收进来，成为大数据的“5V特性”。麦肯锡全球研究机构给出的大数据的定义，综合了“现有技术无法处理”和“数据特征”定义，它任务大数据是指大小超过经典数据库软件工具收集、存储、管理和分析能力的数据集，这一定义是站在经典数据库的处理能力的基础上看待大数据的。1.1.6

大数据的特征综合上述定义，大数据的特征通常被定义为“4V特征”，即规模庞大（Volume）、种类繁多（Variety）、变化频繁（Velocity）和价值巨大但价值密度低（Value）规模庞大：是指数据集相当于现有计算和存储能力而言，规模庞大。种类繁多：是指在大数据面对的应用场景中，数据种类多。变化频繁：是指数据所描述的事物状态在频繁、持续的变化。价值巨大且价值密度低：是指带大数据中，通过数据分析，在无序数据中建立关联可以获得大量高价值、非显而易见的隐含知识，从而具有巨大的价值。

当下我们正处于大数据时代。人类社会信息科技的发展为大数据时代的到来提供了技术支撑，数据产生方式的变革是促进大数据到来至关重要的因素。大数据时代PART021.2.1

大数据的发展历程大数据的发展过程大致分为三个阶段：萌芽时期、发展时期和大规模应用期。萌芽时期（约为20世纪90年代至21世纪初）在这一阶段，大数据只是作为一个概念或者假设，少数学者对其进行了研究和讨论。并且在这一阶段数据挖掘理论和数据库技术的逐步成熟，一批商业智能工具和知识管理技术开始被应用，如数据仓库、专家系统、知识管理系统等。种类繁多：是指在大数据面对的应用场景中，数据种类多。1.2.1

大数据的发展历程大数据的发展过程大致分为三个阶段：萌芽时期、发展时期和大规模应用期。发展时期（约为21世纪初至2010年）21世纪前十年，互联网行业迎来了一个快速发展的时期。在这一阶段，大数据作为一个新名字，开始受到理论界的关注，其概念和特点得到进一步的丰富，相关的数据处理技术层出不穷，大数据的开始显现出活力。Web2.0应用在这一时期也迅猛发展，同时非结构化数据和半结构化数据大量产生，传统处理方法难以应对，带动了大数据技术的快速突破，大数据解决也逐渐走向成熟，形成了并行计算与分布式系统两大核心技术，谷歌的GFS和MapReduce等大数据技术受到追捧，Hadoop也盛行起来。1.2.1

大数据的发展历程大数据的发展过程大致分为三个阶段：萌芽时期、发展时期和大规模应用期。大规模应用期（约为2011年至今）2011年之后大数据的发展可以说是进入了全面兴盛的时期，越来越多的学者对大数据的研究从基本概念、特性转到数据资产、思维变革等多个角度。大数据的应用也渗透到各行各业中，不断变革原有行业技术和创造出新的技术。数据驱动决策、信息社会智能化程度等都大幅提高。01.2.2

大数据时代的驱动力信息科技为大数据时代提供技术支撑

信息科技的进步是大数据时代的物质基础。信息科技技术需要解决信息存储、信息处理和信息传输三大核心问题。存储设备容量不断增加CPU处理能力大幅提升网络带宽不断增加1.2.2

大数据时代的驱动力数据提高方式的变革促成大数据时代的来临

总体而言，人类社会数据产生的方式大致经历了三个阶段：运营式系统阶段、用户原创内容阶段和感知式系统阶段。运营式系统阶段用户原创内容阶段感知式系统阶段1.2.3

世界各国的大数据发展战略大数据时代到来以后，世界各国都非常重视大数据的发展。

根据瑞士洛桑国际管理学院2017年度的《世界数字竞争力排名》显示，各国数字竞争力与其整体竞争力呈现出高度一致的态势，即数字竞争力强的国家，其整体的竞争力也非常强，同时也更容易产生颠覆性的创新。1.2.4

大数据的影响大数据对科学研究的影响

大数据的核心价值是为人类提供认识复杂系统的新思维和新手段。图灵奖得主吉姆•格雷博士总结到，人类自古以来在科学研究上经历了四种范式，即：实验、理论、计算和数据。大数据对社会发展的影响

大数据的产生对社会发展将会产生深远的影响。比如，大数据决策成为一种新的决策方式；大数据成为提升国家治理能力的新方法；大数据应用促进新一代信息技术与各行业的融合发展；大数据开发推动新技术和新应用的不断涌现。1.2.4

大数据的影响大数据对就业市场的影响

大数据的兴起促使了行业的变革，也相应的产生了很多新的岗位，大数据相关岗位，比如数据治理工程师、数据分析工程师、数据挖掘工程师、数据算法工程师等岗位逐渐成为市场上最热门的职位之一，具有广阔的发展前景。大数据对人才培养的影响

大数据时代的快速发展，导致行业的变革，对人才具备的技能也提出了新的要求。高等院校作为培养人才的的基地，也将在很大程度上对信息技术相关专业的现有教学和科研体制进行改变，从而培养出更高水平的人才。PART03大数据的技术挑战和科学意义

大数据时代的到来，数据来源的多样化以及超大规模数量的产生，人们从看似无序的数据中寻找有序、有价值的关联关系是在数据集上进行分析、挖掘出重要信息。在这一变化的过程中，对数据存储、计算模型、应用软件和系统等都提出了全新的挑战，同时对已有的思维模式、计算模式、理论和方法等都产生深远的影响。1.3.1

大数据带来的思维模式的变革抽样与全样：尽可能采集全面而完整的数据

在统计方法中，由于数据不容易获取，数据分析的主要手段就是进行随机抽样分析，其成功的关键依赖于抽样的绝对随机性。效率与非精确：宁愿放弃数据的精确性，也要尽可能收集更多的数据

当数据量小的时候，对数据的基本要求是尽量精确无误。因果与关联：基于归纳得到的关联关系与基于逻辑推理的因果关系同样具有价值

于因果关系分析和基于关联关系分析进行预测的方法，通常是人们对数据分析从而预测某事是否会发生常用的方法。1.3.2

大数据计算面临的挑战数据规模带来的挑战。随着数据规模的增大，受到挑战最大的是数据的存储和计算能力。应对数据的规模性，通常有两个思路：一个思路是“分而治之”。

它是指将计算任务分解，并交由不同的计算节点来并发执行。也就是说，当存储和计算的能力超出一台计算机的极限时，在将数据存储在不同节点的基础上，将计算任务进行分解，并交由不同的计算机节点来并发执行。另一个思路是充分利用数据的特征，“变蛮算为巧算”。

需要进一步考察不同大数据集的特点，考察基于这个数据集的查询或计算任务的特点，有针对性地设计优化方法。1.3.3

大数据学科与职业人才培养目标

大数据专业面向国家发展战略和大数据产业发展需求，致力于培养德智体美全面发展，践行社会主义核心价值观，具有良好的职业道德和人文素养，具备大数据平台架构设计与运行维护、数据建模和分析以及解决行业应用问题的能力，信息化时代的终身学习能力，面向健康医疗、电子商务、金融、交通等大数据相关领域，能够承担大数据平台架构设计、数据采集、存储与管理、数据分析与可视化任务，能在相应领域从事各行业大数据分析、处理、服务、开发和利用工作的具有社会责任感、创新精神、国际视野和较强实践能力的高素质、应用型高级专门人才。1.3.3

大数据学科与职业专业知识体系

从学科角度而言，大数据可以理解为一个跨多学科领域的，从数据中获取知识的科学方法、技术和系统的集合。因此，大数据专业知识体系涵盖了计算机、数学、统计学等多个学科领域，结合了诸多领域中的理论和技术，包括应用数学、统计学、模式识别、机器学习、人工智能、深度学习、数据可视化、数据挖掘、数据仓库、分布式计算、云计算、系统架构设计等典型的大数据分析过程1.3.3

大数据学科与职业专业课程体系

大数据专业课程体系涵盖了通识教育课、学科基础课、专业基础课、专业核心课、专业课以及综合实践课等。（1）通识教育课：思政类课程、军体类课程、外语课、创新创业课等；（2）学科基础课：高等数学、线性代数、概率论与数理统计等；（3）专业基础课：程序设计、计算机系统基础及组成原理、离散数学、计算机网络、算法与数据结构、数据库系统、操作系统、软件工程等；（4）专业核心课：大数据导论、网络爬虫与数据采集、数据清洗、NoSQL数据库、数据可视化、分布式并行编程、机器学习等；（5）专业课：云计算、数据安全、数据仓库、数据挖掘等；（6）综合实践课：课程设计、毕业设计等；1.3.3

大数据学科与职业实践课程要求

大数据专业不仅是知识的传承，更重要的是能力的锤炼，以期满足国家与社会发展的需要。专业主管机构设置了一系列的大数据人才评价系统，包括数据分析工程师、数据治理工程师、数据安全工程师、数据算法工程师、大数据咨询工程师等不同的级别的评价规则。因此需要学生事先做好规划、深入学习。同时在培养的过程中，注重基础知识与实践的结合。1.3.3

大数据学科与职业职业道德

（1）大数据安全与职业道德

大数据的蓬勃发展，促使了很多行业和岗位的衍生。目前，大多数软件都是开源的、可免费使用的，这就给了一些公司可乘之机。其中最典型的就是网络爬虫技术。

（2）行业从业者的道德规范

大数据领域的从业者，也应该遵从软件开发职业中的道德准则。1.3.4

大数据与其他新兴技术的关系云计算、大数据和物联网被称为“第三次信息化浪潮”的“三朵浪花”。

云计算大大减少了企业减少IT系统的成本，降低了企业信息化的门槛。大数据为企业提供了海量的数据，帮助企业从大量数据中分析或挖掘出有价值的信息，提供决策支持。物联网以“万物互联”为目标，通过传感器等，把人和物通过新的方法连接起来，形成人与物、物与物的相连，实现远程管理控制。

大数据与云计算、物联网、人工智能、区块链之间存在着“千丝万缕”的联系，下大数据与云计算、物联网、人工智能、区块链之间存在着“千丝万缕”的联系，下面将详细技术他们之间的关系。将详细技术他们之间的关系。云计算

（1）云计算的定义

概括来说，云计算是各种虚拟化、效用计算、服务计算、网格计算、自动计算等概念的混合演进并集大成之结果。它既是技术上的突破（技术上的集大成），也是商业模式上的飞跃（用多少付多少，没有浪费）。这也决定了其将成为未来的IT产业主导技术与运营模式。

（2）云计算的服务模式和运营模式

云计算的服务模式包括三种典型的模式，即基础设施即服务（InfrastructureasaService，IaaS）、平台即服务（PlatformasaService，PaaS）和软件即服务（SoftwareasaServi，SaaS）。1.3.4

大数据与其他新兴技术的关系云计算

（3）云计算的应用

随着云计算技术的飞速发展，数据量也在飞速的增长。但是“云端”只是一个形象的说法，实际上数据并不会在“天上的云朵”里，而是必须要“落地”，也就说，这些云端的数据实际上是被保存在全国各地大大小小的数据中心里。通常，云计算数据中心包括一整套复杂的设施，包括刀片服务器、宽带网络、环境控制设备、监控设备以及各种安全装置。

同时，云计算在电子政务、教育、企业、医疗等领域的应用不断深化，对提高政府服务水平、促进产业转型升级和培育发展新兴产业都起到了关键的作用。1.3.4

大数据与其他新兴技术的关系物联网

（1）物联网的定义

物联网（TheInternetofThings，IoT）是新一代信息技术的重要组成部分，被称为是“万物相连的互联网”。这包含两层含义，第一，物联网的核心和基础仍然是互联网，是互联网的延伸和扩展；第二，网络的边缘延伸和扩展到了普通非智能的物品，物品利用传感器、红外感应器、激光扫描器等信息传感设备接入网络并实现物品之间的互连，实现信息化和远程管理控制。

1.3.4

大数据与其他新兴技术的关系物联网

（2）物联网的关键技术

物联网的关键技术包括识别和感知技术、网络与通信技术、数据挖掘与融合技术等。识别和感知技术主要实现如何识别物体唯一标识、定位物体位置、物体移动情况等各种信息的采集，比较常用的技术有二维码技术、RFID、传感器、红外感应技术、生物特征识别、声音及视觉识别技术等。网络与通信技术包括短距离无线通信技术和远程通信技术短距离无线通信技术包括NFC（手机给公交卡充值），蓝牙，WiFi，RFID（公交卡）等；远程通信技术包括互联网，2G/3G/4G移动通信网络，卫星通信网络等。数据挖掘与融合技术是对物联网中存在的各种不同类型的系统产生的大量不同来源的不同类型的数据，进行有效整合、处理和挖掘。

1.3.4

大数据与其他新兴技术的关系物联网

（3）物联网的应用

物联网已经广泛应用于智慧家居、智慧社区、智慧交通、智慧医疗、智慧农业、智慧工业能领域，对国家数字化建设与社会发展起到了重要的推动作用。云计算、大数据与物联网的应用，将在第10章进行举例并做详细阐述。

1.3.4

大数据与其他新兴技术的关系大数据与云计算、物联网之间的关系

大数据、云计算和物联网可以说是IT领域的“三驾马车”，三者相辅相成，既有联系又有区别。

三者的联系在于它们都是数据存储和处理服务，都需要占用大量的存储和计算资源，因而都要用到数据存储技术、海数据管理技术等，而云计算所具备的弹性伸缩和动态调配、资源虚拟化，以及环保节能等基本要素可以满足大数据处理技术的需求。物联网的传感器源源不断产生的大量数据，构成了大数据的重要来源，实现了人工产生阶段向自动产生阶段的转变。同时，物联网需要借助于云计算和大数据技术，实现对物联网数据的分析和处理。

1.3.4

大数据与其他新兴技术的关系人工智能

（1）人工智能的定义

人工智能（ArtificialIntelligence，AI）是研究、开发用于模拟、延伸和扩展人的只能的理论、方法、技术及应用系统的一门新的技术科学。人工智能包含的领域很广，包括机器学习、深度学习、智能机器人、图像识别、专家系统和自然语言处理等，其目标是使机器能够胜任一些通常需要人类智能才能完成的复杂工作。

（2）人工智能的关键技术

人工智能的关键技术目前比较流行包含了机器学习、知识图谱、自然语言处理、人机交互、计算机视觉、生物特征识别、AR/VR等7个关键技术。1.3.4

大数据与其他新兴技术的关系人工智能

（3）人工智能的应用

随着数字化时代的到来，人工智能被广泛应用。特别是在家居、制造、金融、医疗、安防、交通、零售、教育和物流等多领域。

（4）大数据与人工智能的关系

人工智能和大数据是紧密相关的两种技术，两者既有联系又有区别。首先，大数据为人工智能提供数据支撑。其次，人工智能提供更高效、更精准的大数据处理和分析工具。最后，大数据和人工智能的结合可以促进技术的创新和发展。1.3.4

大数据与其他新兴技术的关系区块链

（1）区块链的定义

狭义上来讲，区块链是一种按照时间顺序将数据区块以顺序相连的方式组合成的一种链式数据结构，并以密码学方式保证的不可篡改和不可伪造的分布式账本。广义上来讲，区块链技术是利用块链式数据结构来验证与存储数据、利用分布式节点共识算法来生成和更新数据、利用密码学的方式保证数据传输和访问的安全、利用由自动化脚本代码组成的智能合约来编程和操作数据的一种全新的分布式基础架构与计算方式。1.3.4

大数据与其他新兴技术的关系区块链

（2）区块链的关键技术

区块链的四大核心技术包括分布式账本、非对称加密、共识机制、智能合约。分布式账本是指在分布在每个节点记录的完整账目，这些详细的账目记录可以参与监督、交易，拥有很高的合法性，也可以作为证据。非对称加密是指存储在区块链上的交易信息虽然是透明的，但是账号身份却是严格保密的，当你得到数据拥有者的授权后，才能正常