大学计算机 课件 【ch09】大数据

大学计算机大数据第九章大数据概述011.1大数据的定义发展规划随着信息技术的发展，人们开始频繁地使用“大数据”来描述和定义信息时代所产生的海量数据。随着移动互联网及物联网平台的发展和普及，各种终端设备遍布人们生活的各个角藩，其产生的数据量十分巨大。大数据处理已经从TB级别跃升到PB级别。国际数据公司（IDC）预测到2025年，全球会有160ZB多的数据量。数据的最小单位是位（bit），计算机中数据的存储是以字节（Byte，简写为B）为基本计算单位的，1B=8bit。1.2大数据的特征大体量在这个信息高度发展的时代，人类每年获取的数据量都比以前成百上千年所积累的信息总量要多很多。在1998年，图灵奖获得者杰姆·格雷CJim

Gray）提出著名的“新摩尔定律”，即人类有史以来的数据总量，每过18个月就会翻一番。多样性指数据来源众多，如社交网络中的博客内容、购物网站中的购买记录、监控网络中的录像视频、通过传感器得到的测量数据、移动设备中的位置信息等，多类型的数据对数据的处理能力提出了更高的要求。1.2大数据的特征高速性指数据以极快的速度被产生、累积、消化和处理

，大数据时代的很多应用都需要基于快速生成的数据给出实时分析的结果

，如通过搜索引擎要能搜索到几分钟前发生的国内外新闻报道。价值型大数据体量大

，价值密度低

。大数据的价值不在于数据本身

，而在于从大数据的分析

中所能发掘出的潜在价值。1.3大数据结构类型

结构化数据：是由二维表结构进行逻辑表达和实现的数据，严格地遵循数据格式和常识规范，有固定的结构、属性划分和类型等信息，主要通过关系数据库进行存储和管理，数据记录的每一个属性对应数据表的一个字段。结构化数据主要是存储在关系数据库中的传统数据，只占数据总量的10%左右。随着网络技术的发展，特别是互联网技术的发展，使得非结构化数据的数量日趋增大。这时主要用于管理结构化数据的关系数据库的局限性暴露地越来越

明显，数据库开始

进入基于网络应用的非结构化数据

库时代。1.3大数据结构类型

非结构化数据是相对于结构化数据而言的，就是没有固定结构的数据

，不适合用二维表来表现的数据

。它主要包括邮件

、音频、微信、微博、社交媒体论坛

、位置信息

、链接

信息、搜索索引、手机呼叫信息、网络日志等网络数据

。根据IDC的调查报告显示：企业中80%的数据都是非结构化数据

，这些数据每年都按

指数增长。非结构化数据越来越成为数据的主要部分

。1.3大数据结构类型

半结构化数据是指既具有

一定的结构，又灵活多变，介于结构化数据

（

如关系数据库数据）

和非结构化数据

（

如音频、图像文件〉

之间的数据

，也可

以理解为非结构化数据的

特例。HTML

形式的文档就属于半结构化数据

。目前大量的数据不仅仅是结构化数据

，而是兼有半结构化数据

和非结构化数据

。NoSQL是能管理这些不同数据结构的数据管理系统的统称

。目前出现的

NoSQL数据库有MangoDB

、CouchDB

、Hbase

、Cassandra

、Redis、Neo4j

等，不同的

NoSQL

数据库有不同

的特征，如MangoDB、CouchDB是面向文档型的数据库，Hbase、Cassandra是面向列的数

据库，Neo4j是一个图形数据库

。大数据技术022.1大数据的采集和预处理各种数据源导入数据数据源包括各种计算机软件产生的各种数据文件

，如传统的关系数据库（

SQLServer、

Oracle、MySQL、Access等〉文件、Excel表格、XML文档、文本文件等

。多媒体数据库多媒体数据库是指文本

、图形、图像、声音和视频等的集合

。这类数据库具有数据量大处理复杂等特点。需要通过压缩／解压缩等编码／解码手段来存储和展现相关的媒体数据。2.1大数据的采集和预处理工程数据库工程数据库是一种能存储和管理各种工程设计图文，并为工程设计和工程制造提供（如过程仿真、性能仿真等〉各种服务的数据库。这类数据库支持复杂对象、产品全生命期的数据管理和集成，包括设计、制造、测试和使用阶段的数据，能够与各种计算机辅助软件（如CAD、CAM）进行有效集成。环境地理信息采集数据库环境、地理信息的采集和感知技术的发展是紧密联系

的，可通过传感设备测量和传递有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化信息等，产生海量数据。2.1大数据的采集和预处理

系统日志采集：系统许多公司的业务平台每天都会产生大量的日志数据。通过对这些日志信息的分析，可以得到很多有价值的数据。目前常用的开源日志收集系统有Flume、Scribe等。Flume是一个分布式、可靠、可用的服务，用于高效地收集、聚合和移动大量的日志数据，它具有基于流式数据流的简单灵活的架构。其可靠性机制、故障转移和恢复机制，使Flume具有强大的容错能力。Scribe是Facebook开源的日志采集系统。Scribe实际上是一个分布式共享队列，它可以从各种数据源上收集日志数据，然后放入共享队列中。Scribe支持持久化的消息队列。2.1大数据的采集和预处理

网络数据采集系统通过网络爬虫和一些网站平台提供的公共API可从网站上获取数据，可以将非结构化数据和半结构化数据的网页数据从网页中提取出来，并将其清洗、转换成结构化的数据，存储为统一的本地文件数据。目前常用的网页爬虫系统有ApacheNutch、Crawler4j、Scrapy等框架。开发人员只需要关心爬虫API接口的实现，不需要关心框架怎么爬取数据。2.1大数据的采集和预处理发展规划数据库采集系统一些企业会使用传统的关系数据库（MySQL和Oracle等）来存储数据。除此之外，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。数据库采集系统直接与企业业务后台服务器结合，将企业业务后台每时每刻产生的大量业务记录写入到数据库中，最后通过特定的处理分析系统进行系统分析。通常采集后的数据有不少是无用的、重复的，此时需要对数据进行导入和预处理，包括存储和清洗处理。数据导入是指将分散的数据库采集来的数据进行有效清洗后全部导入一个大型分布式数据库或分布式存储集群，以便对数据进行集中处理：也可以依据一些数据的特征，初步对各种数据进行粗选，然后根据成本、格式、查询等各种需求，将它们存放在合适的存储系统中。2.2大数据的存储和管理分布式文件系统相对于传统的本地文件

系统而言，分布式文件系统（因此ibuted

File

System,

DFS

）

是一种通过网络实现文件在多台主机上进行分布式存储的文

件系统。分布式数据库系统分布式数据库系统（DistibutedDatabaseSystem,DDBS）

利用高速计算机网络将物理上分散的多个存储单元连接起来，组成一个逻辑上统一的数据库系统。2.2大数据的存储和管理

NoSQL是一种不同于关系数据库的数据库管理系统设计方式

，是对非关系数据库的统

称。NoSQL数据库主要分为以下

几类：(1）键值存储数据库

。这类数据库主要用哈希表实现

，通过高性能索引构建和检索技术，支持快速数据检索和查询

。常见的键值存储数据库有

Oracle

BDB

、Redis

等。(2

）

列式存储数据库

。这类数据库是按列存储数据的

，主要针对某一列或某几列的批量数据处理和即时查询，特别适用于分布式存储的海量数据

。2.2大数据的存储和管理

(3

）

图形数据库。它应用图形理论存储实体之间的

关系信息

。与关系数据库相比

，图形数据库更直观

、更灵活

，是最接近高性能的一种存储数据的数据结构方

式。常见的图形数据库有

Neo4j

、FlockDB

、Infinite

Graph

等(4

）

文档数据库

。文档数据库存储的内容是文档型的

，与键值存储相类似

，通过对某

些字段建立索引

，实现关系数据库的某些功能

。常见的文档型数

据库有

MongoDB

、

CouchDB、SequoiaDB

等。2.3大数据分析

分析数据准备：由于数据来源众多，在数据挖掘之前，需要对数据进行预处理工作，把数据变成可用状态。数据预处理方法包括数据清洗、数据集成、数据变换、数据归约等。数据清洗的目标是数据格式标准化、异常数据清除、数据错误纠正、重复数据清除等。数据集成是将多个数据源中的数据整合起来并统一存储，建立数据仓库。数据变换是通过平滑聚集、数据概化、规范化等方式将数据转换成适用于数据挖掘的形式。数据归约是指在对挖掘任务和数据本身内容理解的基础上，寻找依赖于发现目标的数据有用特征，以缩减数据规模，在尽可能保持数据原貌的前提下，最大限度地精简数据量。2.3大数据分析数据可视化数据可视化旨在借助图形化手段

，清晰、有效地传达与沟通信息

。利用图形、图像处理，计算机视觉及用户界面，通过表达、建模，以及对立体、表面、属性和动画的显示，对数据加以可视化解释。大数据知识计算大数据知识计算基于大数据技术

，针对信息服务的广泛需求

，用于解决结构化、半结构化、非结构化数据多维度处理问题

。依据大数据资源获得特定的知识体系

、知识模型、知识图谱，并不断自我完善和演进。通过分析海量的复杂数据发现规律和预知趋势，做出

更明智、更精准的决策。大数据的应用与发展033.1大数据应用场景

大数据在政府管理方面的应用政府数据资源丰富

，使用大数据技术可以使政府决策科

学化、管理精细化

。如可基于大数据分析网民搜索关键字

，做好舆情监测

，提高治理能

力；政府应用大数据技术能够更好地响应社会和经济指标变化

，进行安全管控

，解决行政监管中的实际问题，并预判事态

走势。

大数据在金融领域的应用金融行业典型的应用场景包括银行

、证券、保险业等

。大数据应用主要集中在市场预

测、用户行为预测

、风险控制

、产品设计

、决策支持和行业监管等方面。例如

，人们通过大数据分析来了解未来物价走向

，提前预知通货膨胀或

经济危机

；银行和保险业可以通过用户行为分析为他们提供专项服务

；阿里巴巴集团根据淘宝网

上中小企业的交易状况

，筛选出财务健康

、诚信经营的企业

，给它们提供贷款，促进产业健康发展。3.1大数据应用场景

大数据在教育领域的应用教育大数据来源广，应用多，在教学、师资培训｜、考试、师生互动、学生学习、校园管理、家校关系等领域正发挥着越来越广泛的作用，出现了众多的学习软件和App，涌现出大量的大数据工具。

大数据在交通领域的应用大数据在交通领域的应用己经给行业带来巨大的变革，大数据和数据挖掘技术的发展为解决交通中存在的问题带来了新的思路。大数据实现了物流资源的优化调度和有效配置以及物流系统效率的提升。大数据缓解了交通堵塞，改善了交通服务，促进了智能交通系统更好、更快发展。3.1大数据应用场景大数据在生物医疗领域的应用在生物医学领域

，大数据可以帮助人们实现流行病预测、智慧医疗

、健康管理

、基因

检测等。01大数据在农业领域的应用可利用大数据技术进行自然灾害监测。通过分析收集的气象数据

，结合气象模拟、土地

分析、植物根部情况分析等要素，可提高自然灾害的预测预报准确率和改进灾害评估方法02大数据在商业领域的应用大数据时代下的商业模式、商业活动等都在发生改变。

033.2大数据应用发展趋势和挑战

全球范围内，研究、发展大数据技术以及运用大数据推动经济发展、完善社会治理、提升政府服务和监管能力正成为趋势。当前大数据应用尚处于初级阶段，描述性、预测性分析应用居多，决策指导性等更深层次应用偏少。一般而言，人们做出决策的流程通常包括：认知现状、预测未来