第八章-大数据课件

第八章大数据8.1大数据概述麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。特征IBM公司认为大数据具有3V特点，即规模性（Volume）、多样性（Variety）、和实时性（Velocity），但是这没有体现出大数据的巨大价值。而以IDC为代表的业界则认为大数据具备4V特点，即在3V的基础上增加价值性（Value），表示大数据虽然价值总量高但其价值密度低。目前，大家公认的是大数据具有四个基本特征：数据规模大、数据种类多、处理速度快以及数据价值密度低，即所谓的4V特性。应用1．宏观经济领域2．农业领域3．商业领域4．金融领域5．医疗保健领域6．社会安全领域8.2数据获取（1）网络爬虫（2）RSS8.2.1网络爬虫网络爬虫（又被称为网络蜘蛛，网络机器人，在FOAF社区中间，更经常称为网页追逐者），是一种按照一定的规则，自动的抓取万维网信息的程序或脚本。另外一些不经常使用的名字还有蚂蚁，自动索引，模拟程序或者蠕虫。它的定义有广义和狭义之分。狭义上指遵循标准的http协议，利用超链接和Web文档检索方法遍历万维网的软件程序；而广义的定义则是能遵循http协议，检索Web文档的软件都称之为网路爬虫。基本结构在网络爬虫的系统架构中，主过程由控制器，解析器，资源库三部分组成。1)控制器的主要工作是负责给多线程的各个爬虫线程分配工作任务。2)解析器的主要工作是下载网页，进行页面的处理，主要是将一些JS脚本标签，CSS代码内容、空格字符、HTML标签等内容处理掉，爬虫的基本工作是由解析器完成。3)资源库是用来存放下载到的网页资源，一般都采用大型的数据库存储，如Oracle数据库，并对其建立索引。一个通用的网络爬虫的框架如图:3.工作流程1)首先选取一部分精心挑选的种子URL；2)将这些URL放入待抓取URL队列；3)从待抓取URL队列中取出待抓取的URL，解析DNS，并且得到主机的ip，并将URL对应的网页下载下来，存储进已下载网页库中。此外，将这些URL放进已抓取URL队列；4)分析已抓取URL队列中的URL，分析其中的其他URL，并且将URL放入待抓取URL队列，从而进入下一个循环。其各个部分的主要功能介绍如下：1)页面采集模块：该模块是爬虫和因特网的接口，主要作用是通过各种

web协议(一般以

HTTP、FTP为主)来完成对网页数据的采集，保存后将采集到的页面交由后续模块作进一步处理。其过程类似于用户使用浏览器打开网页，保存的网页供其它后续模块处理，例如，页面分析、链接抽取。2)页面分析模块：该模块的主要功能是将页面采集模块采集下来的页面进行分析，提取其中满足用户要求的超链接，加入到超链接队列中。页面链接中给出的

URL一般是多种格式的，可能是完整的包括协议、站点和路径的，也可能是省略了部分内容的，或者是一个相对路径。所以为处理方便，一般进行规范化处理，先将其转化成统一的格式。3)链接过滤模块：该模块主要是用于对重复链接和循环链接的过滤。例如，相对路径需要补全

URL，然后加入到待采集

URL队列中。此时，一般会过滤掉队列中已经包含的

URL，以及循环链接的URL。4)页面库：用来存放已经采集下来的页面，以备后期处理。5)待采集

URL队列：从采集网页中抽取并作相应处理后得到的

URL，当

URL为空时爬虫程序终止。6)初始

URL：提供

URL种子，以启动爬虫。4．抓取对象网络爬虫抓取对象可以分为以下四类：1）静态网页网络爬虫在互联网上从一个网站初始网页开始，获得网页上的链接，在抓取过程中，不断获得新的链接，直到达到系统指定的方式才会停止。2）动态网页先通过程序分析一些非静态网页的参数，按一定的规则，将所有需要被抓取页面的链接进行整理，程序只会抓取这些特别范围内的网页。3）特殊内容比如

RSS、XML数据，情况特殊需特殊处理。如新闻的滚动页面，需要爬虫不停地监控扫描，发现新内容马上就进行抓取。4）文件对象目前网页上会有各种类型的文件，比方说图片，MP3、Flash、视频等文件，这些都需要经过系统经过一定方式的处理。比较说视频抓取后，要知道视频的类型、视频文件的大小、视频的分辨率等。4．抓取策略1）深度优先策略2）广度优先策略3）聚焦搜索策略8.2.2RSS1．什么是RSS维基百科对RSS的定义如下：RSS（简易咨询聚合）是一种消息来源格式规范，用以发布经常更新资料的网站，例如部落格文章、新闻、音讯或视讯的网摘。网络摘要专业层面能够使网站自动地发布他们的资料，同时也是读者能够定期更新他们喜欢的网站或视剧和不同网站的网摘。RSS简称聚合内容

(ReallySimpleSyndication),目前广泛应用于各类型网站.功能一般为最新信息的输出。

8.2.2.1RSS可以做什么1)订阅BLOG可以订阅工作中所需的技术文章，也可以订阅与你有共同爱好的作者的Blog，总之，对什么感兴趣就可以订什么。2)订阅新闻无论是奇闻怪事、明星消息、体坛风云，只要你想知道的，都可以订阅。你再也不用一个网站一个网站，一个网页一个网页去逛了。只要这将你需要的内容订阅在一个RSS阅读器中，这些内容就会自动出现你的阅读器里，你也不必为了一个急切想知道的消息而不断的刷新网页，因为一旦有了更新，RSS阅读器就会自己通知你。你再也不用一个网站一个网站去逛了。只要这将你喜欢的内容订阅在一个RSS阅读器中，这些内容就会自动出现你的阅读器里，一旦有了更新，RSS阅读器就会自己通知你。3)订阅杂志文章你再也不用一个杂志一个杂志的去查看有没有新发表的论文了，只要将你喜欢的杂志订阅在一个RSS阅读器中，每篇新出版的文章（甚至是刚接受的文章）就会自动地出现在你的阅读器中。1)订阅最新搜索结果订阅你感兴趣的研究方向的最新论文的搜索结果，当该方向有了新论文后，会自动地出现在你的RSS阅读器中。2)快速、高效地浏览每一个条目都是以标题和摘要的形式出现，方便你快速浏览，使你可以在最短的时间内浏览海量信息，然后快速地从中找出自己感兴趣的内容。8.2.2.2RSS订阅RSS阅读器基本可以分为三类。第一类大多数阅读器是运行在计算机桌面上的应用程序，通过所订阅网站的新闻供应，可自动、定时地更新新闻标题。在该类阅读器中，有Awasu、FeedDemon和RSSReader这三款流行的阅读器，都提供免费试用版和付费高级版。第二类新闻阅读器通常是内嵌于已在计算机中运行的应用程序中。例如，NewsGator内嵌在微软的Outlook中，所订阅的新闻标题位于Outlook的收件箱文件夹中。另外，Pluck内嵌在InternetExplorer浏览器中。第三类则是在线的WEBRSS阅读器，其优势在于不需要安装任何软件就可以获得RSS阅读的便利，并且可以保存阅读状态，推荐和收藏自己感兴趣的文章。提供此服务的有两类网站，一种是专门提供RSS阅读器的网站，例如国外的feedly，国内的有道、鲜果、抓虾；另一种是提供个性化首页的网站，例如国外的netvibes、pageflakes，国内的雅蛙、阔地。Rss订阅的步骤是：第一次使用，先下载安装RSS阅读软件；清理RSS阅读软件不必要的内置频道；右键点击“RSS信息订阅”，复制品频道的链接地址（URL）；运行RSS阅读软件，从文件菜单中选择“添加新频道”，将链接地址（URL）粘贴到输入框中，再按照提示操作，即完成了一个频道的定制；点击频道名即可查阅随时更新的信息。8.3数据挖掘8.3.1概述从技术角度，数据挖掘（DataMining)是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。与数据挖掘相近的同义词包括：数据融合、数据分析和决策支持等。这一定义包括好几层含义，即数据源必须是真实的、海量的、含噪声的;发现的是用户感兴趣的知识;发现的知识要可接受、可理解、可运用；并不要求发现放之四海皆准的知识，仅支持特定的发现问题。

8.3.2数据挖掘工具目前，世界上比较有影响的典型数据挖掘系统包括：EnterpriseMiner（

SAS公司）、IntelligentMiner（

IBM公司）、SetMiner（

SGI公司）、Clementine（

SPSS公司）、WarehouseStudio（

Sybase公司）、See5（

RuleQuestResearch公司）、CoverStory、EXPLORA、KnowledgeDiscoveryWorkbench、DBMiner、Quest等。数据挖掘典型工具，主要介绍下面Amdocs和PredictiveCRM。1)Amdocs在多年前电信行业已经开始利用数据挖掘技术进行网络出错预测等方面的工作，而近年来随着CRM理念的盛行，数据挖掘技术开始在市场分析和决策支持等方面得到广泛应用。市场上更出现了针对电信行业的包含数据挖掘功能的软件产品。比较典型的有Amdocs和SlpInfoware。

Amdocs提供了整个电信运营企业的软件支撑平台。在其ClarifyCRM产品组件中，利用数据挖掘技术支持以下应用：客户流失管理（churnmanagement）、终身价值分析（lifetimevalueanalysis）、产品分析（productanalysis）、欺诈甄别（frauddetection）。Amdocs产品中的数据分析和数据分析应用曾获得三届KDD杯奖。

2)PredictiveCRMSlpInfoware开发的PredictiveCRM软件是一个面向电信行业的CRM平台软件，其中应用了大量的数据挖掘和统计学技术。其数据挖掘部分实际上是把SASInstitute、SPSS和UNICA等公司的数据挖掘产品加以二次开发以适应电信行业的需要。数据挖掘在P-CRM中的应用包括客户保持、交叉销售、客户流失管理、欺诈甄别等方面。

8.4数据分析8.4.1概述数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。这一过程也是质量管理体系的支持过程。在产品的整个寿命周期，包括从市场调研到售后服务和最终处置的各个过程都需要适当运用数据分析过程，以提升有效性。例如J.开普勒通过分析行星角位置的观测数据，找出了行星运动规律。又如，一个企业的领导人要通过市场调查，分析所得数据以判定市场动向，从而制定合适的生产及销售计划。因此数据分析有极广泛的应用范围8.4.2数据分析流程数据分析过程概括起来主要包括：明确分析目的与框架、数据收集、数据处理、数据分析、数据展现和撰写报告等6个阶段。1)明确分析目的与框架明确分析目的与框架是进行数据分析的先决条件，为数据分析提供了方向。一个分析项目，你的数据对象是谁?商业目的是什么?要解决什么业务问题?对这都要了然于心。要基于商业的理解，整理分析框架和分析思路。例如，减少新客户的流失、优化活动效果、提高客户响应率等等。不同的项目对数据的要求，使用的分析手段也是不一样的。2)数据收集数据收集是通过数据库和其他媒介按照确定的数据分析和框架内容，有目的的收集、整合相关数据的一个过程，它是数据分析的一个基础。3)数据处理数据处理是指对收集到的数据进行加工、整理，以便开展数据分析，它是数据分析前必不可少的阶段。这个过程是数据分析整个过程中最占据时间的，也在一定程度上取决于数据仓库的搭建和数据质量的保证。数据处理主要包括数据清洗、数据转化、提取、计算等处理方法。4)数据分析数据分析是指通过分析手段、方法和技巧对准备好的数据进行探索、分析，从中发现因果关系、内部联系和业务规律，为商业目提供决策参考。5)数据展现

一般情况下，数据分析的结果都是通过图表、表格、文字的方式来呈现。借助数据展现手段，能更直观的表述想要呈现的信息、观点和建议。常用的图表包括饼图、折线图、柱形图/条形图、散点图、雷达图等、金字塔图、矩阵图、漏斗图、帕雷托图等。6)撰写报告最后阶段，就是撰写数据分析报告，这是对整个数据分析成果的一个呈现。通过分析报告，把数据分析的目的、过程、结果及方案完整呈现出来，以供商业目的提供参考。8.4.3数据分析方法常用数据分析方法有:1)聚类分析（ClusterAnalysis）3)因子分析（FactorAnalysis）5)相关分析（CorrelationAnalysis）6)对应分析（CorrespondenceAnalysis）4)回归分析2)方差分析(ANOVA/AnalysisofVariance)8.5体系架构：Hadoop8.5.1简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。Hadoop设计理念之一是扩展单一的服务器为成千上万机器的集群，且集群中每一个机器同时提供本地计算力和存储力。充分利用集群的威力进行高速运算和存储。可以用Map和Reduce方法来处理分布式计算问题时，尽可能的实现数据处理的本地化，降低由数据移动而产生的代价。每一个Map操作都是相对独立的，所有的Maps都是并行运行的，虽然实践中会受到数据源和CPU个数的影响。同样的，用一个Reduce集合来执行Reduce操作，所有带有相同key的Map输出会聚集到同一个Reduce。能够处理一般服务器不能处理的大数据量处理问题。Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodityhardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是作为ApacheNutch搜索引擎项目的基础架构而开发的。HDFS是ApacheHadoopCore项目的一部分。大数据数据的本质数据本质是生产资料和资产数据生产资料资产大数据的提出在1980年，著名未来学家阿尔文·托夫勒便在《第三次浪潮》一书中，明确提出“数据就是财富”，将大数据称为“第三次浪潮的华彩乐章”。第二次浪潮第三次浪潮第一次浪潮农业阶段，约1万年前开始工业阶段，17世纪末开始信息化阶段，20世纪50年代后期开始“如果说IBM的主机拉开了信息化革命的大幕，那么大数据才是第三次浪潮的华彩乐章。”从“数据”到“大数据”事件一事件二事件三时至今日，“数据”变身“大数据”，“开启了一次重大的时代转型”“大数据”这一概念的形成，有三个标志性事件：2008年9月，美国《自然》（Nature）杂志专刊——Thenextgoogle，第一次正式提出“大数据”概念。2011年2月1日，《科学》（Science）杂志专刊——Dealingwithdata，通过社会调查的方式，第一次综合分析了大数据对人们生活造成的影响，详细描述了人类面临的“数据困境”。2011年5月，麦肯锡研究院发布报告——Bigdata:Thenextfrontierforinnovation,competition,andproductivity,第一次给大数据做出相对清晰的定义：“大数据是指其大小超出了常规数据库工具获取、储存、管理和分析能力的数据集。”大数据的定义大数据（bigdata），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的来源随着智能手机的普及，网民参与互联网产品和使用各种手机应用的程度越来越深，用户的行为、位置、甚至身体生理等每一点变化都成为了可被记录和分析的数据，数据量呈现爆炸式增长。地球上至今总共的数据量：在2006年，个人用户才刚刚迈进TB时代，全球一共新产生了约180EB的数据；据IDC研究机构预测：到2020年，整个世界的数据总量将会增长44倍，达到35.2ZB（1ZB=10亿TB）！1PB=2^50字节1EB=2^60字节1ZB=2^70字节TBPBEB ZB在2011年，这个数字达到了1.8ZB。GB数据大爆炸大数据的来源互联网每天产生的全部内容可以刻满6.4亿张DVDGoogle每天需要处理24PB的数据网民每天在Facebook上要花费234亿分钟，被移动互联网使用者发送和接收的数据高达44PB全球每秒发送290万封电子邮件，一分钟读一篇的话，足够一个人昼夜不停地读5.5年每天会有2.88万个小时的视频上传到YouTube，足够一个人昼夜不停地观看3.3年Twitter上每天发布5000万条消息，假设10秒就浏览一条消息，足够一个人昼夜不停地浏览16年大数据到底有多大？

以上一组互联网数据大数据的来源来自大量传感器的机器数据科学研究及行业多结构专业数据来自“大人群”泛互联网数据智能终端拍照、拍视频发微博、发微信其他互联网数据随着人类活动的进一步扩展，数据规模会急剧膨胀，包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的各行业累积的数据量越来越大，数据类型也越来越多、越来越复杂，已经超越了传统数据管理系统、处理模式的能力范围，于是“大数据”这样一个概念才会应运而生。大数据的构成大数据=海量数据（交易数据、交互数据）+针对海量数据处理的解决方案海量交易数据：企业内部的经营交易信息主要包括联机交易数据和联机分析数据，是结构化的、通过关系数据库进行管理和访问的静态、历史数据。通过这些数据，我们能了解过去发生了什么。海量交互数据：源于Facebook、Twitter、微博、及其他来源的社交媒体数据构成。它包括了呼叫详细记录CDR、设备和传感器信息、GPS和地理定位映射数据、通过管理文件传输ManageFileTransfer协议传送的海量图像文件、Web文本和点击流数据、科学信息、电子邮件等等。可以告诉我们未来会发生什么。海量数据处理：大数据的涌现已经催生出了设计用于数据密集型处理的架构。例如具有开放源码、在商品硬件群中运行的ApacheHadoop。注：大数据不仅仅指的是数据量庞大，更为重要的是数据类型复杂大交易数据大交互数据大数据处理大数据集成大数据4V特征4V特征种类多（Variety）速度快（Velocity）价值高（Value）体量大（Volume）大数据与传统数据相比，数据来源广、维度多、类型杂，各种机器仪表在自动产生数据的同时，人自身的生活行为也在不断创造数据；不仅有企业组织内部的业务数据，还有海量相关的外部数据。随着现代感测、互联网、计算机技术的发展，数据生成、储存、分析、处理的速度远远超出人们的想象力，这是大数据区别于传统数据或小数据的显著特征。大数据有巨大的潜在价值，但同其呈几何指数爆发式增长相比，某一对象或模块数据的价值密度较低，这无疑给我们开发海量数据增加了难度和成本。从2013年至2020年，人类的数据规模将扩大50倍，每年产生的数据量将增长到44万亿GB，相当于美国国家图书馆数据量的数百万倍，且每18个月翻一番。大数据4V特征—价值高（Value）大数据有巨大的潜在价值，但同其呈几何指数爆发式增长相比，某一对象或模块数据的价值密度较低，这无疑给我们开发海量数据增加了难度和成本。挖掘大数据的价值类似沙里淘金，从海量数据中挖掘稀疏但珍贵的信息；价值密度低，是大数据的一个典型特征；大数据4V特征—体量大（Volume）从2013年至2020年，人类的数据规模将扩大50倍，每年产生的数据量将增长到44万亿GB，相当于美国国家图书馆数据量的数百万倍，且每18个月翻一番。1Bity1KB1MB1GB1TB1PB1EB1ZB1YB1PB相当于50%的全美学术研究图书馆藏书信息内容5EB相当于至今全世界人类所讲过的话语1ZB如同全世界海滩上的沙子数量总和1YB相当于7000位人类体内的微细胞总和一般情况下，大数据是以PB、EB、ZB为单位进行计量的大数据4V特征—速度快（Velocity）82254132215327源自英国Coda研究咨询公司大数据的增长速度快大数据的处理速度快实时数据流处理的要求，是区别大数据引用和传统数据仓库技术，BI技术的关键差别之一；1s是临界点，对于大数据应用而言,必须要在1秒钟内形成答案，否则处理结果就是过时和无效的；现在及未来几年内美国的移动网络数据流量增长（PB/月）大数据4V特征—种类多（Variety）大数据与传统数据相比，数据来源广、维度多、类型杂，各种机器仪表在自动产生数据的同时，人自身的生活行为也在不断创造数据；不仅有企业组织内部的业务数据，还有海量相关的外部数据。数据来源多企业内部多个应用系统的数据、互联网和物联网的兴起，带来了微博、社交网站、传感器等多种来源。数据类型多保存在关系数据库中的结构化数据只占少数，70~80%的数据是如图片、音频、视频、模型、连接信息、文档等非结构化和半结构化数据。关联性强数据之间频繁交互，比如游客在旅行途中上传的图片和日志，就与游客的位置、行程等信息有了很强的关联性。物联网数据行业/企业内数据互联网数据大数据大数据带来的思维变革大数据大数据的核心代表着我们分析信息时的三个转变，这些转变将改变我们理解和组建社会的方法更多更杂更好更多不是随机样本，而是全体数据更好不是因果关系，而是相关关系更杂不是精确性，而是混杂性大数据带来的思维变革—更多人口大普查全数据模式随机采样样本模式大数据应用全数据模式是指在国家统一规定的时间内，按照统一的方法、统一的项目、统一的调查表和统一的标准时点，对全国人口普遍地、逐户逐人地进行的一次性调查登记；主要特点是调查组织高度集中性，普查对象的全面完整性；人口大普查耗时耗费，一般来讲是十年一次，新中国成立以来共进行了6次人口大普查；人口大普查是一种典型的全数据模式；大数据时代小数据时代大数据带来的思维变革—更多人口大普查全数据模式随机采样样本模式大数据应用全数据模式人口大普查是一种耗时耗费的工程，一般是以十年为单位；各国每年需要进行几百次的小规模人口调查，采取随机采样分析的方式，这是一种样本模式；源于实用并且很好的创新！随机采样分析是小数据时代的产物；大数据时代小数据时代大数据带来的思维变革—更多人口大普查全数据模式随机采样样本模式大数据应用全数据模式我们已具备了大数据的各种技术能力，思维需要转换到大数据的全数据模式：样本=全部；大数据不用随机分析法这样的捷径，而采用所有数据的方法；这里的“大”是相对的——相扑比赛所有数据存储还不需要一个TB，但是是所有的数据！在大数据时代采用随机采样法，就像在汽车时代骑马一样，虽然特定情况下仍可采样随机采样法，但是慢慢地我们会放弃它；大数据时代小数据时代大数据带来的思维变革—更好佛教《三世因果经》主要讲：一是人的命是自己造