海量数据管理及大数据培训讲义

海量数据管理及大数据海量数据管理及大数据培训讲义第1页大数据发展2海量数据管理3大数据应用4大数据时代机遇和挑战5大数据定义和特征1海量数据管理及大数据培训讲义第2页什么是数据？数据信息知识原始数据点数字、文字、图片、视频等有价值数据集合含有特定意义可为决议提供依据含有可破译性、关联性、新奇性和价值性加工后信息举例：-100万（没有任何意义）A企业今年利润-100万（包含信息，意味着亏损）A企业今年亏损100万，我应该抛出手中该企业股票（为决议服务）≠≠海量数据管理及大数据培训讲义第3页数据：是事实或观察结果，是对客观事物逻辑归纳，是用于表示客观事物未经加工原始素材。，全球产生数据量0.80ZB；年，全球产生数据量1.20ZB；20，全球产生数据量1.82ZB。截止20，人类全部生产印刷材料数据量200PB，全人类历史所说话数据量大约为5EB整个人类文明中，90%数据是过去两年产生到20，数据规模将是今天44倍。bitByteKBMBGBTBPBEBZBYBBBNBDB810241024102410241024102410241024102410241024海量数据管理及大数据培训讲义第4页大数据定义麦肯锡全球研究院（）对大数据定义是从数据集大致量入手：大数据是指那些规模大到传统数据库软件工具已经无法采集、存放、管理和分析数据集。baidu百科对大数据定义是:大数据(BigData)，或称巨量资料，指因为容量太大和过于复杂，无法在一定时间内用常规软件对其内容进行抓取、管理、存放、检索、共享、传输和分析数据集。维克托∙迈尔-舍恩伯格（）在《大数据时代》一书中主要从价值大角度来定义大数据，他认为大数据是当今社会所独有一个新型能力：以一个前所未有方式，经过对海量数据进行分析，取得有巨大价值产品和服务，或深刻洞见。海量数据管理及大数据培训讲义第5页大数据特征大数据5V特点:Volume、Velocity、Variety、Value、Veracity海量数据管理及大数据培训讲义第6页Volume大量存放量+计算量广州超算中心16000个运算节点312万个计算关键整体总计内存1.408PB12.4PB硬盘阵列海量数据管理及大数据培训讲义第7页数据体量巨大。从TB级别跃升到PB级别。Volume大量Velocity高速处理速度快。1秒定律。这一点也是和传统数据挖掘技术有着本质不一样。数据更新、增加速度快Facebook上每秒有4.1万张照片上传，淘宝每秒有数万笔交易。+数据存放、传输等处理速度快海量数据管理及大数据培训讲义第8页数据体量巨大。从TB级别跃升到PB级别。Volume大量Velocity高速处理速度快。1秒定律。这一点也是和传统数据挖掘技术有着本质不一样。Variety多样数据类型繁多。不但包含传统关系数据类型，也包含以网页、音视频、文档等形式存在未加工、半结构化和非结构化数据。海量数据管理及大数据培训讲义第9页数据体量巨大。从TB级别跃升到PB级别。Volume大量Velocity高速处理速度快。1秒定律。这一点也是和传统数据挖掘技术有着本质不一样。Variety多样数据类型繁多。不但包含传统关系数据类型，也包含以网页、音视频、文档等形式存在未加工、半结构化和非结构化数据。Value价值

价值密度低。但庞大数据中蕴含着新知识，以及极其主要预测价值。海量数据管理及大数据培训讲义第10页Veracity真实

真实性或许是最难处理问题。假如你不相信数据本身、数据起源、或者你正在使用判断哪些数据点是主要流程，那么你就会被真实性问题所困扰。大数据存在最严重问题之一是其有滚雪球式错误倾向。用户输入错误、冗余、腐败都会影响数据价值。你聘请咨询企业需要帮你清理现有数据，并将流程恢复到位，降低日后脏数据积累。海量数据管理及大数据培训讲义第11页大航海时代，早期因为对潮汐、风和洋流等知识缺乏，远洋航海不但效率低下，而且充满危险。大数据前世今生马修·方丹·莫里曾是一名优异美国海军军官，在一次偶然事故后被迫退伍。随即，他与20个志同道合数据处理者一起，整理了全部旧航海图上信息，并绘制了一张拥有120万数据点航海图。经过分析这些数据，莫里知道了一些良好天然航线，这些航线上风向和洋流都非常利于航行。他所绘制图表使航海旅程降低，也变得更安全。莫里航海图，最早大数据实践海量数据管理及大数据培训讲义第12页年年Gartner研究指出，当代信息社会信息爆炸已经演变成了数据爆炸。年年《Nature》杂志出版专刊“BigData”，分析了大量快速涌现数据给数据分析处理带来巨大挑战。《Science》推出关于数据处理专刊“Dealingwithdata”，讨论了数据洪流（DataDeluge）所带来挑战。5月麦肯锡全球研究院公布了《大数据：创新、竞争和生产力下一个领域》研究汇报。3月奥巴马总统宣告美国政府投资逾2亿美元开启“大数据研究和发展计划（BDRDI）”。5月，联合国发表名为《大数据促发展：挑战与机遇》政务白皮书。大数据时代海量数据管理及大数据培训讲义第13页大数据发展伴随一系列标志性事件发生和建立，人们越发感觉到大数据时代力量。所以被许多国外媒体和教授称为“大数据元年”。Information二十世纪中后期Industry十八世纪中叶DataAgricultural一万年前海量数据管理及大数据培训讲义第14页1、智能终端普及2、网络带宽提升3、电子商务狂热4、社交网络流行5、位置信息6、云计算兴起7、物联网时代到来海量数据管理及大数据培训讲义第15页海量数据管理及大数据培训讲义第16页海量数据管理及大数据培训讲义第17页海量数据管理海量数据管理及大数据培训讲义第18页大数据管理技术数据采集技术：系统日志采集、网络数据采集、终端采集数据存放技术：关系数据库、NOSQL、SQL基础架构：云存放（云计算）、分布式文件存放数据处理技术：自然语言处理（计算语言学）结果展现技术：云计算、标签云、关系图等统计分析技术：假设检验、回归分析、聚类分析、判别分析、对应分析、因子分析等数据挖掘技术：分类、预计、预测、描述和可视化、复杂数据类型挖掘等模型预测技术：预测模型、机器学习、建模仿真等海量数据管理及大数据培训讲义第19页大数据起源海量数据管理及大数据培训讲义第20页社交媒体如微博、微信、人人网、facebook等，经过这些大众惯用社交平台，能够分析用户平时在这些社交媒体上行为动向，归纳出用户喜好或关注点，这些能够为企业挖掘用户需求提供主要依据。海量数据管理及大数据培训讲义第21页越来越多机器配置了连续测量和汇报运行情况装置。这些机器传感数据也属于大数据范围。海量数据管理及大数据培训讲义第22页一些视频、音频设备等产生数据如一些大型超市，经过监控器观察消费者在超市购物整个流程，从而对商品进行合理摆放，促进对一些商品间接促销。海量数据管理及大数据培训讲义第23页企业内部本身一些行业数据等等。海量数据管理及大数据培训讲义第24页大数据数据采集方法海量数据管理及大数据培训讲义第25页系统日志采集方法很多互联网企业都有自己海量数据采集工具，多用于系统日志采集，如HadoopChukwa，ClouderaFlume，FacebookScribe等，这些工具均采取分布式架构，能满足每秒数百MB日志数据采集和传输需求。海量数据管理及大数据培训讲义第26页网络数据采集方法：对非结构化数据采集网络数据采集是指经过网络爬虫或网站公开API等方式从网站上获取数据信息。该方法能够将非结构化数据从网页中抽取出来，将其存放为统一当地数据文件，并以结构化方式存放。它支持图片、音频、视频等文件或附件采集，附件与正文能够自动关联。除了网络中包含内容之外，对于网络流量采集能够使用DPI或DFI等带宽管理技术进行处理。海量数据管理及大数据培训讲义第27页其它数据采集方法对于企业生产经营数据或学科研究数据等保密性要求较高数据，能够经过与企业或研究机构合作，使用特定系统接口等相关方式采集数据。海量数据管理及大数据培训讲义第28页存放问题

处理大数据存放效率两方面：–

容量–

吞吐量

容量–

单硬盘容量提升：MB

→

GB

→

TB

→

┈–

系统整体容量提升：DAS、NAS、SAN

吞吐量

=

传输数据量

/

传输时间–

单硬盘吞吐量提升：转速、接口、缓存等–

节点吞吐量提升：RAID、专用数据库机海量数据管理及大数据培训讲义第29页提升吞吐量

RAID：Redundant

Array

of

Inexpensive

Disks，冗余磁盘阵列–

把多块独立硬盘按一定方式组合起来形成一个硬盘组，从而实现高性能和高可靠性–

RAID0：连续以位或字节为单位分割数据，并行读/写于多个磁盘上，提升吞吐量海量数据管理及大数据培训讲义第30页多核技术

Moor定律：当价格不变时，集成电路上可容纳晶体管数目，约每隔18个月便会增加一倍，性能也将提升一倍。

采取多核（Multi-core）技术提升IPC，从而突破性能提升瓶颈。指令数主频海量数据管理及大数据培训讲义第31页IPS

MF

IPC

多处理器技术

多处理器技术关键：

按处理器之间关系能够分为两类：

1

F

1

F

/

N

非对称多处理器架构（ASMP）––––不一样类型计算任务或进程由不一样处理器执行简单，操作系统修改小低效早期过渡性架构对称多处理器架构（SMP）––––全部处理器完全对等计算任务按需分配高效普遍采取海量数据管理及大数据培训讲义第32页并行模式独立并行–两个数据操作间没有数据依赖关系––能够采取独立并行方式分配给不一样处理器执行例：两个独立数据集Scan操作流水线并行–多个操作间存在依赖关系，且后一个操作必须等候前一个操–作处理完后方可执行将多个操作分配给不一样处理器，但处理器间以流水线方式执行–例：Scan

→

Sort

→

Group分割并行–数据操作输入数据能够分解为多个子集，且子集之间相互独立–分割为若干独立子操作，每个子操作只处理对应部分数据，并将这些子操作配到不一样处理器上执行–例：

Scan

→

Merge海量数据管理及大数据培训讲义第33页并行系统架构共享内存（Shared

Memory，SM）–多个处理器，多个磁盘，一个共享内存，经过数据总线相连–处理器间共享全部磁盘和内存–––结构简单，负载均衡数据总线成为瓶颈，可扩展性较差，共享内存单点故障适合处理器较少（≤8）小规模并行数据库共享磁盘（Shared

Disk，SD）–多个处理器，每个处理器拥有独立内存，多个磁盘，处理器与磁盘通过数据总线相连–––处理器间共享全部磁盘容错性提升共享磁盘成为性能瓶颈，需要额外维护内存与磁盘间数据一致性无共享（Shared

Nothing，SN）–每个处理器拥有独立内存和若干磁盘，经过高速网络相连–处理器独立处理所管理数据–––––数据传输量小，效率高可扩展性强节点间交换数据开销较大适合处理器数量较大大规模并行系统后期发展主流海量数据管理及大数据培训讲义第34页计算任务容错

计算任务容错关键问题：–

故障监测–

计算数据定位与获取–

任务迁移海量数据管理及大数据培训讲义第35页大数据处理模式

大数据处理模式大数据应用类型有很多，主要处理模式可以分为流处理和批处理两种．批处理是先存放后处理，而流处理则是直接处理流处理流处理基本理念是数据价值会伴随时间流逝而不停降低，所以尽可能快地对最新数据作出分析并给出结果是全部流数据处理模式共同目标．需要采取流数据处理大数据应用场景主要有网页点击数实时统计、传感器网络、金融中高频交易等．流处理处理模式将数据视为流，源源不停数据组成了数据流．当新数据到来时就立刻处理并返回所需结果．批处理关键是：１）将问题分而治之，相同类型数据集中处理；２）把计算推到数据而不是把数据推到计算，有效地防止数据传输过程中产生大量通信开销．海量数据管理及大数据培训讲义第36页大数据时代管理启示大数据分析，将只有在少数情况下采取随机样本分析法，而大多数时候应进行全部数据分析大数据要求我们有所改变，无须追求准确性，而应该接收混乱与不确定性不是因果关系，而是相关关系。在大数据时代，我们无须非得知道现象背后原因，而是要让数据自己“发声”数据化，一切皆可量化。信息技术非常主要数据创新能产生取之不竭价值。大数据真实价值就像飘浮冰山，第一眼只能看到冰山一角，而绝大部分都隐藏在表面之下我们正处于大数据时代早期，思维和技术是最有价值，但最终大部分价值还是必须从数据本身中挖掘风险，让数据主宰一切隐忧。我们总是以群体方式存在，并表达出群体性风险特征。要挖掘大数据价值，更要预防大数据挖掘带来风险海量数据管理及大数据培训讲义第37页大数据应用海量数据管理及大数据培训讲义第38页大数据挖掘商业价值方法主要分为四种（1）客户群体细分，然后为每个群体量定制尤其服务。（2）模拟现实环境，发掘新需求同时提升投资回报率。（3）加强部门联络，提升整条管理链条和产业链条效率。（4）降低服务成本，发觉隐藏线索进行产品和服务创新。海量数据管理及大数据培训讲义第39页

大数据应用：

利用大数据分析结果，为用户提供辅助决议，发掘潜在价值过程。

从理论上来看：全部产业都会从大数据发展中受益。但因为数据缺乏以及从业人员本身原因，第一、第二产业发展速度相对于第三产业来说会迟缓一些。海量数据管理及大数据培训讲义第40页大数据在几个领域中应用企业内部大数据应用

市场方面：利用大数据关联分析，更准确地了解消费者使用行为，挖掘新商业模式。

销售规划方面：经过大量数据比较，优化商品价格。

运行方面：提升运行效率和运行满意度，优化劳动力投入，准确预测人员配置要求，防止产能过剩，降低人员成本。

供给链方面：利用大数据进行库存优化、物流优化、供给商协同等工作，能够缓解供需之间矛盾、控制预算开支，提升服务。海量数据管理及大数据培训讲义第41页实例：

当然最经典应用还是在电子商务领域，天天有数以万计交易在淘宝上进行，与此同时对应交易时间、商品价格、购置数量会被统计，更主要是，这些信息能够与买方和卖方年纪、性别、地址、甚至兴趣兴趣等个人特征信息相匹配。

淘宝数据魔方是淘宝平台上大数据应用方案，经过这一服务，商家能够了解淘宝平台上行业宏观情况、自己品牌市场情况、消费者行为情况等，并能够据此进行生产、库存决议，而与此同时，更多消费者也能以更优惠价格买到更心仪宝贝。海量数据管理及大数据培训讲义第42页而阿里信用贷款则是阿里巴巴经过掌握企业交易数据，借助大数据技术自动分析判定是否给予企业贷款，全程不会出现人工干预。据透露，截至当前阿里巴巴己经放贷300多亿元，坏账率约0.3%左右，大大低于商业银行。海量数据管理及大数据培训讲义第43页物联网大数据应用

物联网不但是大数据主要起源，还是大数据应用主要市场。在物联网中，现实世界中每个物体都能够是数据生产者和消费者，因为物体种类繁多，物联网应用也层出不穷。

海量数据管理及大数据培训讲义第44页实例：在物联网大数据应用上，物流企业应该有深刻体会。UPS快递为了使总部能在车辆出现晚点时候跟踪到车辆位置和预防引擎故障，它货车上装有传感器、无线适配器和UPS。同时，这些设备也方便了企业监督管理员工并优化行车线路。UPS为货车定制最正确行车路径是依据过去行车经验总结而来。，UPS驾驶员少跑了近4828万公里旅程。

海量数据管理及大数据培训讲义第45页UPS司机普通天天要送120至175次货。在任何两个目标地之间，都能够选择多条路线。显然，司机和UPS想要找到其中最有效率那条。UPS行车路线选择所以UPS利用大数据分析打造了一个名为Orion道路优化与导航集成系统，能够在约3秒内找出最正确路线。，UPS驾驶员少跑了5000万公里路，节约了300万加仑燃料，少排放了3万立方公吨二氧化碳。海量数据管理及大数据培训讲义第46页面向在线社交网络大数据应用

在线社交网络大数据主要来自即时消息、在线社交、微博和共享空间4类应用。因为在线社交网络大数据代表了人各类活动，所以对于这类数据分析得到了更多关注。在线社交网络大数据分析是从网络结构、群体互动和信息传输3个维度，经过基于数学、信息学、社会学、管理学等多个学科融合理论和方法，为了解人类社会中存在各种关系提供一个可计算分析方法。当前，在线社交网络大数据应用包含网络舆情分析、网络情报搜集与分析、社会化营销、政府决议支持、在线教育等。海量数据管理及大数据培训讲义第47页4月，美国计算搜索引擎WolframAlpha,经过对Facebook中100多万美国用户社交数据进行分析，试图研究用户社会行为规律。依据分析发觉，大部分Facebook用户在20岁出头时开始恋爱，27岁左右时订婚，30岁左右结婚，而30~60岁之间，婚姻关系改变迟缓。这个研究结果与美国人口普查数据相比，几乎完全一致。实例：圣克鲁斯警察局是美国警界最早应用大数据进行预测分析试点，经过分析社交网络，能够发觉犯罪趋势和犯罪模式，甚至能够对重点区域犯罪概率进行预测。海量数据管理及大数据培训讲义第48页医疗健康大数据应用医疗健康数据是连续、高增加复杂数据，蕴涵信息价值也是丰富多样。对其进行有效存放、处理、查询和分析，能够开发出其潜在价值。对于医疗大数据应用，将会深远影响人类健康。海量数据管理及大数据培训讲义第49页实例：安泰保险为了帮助改进代谢综合症预测，从千名患者中选择102个完成试验。在一个独立试验室工作内，经过患者一系列代谢综合症检测试验结果，在连续3年内，扫描600000个化验结果和18万索赔事件。将最终结果组成一个高度个性化治疗方案，以评定患者危险原因和重点治疗方案。这么，医生能够经过食用他汀类药品及减重5磅等提议而降低未来内50%发病率。或者经过你当前体内高于20%含糖量，而提议你降低体内甘油三酯总量。海量数据管理及大数据培训讲义第50页微软HealthVault，是一个出众医学大数据应用，它是公布，目标是希望管理个人及家庭医疗设备中个人健康信息。现在己经能够经过移动智能设备录入上传健康信息，而且还能够第三方机构导入个人病历统计，另外经过提供SDK以及开放接口，支持与第三方应用集成。海量数据管理及大数据培训讲义第51页群智感知伴随技术发展，智能手机和平板电脑等移动设备集成了越来越多传感器，计算和感知能力也愈发强大。在移动设备被广泛使用背景下，群智感知开始成为移动计算领域应用热点。大量用户使用移动智能设备作为基本节点，经过蓝牙、无线网络和移动互联网等方式进行协作，分发感知任务分发，搜集、利用感知数据，最终完成大规模、复杂社会感知任务。群智感知对参加者要求很低，用户并不需要相关专业知识或技能，只需拥有一台移动智能设备。海量数据管理及大数据培训讲义第52页实例：众包（crowdsourcing）是一个极具代表性群智感知模式，是一个新型处理问题方式。众包以用户为基础，以自由参加方式分发任务。当前众包己经被利用于人力密集应用，如语言翻译、语音识别、图像地理信息标识、定位与导航、城市道路交通感知、市场预测、意见挖掘等。众包关键思想是将任务分而治之，经过参加者协作来完成个体不可能或者说根本想不到要完成任务。无需布署感知模块和雇佣专业人员，众包就能够将感知范围扩展至城市规模甚至更大。海量数据管理及大数据培训讲义第53页其实，众包应用早于大数据兴起，宝洁、宝马、奥迪等许多企业都曾借助众包提升本身研发和设计能力。而在大数据时代，空间众包服务（spatialcrowdsourcing）成为了大家关注热点。空间众包服务工作框架以下:服务请求方要求获取与特定地点相关资源，而愿意接收任务请求参加者将抵达指定地点，利用移动设备获取相关数据（视频、音频或图片），最终将这些数据发送给服务请求方。伴随移动设备使用高速增加以及移动设备提供功效越来越复杂，能够预见空间众包将会变得比传统形式众包服务愈加流行海量数据管理及大数据培训讲义第54页.智能电网智能电网，是指将当代信息技术融入传统能源网络组成新电网，经过用户用电习惯等信息，优化电能生产、供给和消耗，是大数据在电力系统上应用。智能电网能够处理以下几方面问题：

（1）电网规划：经过对智能电网中数据进行分析，能够知道哪些地