2021年咨询工程师继续教育讲义-大数据技术、市场、产业与投资

大数据技术、市场、产业与投资

影响未来技术变革

・大数据时代。iPhone手机的运算能力能让上世纪70年代的IBM主机自愧

不如。互联网正演变为“云”网络------个由数以千计的数据中心组成的网络，

每一个数据中心都可以让1990年的任何一台超级计算机看上去像是洪荒年代的

产物。惊人的数据处理能力使以往无法想象的服务和业务成为了可能。

・智能化生产。这是一个近乎完美的计算化设计和制造的时代，它将令我们

制造产品的方式产生巨大改变，而这个时代的决定性力量将是高素质人才而不是

廉价劳动力。

•无线网络革命。无线连接的成本快速下降，其意义如同电报和电话刚刚出

现所带来的深远影响。结合云计算，无线技术给所有地点的几乎所有人带来了低

成本的连接、信息和处理能力。

-《华尔街日报》网站2013年4月22日文章：科技引领的繁荣即将到来

互联网上的一分钟

WhatHappensinanInternetMinute?

AndFutureGrowthisStaggering卜日琲^当a--------

----------J震幺i8万次n才

什么正在发生?

i

当下，五大力量的消长：

♦快递消灭渠道

♦网银支付消灭终端

♦SNS（社交化媒体）消灭传统媒体

♦SEO（搜索引擎优化）消灭广告

♦客户端消灭逛街

一一阿里、腾讯、百度、小米、乐视等代表了进攻方力量。

电商的顾客在“空中”即被拦截，央视媒体的饱和轰炸，也不能改变消费者

购物路径迁移的趋势。2013年马云与王健林1亿元对赌电商份额，以2014年王

健林的主动取消而告结束。形势比人强：线下店商无法阻挡线上电商对零售份额

的瓜分。2013年，从李宁到好想你，百货商场的关店潮蔓延到品牌连锁店，已

经充分说明，传统商业形态的模式红利已经走到了尽头。

提纲

新经济模式及变革性

大数据技术及其影响

商业生态系统重塑

产品生产与交付按需而动服务戴字化带来体黔蜉

可口可乐逢SKSSS.S32快

竞争显费$单一竟争向生态竟争转变

.占和用TSazi/35IAE•钟西波镇现26000.合慨租33B

g-理务均耳其K4红利闺IT意为国内3金

・乐况由内8♦酶♦窃＞*¥8传的电旷亶•2013年,百陋询于Wi

墨芬竞争S—百3m解僦翩.

虚拟与现实边界跨越

2

现实中的个人虚拟与现实

结合

曲Kinecttr吩后

*Xo®*Xo«WMS

现实中的企业BP的

020M吻联

数据生产力倍增效应

产业业态的深度融合

♦产业融合：是指由于技术进步和管制放松，发生在产业边界和交叉处的技

术融合，改变了原有产业产品的特征和市场需求，导致产业的企业之间竞争合作

关系发生改变，从而导致产业界限的模糊化甚至重划产业界限。

♦产业融合带来传统产业边界的模糊化和产业服务化趋势，意味着产业间新

型竞争协同关系的建立和更大的复合经济效应。

♦产业融合具有全方位、跨行业、深层次、超国界的深远影响。

3

高新技术的渗透融合产业间的延伸融合产业内部的重组融合

安，的“&厅馒■财心

・・，•・•・,.■，，・，・・

2

日/千守

・(«・•・・・・・•••«♦••・

・・•・“•《•••/*•・••

机器人时艮究员互联网&金融手机&应用服努

组织模式的加速变革

♦信息技术应用加速制造方式变革，通过网络协作彻底颠覆制造业组织模

式。

♦新材料、廉价机器人、智能软件、在线服务和3D打印机等综合应用，将

催生大量中小企业进行低成本、小批量生产，小作坊、在家里、车库都可以生产。

传统流水线生产模式:利用互联网组织生产:

—面对大众市场—面对小众人群

一一提供标准产品一一提供个性产品

一一按标批里生产一一按需定制服务

一一平均利闰水平一一简化中间环节

一一维持较高利词

m蕈

雨

物流酉d送体系委托贴牌生产外包质里控制

新兴业态的快速兴起

信息技术加速与传统产业融合

E电子政务•

产对象识别・SmartObjocl"

业无线电子等名・

链谓礴•移动依华・

移动电子钱包•

融移动条形叫•应按工作组■

合移动川星电视.健康收挣,

漕

媒行业

也动游戏・精・定位

•金融行业

IWPS，视频国付・WLAN>

PTT•Phone广泛的行业融合零售行业

可视电话.嵯体克,”创生新的业务存

我一消息・制造行业

家庭监控・在形式

教育行业

E110>P1M•口最导航收务・和商业模式

数字版权・医疗行业

MMS娱乐业协

下或

a螭;信行业应用・

复杂性/年作性

200720082010

GPRSEDGEHSDPAWiMaxE3GB3G

端设备快速增长

Numberofhosts

[JOOO.O0010co

100,000j000

10,000X)00

1.000X)00

S1oox)oo

:10J0O0

bijooo

q

■100

10

1

197019751980198519501995200020052010

使用人数、时间增加

5

同艮喇i

办(m

810%

施xos方濠踊圳aiim加舵*U“I

・♦1-SWUI•2012>2013

知5IC**S*RH2C，mt魁U懂球出Bi201312

2012处13年肚支付用用及施

大数据的来源

大数据就是对多样化的海量数据进行快速处理与分析，从而获取巨大商业价

值的理念、技术和服务。

交互数据传感数据WID视频监控

多样AA想』

6

大数据爆发式增长

狗？理播？

♦201K15B5A

粪偎WW

12ZB

所存储的值显为-1

1EB

♦百蚪2岫

5iffira»±iPBp

rog3~5部离W蓝

TB/

2000

口全球新产生的数据年增40%,全球信息总量每两年就可以翻番！

口其中非结构化内容超过85%!

大数据价值的供应链

大数据指一切与大数据组织管理和价值发现相关的活动集合。包括用以搭建

大数据平台、实现大数据存储、处理、分析、展示的相关IT基础设施与软件的

销售和租赁活动，以及相关信息服务。

件学跳Hxioopmm：sr%SASNCRmmHMB»

mtftit：e«»i$P$$分快6MMSASIBM

5“彷"人大Bl：IBMOacto0T件SAP

AV99ShtB

MMOtKteSASUHRTAl®MGOO0WTa

MWWZIIgChrortelAS/HNRS9VignttwEpriMfM分■军材mce

BS¥t:S皿n"trt网a化SgScopeSp*c»tMB分新军itAmwonGooQte

那箱MMQ存*出特）晔r牌M务

—————一,

K>SGPS

it

俨1CMS»KWX»1Aft■猊

AMyi

4MIirrwt

r^AWtRM11NM*ratan।mu

1SANi哀sm1RIB

nvntF«me<N.'1Rvn।

1।“K।MK元

1MT9i,而金

大数据四大特征

7

海事化Volume

■全球数据量爆发式增长，从TB级别跃升到PB乃至EB级别

■全球可统计的数据存储量2015年将超过8ZB

多样化Variety

■网络日志、音频、视频、图片、地理位置等非结构化数据

■非结构化数据占全部数据的80%~90%

■非结构化数据的增长速度比结构化数据快10倍以上

快速化elocity

■对数据的实时分析需求取代批量化分析需求

■实时分析、实时洞察、快速响应

价值化Value

■蕴含巨大价值，成为企业的新型资产

■价值密度低，需要深度挖掘分析

大数据变革性影响

社会管理

＞交通管理

＞舆情监控

经验治理科学治理＞应急管理

化＞卫生服务，

■

数企业创新

,＞消费行为分析

里＞网络品牌营徜

产业务驱动数据驱动＞广告精准投放

化

＞业务风险视吃

生活空间e

r

m

?i

化简单平面多维泛在

nrw

.：

大数据三个方面的应用

1.拓展传统的商业智能(BI)领域。以前针对大数据量的统计、关联分析、

趋势预测由抽样变成全量分析、将数据回流到各种报表。

2.业务流程改进。对各种数据进行聚合分析，用来做业务流程改进和考核的

依据。

3.数据商品化。通过对已有数据或数据处理能力进行服务化或产品化包装,

8

形成数据产品或数据服务。

1.智能分析（BI）——实现精准营销

在保险客户生命周期（包括：潜在客户获取、客户接触、客户成熟、客户价

值衰退、客户流失）的不同阶段，企业选取不同的策略，基于大数据系统对客户

进行细分（包含产品偏好、服务偏好、消费方式偏好、风险偏好）。

试点结果：提升度1.935倍

1.智能分析（BI）——结果预测

9

大数据助力奥马巴选举

奥巴马竞选团队有数千名志愿者，通过社交网络和微博数据，挖掘团队能利

用这个数据库来进行分析，针对不同类型的选民测试采取不同的宣传策略；

运行66000个计算机分析舆情数据并建立选民档案，实施提供相关舆情报

告。

棱镜门

“棱镜”项目2007年启动。国安局的电话记录数据库至少已有7年。项目

年度成本2000万美元，自奥巴马上任后日益受重视。2012年，作为总统每日简

报的一部分，项目数据被引用1477次，国安局至少有1/7的报告使用项目数据。

大数据成功预测选举结果

微软纽约研究院的经济学家DavidRothschild根据网络舆情在2012年预测

美国总统选举结果，对51个选区预测命中其中50个，准确率达到98%o在2013

年奥斯卡奖项的预测中，全部猜中。

同时运行66000个计算机分析数据并建立选民档案，例如某个选民在

Facebook或者Twitter上的大部分帖子都是关于环保和医疗成本，就可通过电

子邮件发一条源自奥巴马专门谈论环境问题的信息，让该选民有理由支持总统连

任。

2.业务流程改进一一攻防战略调整

10

2.业务流程改进一一互联网金融

三大变革性影响

支付革命

♦第三方支付（250多家，每年100%增长）

♦移动支付（4.5亿移动用户，2012年1500亿）

♦网络借贷（300余家P2P,12年总额超600亿）

♦众筹投资（人人贷，去经营化革命）

♦碎片化理财（余额宝，几天超过200亿）

服务模式

从“以产品为中心”转向“以客户为中心”

从“尊重客户”转向“尊重客户体验”

从“以金融为核心”转向“技术+金融”结合

从“关注大企业”转向“服务小微企业”

盈利手段

主要盈利手段：

一是利息收入

11

二是支付手续费；

渠道被分流，客户在流失，去中介化明显

1.第三方支付。银行的两大功能，在支付领域发展得非常快，第三方支付现

在已经批了250家了差不多，他们的这个增长，牌照200多家还在批，他们增长

几乎是每年100%以上，现在超过2万亿，很快就4万亿，说到2016年就十几万

亿，这个量非常大，但是这些正像晓灵说的，有它存在的必然性，它是大量的小

的频繁发生的，非常快捷的这种淘宝网上发生的，这些说实在的银行真的没人家

方便。

2.移动支付。第二个就是移动支付也是基于互联网的业务，移动支付发展也

非常快，因为现在移动支付，现在中国的移动支付手机都4.5亿了，去年的交易

量是1500亿，可能到2013年就超过1万亿，爆炸式的增长。

3.网络借贷。网络借贷的风波是2007年从上海登陆，现在到2012年我们的

P2P的网络平台已经超过300家，在中国，整个贷款总额大约超过600亿，现在

数额不是很大。但是这件事儿它是呈燎原之势，发展非常快。

4.众筹投资。一个是人人贷，这个是纯属的互联网金融，众筹投资掀起了一

个去经营化的这样一个大众融资革命，但是在中国好像还受到很多限制，在美国

发展比较快，特别是预消费成为一种新的潮流的时候，众筹投资的消费不仅仅是

拿出一个项目来吸引投资，针对音乐、游戏、初创企业、应用程序、时尚设计，

包括你设计一个影片的创意，都可以筹资。

5.余额宝带来的碎片化理财模式。再有一个刚才讲到理财.，过去银行都是拿

手的，但是现在余额宝推出以后，刚才讲到，通过网络销售基金产品，这个就可

以把现在大额理财变成一个碎片化的理财，最小10块钱，我觉得这个可能将来

对于广大老百姓，可能会有一点影响，喜欢碎片的理财;因为余额宝才几天就

200亿了，而且现在还有很多的在继续申请余额宝这样的一个产品，你既然放开

了，那就不是一家了。所以我想现在通过网络做金融，这几方面发展比较快。那

么就这几方面，就足够提醒商业银行不可轻视了，一个是商业银行面临金融中介

角色的弱化问题。因为过去商业银行他也是信息流、资金流的集中。商业银行获

取信息，现在远没有互联网企业这么宽泛、这么快，而且互联网企业的开放性决

定他对信息的集成要比商业银行更敏感，这是互联网的优势。

2.业务流程改进一一阿里金融

12

阿里巴巴是中国领先的b2b电子商务公司。淘宝是其重要子品牌，截至2009

年底，淘宝拥有注册会员1.7亿，交易额为2083亿人民币，2010年交易额达4000

亿元人民币。是亚洲最大的网络零售商圈。今年双H^一1分钟内交易额突破1

亿；1小时内突破67亿，成交超2500万单。

阿里公司根据在淘宝网上中小企业的交易状况进行数据分析和筛选，实施阿

里互联网金融。

-小额贷：累计服务25万家企业，贷款总额过800亿，户均6万，不良

率1.02%（银行小微企业为5.5%〜6%）；

——余额宝：最低转入为1元，1600万用户，七日年化收益率为4.54%；

—众安保险：注册资本10亿元，是一家基于大数据的创新型互联网保险

公司。

阿里金融核心：量化之路

依托自身在网络体系内的巨大客户数据，进行一系列数据分析挖掘和风险评

估；

内部数据：交易，评价、货运、口碑等；

外部数据：海关、税务、电力、水力等；

阿里“玩”大数据

十大数ttOFR•个时代叼.押”可H交M敷蛔的问甲巴巴.

已经VU乂到达足•岸富炉.霜开曲旭刘公久过河

・■・—

2.业务流程改进一一智能交通系统

13

3.数据商品化一一数据魔方

自2006年第一位会员登录麦包包官网，麦包包至今共卖出箱包1974万余个,

遍布全国596个城市；

数据魔方主页的“包包中国地图”，标识每个地区人群购包特征。例如：

♦华东消费者喜欢“高价比”；

♦华南地区最钟爱复古风；

♦浙江人最爱牛皮包；

♦江苏喜欢追随日韩风。

14

麦八卦你不知道的箱包小秘密

北京驴友多：月购入旅行包4592个；

上海摄影师多：月购入摄影包1654个；

四川大学男生以15.4%购买女包比例荣获最浪漫男生榜第一名;

浙江大学的女生以15.6%的购包比例成为最爱美女生。

大数据技术的挑战（一）

・数据管理一一数据来自不同地方和不同标准，数据量大小、结构形式、实

时性等要求不同，增加采集、编索与整合的困难，需要对传统的数据传输工具

ETL（提取、转换和加载）流程进行重新设计。

15

・数据存储一一传统的集中式数据库、数据仓库系统已经不能有效的处理大

数据的存储和分析，需要分布式处理，Hadoop就是分布式结构化数据存储方案。

・数据计算一一大量的仿真和计算任务必须协调数百个参数，大多数数据挖

掘算法有很高的计算复杂度（N2）,而不是Nlog（N）或N,需要实时操控超量

和耗时的计算任务或者能够可视化中间的计算结果。当前主要是采用以GPU为核

心的硬件架构与以谷歌MapReduce为基础的软件并行处理框架。

大数据技术的挑战（二）

・数据挖掘一一为了处理具有高维特征的图像等多媒体数据