华为理解大数据及大数据发展趋势

huawei理解大数据及大数据发展趋势2Huawei

大数据趋势和发展大数据处理技术运营商与大数据大数据应用场景华为大数据及数据挖掘解决方案大数据及人工智能应用3Huawei

美国G8八国集团发布了《G8开放数据宪章》，提出要加快推动数据开放和利用。欧盟力推《数据价值链战略计划》，用大数据改造传统治理模式，降低公共部门成本，并促进经济增长和就业增长。英国政府发布《英国数据能力发展战略规划》，旨在利用数据产生商业价值、提振经济增长，承诺2015年之前开放交通、天气、医疗方面的核心数据库。安倍内阁正式公布新IT战略《创建最尖端IT国家宣言》，以开放大数据为核心的IT国家战略。2015年3月的两会上，总理明确表态，政府应该尽量地公开非涉密的数据，以便利用这些数据更好的服务社会，也为政府决策和监管服务。2017年5月28日,在“2017中国国际大数据产业博览会”上,由大数据战略重点实验室研究编著,社会科学文献出版社出版的全国首部《大数据蓝皮书:中国大数据发展报告No.1》正式发布。中国各国都将大数据作为国家战略4Huawei

一个大规模生产、分享和应用数据的时代正在开启…...——肯尼思·库克耶（《大数据时代》作者1980s

个人电脑1960s

大型机1990s

互联网2000s

某著名企业互联网2010s

大数据5Huawei

全球创建和共享的数字信息5年增加9倍，2013年达到3.8ZBCERN：

LHC对撞产生1PB/s的数据SKA：2015年存储需要1EB云化的IDC建设催生了数据的大集中Facebook：每天产生50TB的日志数据，衍生分析数据超过100TB“机器制造”和“人工制造”共同贡献了海量数据，集中式的数据中心建设加速数据集中6Huawei

大数据基础设施大数据处理平台大数据咨询和服务大数据云服务代表厂商大数据作为云服务提供高端咨询切入大客户，通过本地化合作辐射中小客户关注于垂直细分领域，提供应用解决方案提供数据采集、集成、探索、可视化分析平台构筑复杂的分布式数据存储和处理平台，统一的负载处理平台提供云计算、服务器、存储；软硬件分离，标准化硬件大数据分析平台大数据应用大数据BI大数据集成服务商数据源打造数据管理平台，汇集数据，提供数据提供灵活的数据仪表盘，数据可视与浏览，报表基于大数据处理、分析平台，做行业应用开发和集成厂商定位7Huawei

海量数据存储层HDFS/HBase批处理计算框架MapReduce统一数据存储HDFS/HBase/

MPPYARN统一资源管理MR批处理Storm流式计算Spark内存计算Elk/Solr交互式分析智能跨域数据中心存储HDFS/HBase/MPP/

IMDBPaYgAReN

8智能跨域数据中心资源管理融合数据处理平台Spark/DataIntensive

Streaming认知计算人工智能、数据挖掘、知识探索，发现和管理发展趋势

-

认知计算（大数据与人工智能深度融合）

大数据

1.0 大数据

2.0 大数据

3.0关键技术需求驱动互联网

的发展需要对海量的非结构化数据进行分布式存储，并行计算某著名企业互联网

的发展需要对海量，多样化，高并发的数据进行实时分析，交互式查询物联网

的发展需要对海量流式数据，人工智能分析等提供毫秒级的低时延处理能力8Huawei

单一的批计算融合计算认知计算华为大数据生命周期解决方案9Huawei

发展趋势-大数据与云计算深度融合Open

API云搜索弹性计算负载均衡 云引擎云数据库

开放存储阿里邮箱大规模数据计算云安全服务阿里云OS（飞天）面向云服务的一套架构，一套API，一套生态企业商业应用开发者云生态行业和区域ISV/SIAPI分布式中间件框架FusionSphere：IaaS服务/运营运维计算服务存储服务网络服务容器服务桌面服务数据库服务消息服务咨询/云安业 全务 服迁 务移FusionInsight：数据服务10Huawei

MRSparkStreamingMLFusionStage：PaaS服务......阿里华为大数据处理离不开云计算技术，云计算为大数据提供弹性可扩展的基础设施支撑环境以及数据服务的高效模式，大数据则为云计算提供了新的商业价值。总体而言，云计算、物联网、某著名企业互联网等新兴计算形态，既是产生大数据的地方，也是需要大数据分析方法的领域。发展趋势-大数据与云计算深度融合华为登录

进入控制台创建所需要的各种云服务11Huawei

国家信息中心-十大最具影响力的大数据企业排名中排名第一12Huawei

经营分析某著名企业信令金融细账金融票据电力调度智能某著名企业某著名企业、金融经营类 管理类结构化+半结构化绩效管理报表分析历史分析社保分析纳税分析决策支持和预测金融监管类结构化+半结构化公安网监国安技侦舆情监控银监会稽查食品溯源环保监测政府专业类非结构化音视频地震勘探气象云图卫星遥感雷达数据物联网政府某著名企业、金融、政府等行业数据分析的诉求强烈，互联网已开始应用新技术处理价值密度低的大数据结构化+13Huawei

多样性（Variety）来源多：企业、互联网、物联网等格式多：不局限于结构化数据，也包括音频、图片、视频等非结构化数据高速度（Velocity）增长速度快：数据正在加速增长，IDC预测未来十年将增长50倍处理速度快：对时间敏感，必须快速识别和快速响应才能适应业务需求大容量（Volume）存储量大：充斥着各种数据，经常是PB（1000T）级的信息量计算量大：需要实时应对海量数据的抽取和分析高价值（Value）浪里淘沙却又弥足珍贵，虽然数据的价值密度较低，但是产生的价值总量却十分惊人。维基百科：巨量资料(big

data)，或称大数据，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理并整理成为帮助企业经营决策更积极目的的资讯。Gartner：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。什么是大数据：大数据4V特征14Huawei

大数据的4V特征，决定了发掘数字金矿的难度，也意味着巨大商机华为存储紧抓时间应对海量数据15Huawei

大数据时代特点1:

体量大2009年在甲型H1N1流感爆发的前几周，Google的工程师们在《自然》杂志上发表了一篇引人注目的论文。它解释Google为什么能预测冬季流感的传播。5000万词条4.5亿数学模型×Google利用大数据预测流感趋势与真实历史数据做匹配比较45个词条+1个数学模型◼与官方数据的相关性高达97%◼领先官方通报1~2周2009年甲型H1N1爆发时，Google成为了一个更有效、更及时的指示标技术形成了批处理、流处理和交互分析三种计算模式：离线批处理（Batch

Processing）技术以MapReduce和Hadoop系统为代表，实时流处理（Stream

Processing）技术以Yahoo的S4系统和Twitter的Storm系统为代表，交互式分析（Interactive

Analysis）技术以谷歌的Dremel系统为代表16Huawei

大数据时代特点2:

速度决策的速度-

采取从数据输入到决策输出的时间-

也是大数据的关键要素。新兴技术能够实时或以接近实时的速度处理庞大的数据量，从而增加企业的业务灵活性，该企业可以实时响应市场的变化，根据客户喜好的变化调整策略，或应对欺诈行为等。17Huawei

交通运输局的历史航班延误数据国家气象的实时报告美国国家海洋和大气管理局的以往天气报告大数据的特点3:

数据多样性Flyontime.us是一个航班延误时间的分析系统以波士顿至纽约的航线为例（起飞：Boston，Logan

International；到达：New

York，Kennedy

International），在系统的主页上，输入机场名称，点击之后，用户可以看到不同天气、不同日期、不同时段、不同航空公司、不同航班等各种条件下飞机是否准时以及平均延误时间的数据明细。⚫帮助乘客找到适合自己的最佳航班⚫最大程度降低了等待的不确定性⚫有利于航空市场良性竞争IBM智慧地球计划更多传感器更全面的数据旧的城市管理模式智慧城市管理模式智慧决策18Huawei

“当我们知道的越多，我们就越想

，改变一切”——IBM‘智慧地球’海量数据存储盘活归档数据潜力分析卫星测绘金融证券油气勘探卫星拍摄图片，每天产生1TB数据，系统要求具有PB级的容量扩展需要对长达15年的历史数据进行在线查询，对总行交和分行电子凭证进行联动查询。页岩气引发清洁能源革命，但页岩气的开采非常困难，每口井成本在800万美金每口井800万美金，通过大数据分析每口井降到300万美金左右高清制播媒体娱乐每集好声音80分钟，需要1000分钟高清原始素材，180:1的制播比，消耗存储2TB据关乎19Huawei

企业竞争能力决策及时成本控制事业科学探索知识服务社会安全大数据处理在重点行业的重要性大数据的核心价值：预测建立在相关关系分析法基础上的预测是大数据的核心案例1：美国折扣零售商塔吉特与怀孕预测美国一名男子闯入他家附近的一家美国零售连锁超市Target店铺（美国第三大零售商）进行抗议：“你们竟然给我17岁的女儿发婴儿尿片和童车的优惠券。”店铺经理立刻向来者承认错误，但是其实该经理并不知道这一行为是总公司运行数据挖掘的结果。一个月后，这位父亲来道歉，因为这时他才知道他的女儿的确怀孕了。Target比这位父亲知道他女儿怀孕的时间足足早了一个月。案例2：沃尔玛，请把蛋挞与飓风用品摆在一起沃尔玛是世界上最大的零售商，拥有超过200万员工，销售额约4500亿美元，比大多数国家的国内生产总值还多。在网络带来巨多数据之前，是美某著名企业业中拥有最多数据资源者。2004年，沃尔玛和Teradata的数字统计员一起研究历史交返现，每当季节性飓风来临前，不仅手电筒的销量增加了，而且POP-Tarts蛋挞的销量也增加了。因此，当风暴来临时，沃尔玛会把库存的蛋挞放在靠近飓风用品的位置，以方便行色匆匆的顾客从而增加销量原则：

通过找出一个关联物并监控它我们就能预测未来ht20Huawei

大数据情感分析，了解用户喜欢，拉动终端销售量小米3双11战绩，0:30开放购买，0点33分，小米官方旗舰店单店支付宝成交额已经过亿，成为首个过亿商家。热卖数据集成和情感挖掘分析数百个站点频道洞察客户评论…【运营商价值】着眼LTE阶段终端销售PK,通过大数据情感分析，洞察用户对终端品牌、参数和消费倾向，分析结果服务于终端部门、电子渠道进行终端品牌营销.结构化和非结构化数据的洞察分析

【特性价值】评论问题聚类、汇总统计和逐层钻取项目实施周期短，上线快数据来自外部网站独立采集，周边协调少成本有效可控(关联采集站点和当前客户数量）组织资源可复用现有BI分析人员能力非结构化数据有效聚合利用21Huawei

为行业价值客户提供‘开店选址’的服务沃尔玛选择行业:大卖场开店目标区域:交通便利/居民区开店目标人群:中高收入/家庭主妇行业选择 开店自定义24小时人群流量曲线图选定区域人群偏好分布人群归属地查询不同区域人群对比分析自助辅助查看开店候选区域根据用户的选择的区域，以数据地图的形式展示该区域的人群特征和统计报表，为大卖场和专业连锁客户开店选址提供依据（湖北某著名企业→沃尔玛超市、某著名企业百货）改变传统沃尔玛采取的是人工蹲点方式进行采样分析；节省选址投入成本，精准了解周边用户.为客户每次潜在新址花费约几万元.22Huawei

面向营销广告的数据标签开放用户个性化页面构建DSOP2.通过API调用用户的标签3.获取并验证新浪客户ID，抓取用户手机号并返回与该用户匹配的标签广告集成标签“购车一族”标签新浪自有广告资源池4.请求广告匹配5.广告内容返回1.打开新浪APP，联网（附加IMEI号1234-45312-XXXX）新浪服务器8.15万左右雪弗莱汽车第三方广告资源/广告代理商/DSP等支持多种广告接入形态雪弗莱汽车banner

广告23Huawei

大数据的理念1：要全体不要抽样小数据时代：随机采样，最少的数据获得最多信息统计学家证明：采样分析的精确性随着采样随机性的增加而大幅度提高，但与样本数量的增加关系不大。即样本选择的随机性比样本数量更重要缺陷：面对复杂的抽样对象，无法找到最优的随机抽样标准。随机抽样无法捕捉到细节。随机采样缺乏延展性，只能回答预先设计的问题。案例：乔布斯是世界上第一个对自身所有DNA和肿瘤DNA进行排序的人，以此来按所需效果用药，显著延长了生命。大数据时代：全数据模式，样本=总体⚫对细节的掌控：Google流感趋势预测并不是依赖于对随机样本的分析，而是分析美国整个几十亿条互联网检索记录。分析整个数据库，而不是对一个小样本进行分析，能够提高微观层面分析的准确性，甚至能够推测出某个特定城市的流感状况，而不是一个州或整个国家的情况。⚫对异常的掌控：通过使用所有数据，我们可以发现会在大量数据中淹没掉的情况。例如信用卡诈骗。24Huawei

大数据的‘大’是相对概念，‘大’并不一定指绝对意义上的大，有时候只是指全体数据。当收集、存储和分析数据的成本比较高时，应当适当丢弃一些数据。大数据需要具备的条件：简单廉价的数据收集方法足够的数据存储和处理能力先进的分析技术。大数据的理念2：要效率不要绝对精确25Huawei

执迷于精确性是信息缺乏时代的产物，只有5%数据是结构化且能适用于传统数据库，如果不接受混乱，剩下95%的非结构化数据都无法被利用。案例比较IBM的‘Candide’项目，基于精确数据的翻译系统Google翻译系统：基于混杂数据的翻译系统数据来源加拿大议会资料所有互联网资源数据量300万句近似950亿句数据精确性官方文件，表达精准翻译质量参差不齐，包含错误效果短时间内提高翻译能力，之后遇到瓶颈无法持续提高。当下最好的翻译系统，灵活性高，能实现众多语言的翻译保证数据的精确性代价高昂。当能够获得大量或全体数据时，少量不精确数据对结果的造成的偏差是可以容忍的。大数据的处理结果应该理解为概率性事件，而非‘确凿无疑’。“大数据基础上的简单算法比小数据基础上的复杂算法更加有效。混杂是关键。”Google人工智能专家彼得·诺维奇大数据的理念3：相关性比因果更重要相关关系的核心是两个量化数据值之间的关系，相关关系强是指当一个数据值增加时，另一个数据值很可能业务随之增加。相关关系没有绝对，只有可能性。华为错过了语音时代、数据时代，不能再错过图像时代案例1：高收入家庭不一定幸福：2006年7月北京市统计局开展了以“国民主观幸福感”为主题的民意调查。调查结果显示，月收入不足4，000元时，幸福感随收入的提高而提高；达到4，000元后，幸福感呈波状上升，5，000～7，000元中等收入组幸福感最强；7，000?后出现下降，1.5万元～2万元组幸福感更不确定，其平均幸福感分值与1，000～1，499元收入组相同。案例2：UPS与汽车修理预测UPS国际快递公司从2000年起开始使用预测性分析来监测自己全美60000辆车规模的车队，这样就能及时的进行防御性的修理。如果车在路上抛锚损失会非常大，因为那样就需要再派一辆车，会造成延误和再装载的负担，并消耗大量的人力物力。通过监测车辆的各个部位，UPS如今只需要更换需要更换的零件，从而节省了好几百万美元。案例3：

2016年5月份美国一名特斯拉ModelS在自动驾驶模式开启状态下垂直撞向一横穿马路的大货车,导致车主（海豹突击员）当场死亡。几个月之后的调查结果显示，特斯拉ModelS紧急刹车功能失效的原因是前向摄像头误将大货车的车体当做蓝天白云的一部分，简单来说，车辆前向摄像头”看见”了障碍物却没有看懂”,导致事故发生。这个事例足以说明图像识别和处理技术的重要性。26Huawei

线下生活线上生活大数据时代下带来的隐私风险在于现有的隐私保护制度的无法发挥出期望的效果。大数据时代，数据常常被用于创新性用途，隐私声明无法涵盖所有用途。如果所有数据已经在数据库里，那么模糊化某些信息只能是‘此地无银三百两’。大部分情况下，匿名化不可行。案例：2006年8月，美国在线（AOL）公布了大量的旧的搜索查询数据，本意希望研究人员能从中得出有趣的见解。数据由65.7万用户的2000万搜索记录组成，整个数据库进行了精心的匿名化，用户名称和地址等个人信息都用特殊符号进行了代替。尽管如此，《纽约时报》还是在几天内通过一些关键词的综合分析，发现数据库中4417749号代表的是佐治亚州利尔本的一个62岁的寡妇塞尔玛。当记者上门采访时，老人惊叹有人监视她的私生活。事件引起了公愤，最终美国在线的首席技术官和另外两名员工都被开除了。27Huawei

大数据的风险2：对大数据的执迷我们必须对信息的局限性高度重视，有时候数据的质量可能会很差或不客观，从而导致分析的错误。案例1：越南战争中，美军的策略是逼迫越共走上谈判桌。于是，评判战争进度的方法就是看对方的死亡人数。每天报纸都会公布死亡人数。但是有三分之二的将军都认为大部分情况下数据都被夸大了。下级军官为了达成命令或者升官，会汇报可观的数字给他的上级，只要那是他们的上级希望听到的数字。案例2：更悲痛的是“大跃进”时期各地疯狂的虚报粮食产量，以至于中央完全没有意识到60年代初的可怕饥荒，还在大量出口粮食以换取其他的战略物资。案例3：2009年，Google首席设计师道格·鲍曼（Doug

Bowman）因为受不了随时随地的量化，愤然离职。“最近，我们竟然争辩边框是用3、4还是5倍像素，我居然被要求证明我的选择的正确性。天呐！我没有办法在这样的环境中工作”。她离职后在博客上大发牢骚。28Huawei

我们可能会完全受限于我们的分析结果，即使这个结果理应受到质疑。29Huawei

大数据趋势和发展大数据处理技术运营商与大数据大数据应用场景华为大数据及数据挖掘解决方案大数据的数据类型及模型30Huawei

结构化数据，是指可以存储在数据库里，可以用二维表结构来逻辑表达实现的数据。非结构化数据，是指不方便用数据库二维逻辑表来表现的数据，包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。半结构化数据，就是介于完全结构化数据（如关系型数据库、面向对象数据库中的数据）和完全无结构的数据（如声音、图像文件等）之间的数据，HTML文档就属于半结构化数据。它一般是自描述的，数据的结构和内容混在一起，没有明显的区分。数据类型数据模型结构化数据二维表（关系型）半结构化数据树、图非结构化数据无Efficiency

效率数据全周期管理31Huawei

Store

存储PB级的非结构化数据和TB级的结构化数据Search

检索海量数据如何实现快速的查找支持Scale

out的可伸缩架构多协议（标准接口）支撑和多租户架构数据的可靠性和安全性PB级文件系统搜索（包含归类查找和按条件模糊）百亿记录数据的快速查询数据的流动性大量冷数据的归档和节能重删和压缩传统数据处理技术面临的挑战海量数据的高存储成本数据批量处理性能不足流式数据处理缺失有限的扩展能力单一数据源数据资产对外增值数据扩展性需求和硬件性能之间存在差距传统框架：小型机＋磁阵＋商用数据仓库传统的IOE模式已经不能满足PB级海量数据的存储、分析和应用需求小型机+DWH+SAN成本高企、扩容昂贵无法满足海量数据的离线分析和实时分析无法满足对非结构化数据的快速处理要求Scale-Up已到极限，必须支持Scale-Out32Huawei

大数据处理需要多方面的技术支撑33Huawei

平均1个P数据中（例非互结联构网化公为司主）互联网：Google,

百度Facebook,Twitter,新浪….数据以非结构化处理为主在企业大数据中，仍然是以结构化数据处理为主结构化半结构化非结构化~35%~27%用户行为轨迹（个体）User

Profile内容（ITEM，图像、视频、文本)数据21个历史详单查询社交网络数据（群体）WebPage&

Log~

23%~5

%~10

%（例结电构信化运为营主商）~15%~12%网络XDR

(探针俘获后，含历史）计费CDR(含历史）主数据（三户+订购+接触等

含历史）分析汇总数据（含历史）CUBE和统一视图~7%互联网

Web

Page

&

Log(含历史）~13%社交网络数据

~3%~18%~25

%内容（图像、视频、文本)数据34Huawei

~7%数据采集数据存储数据管理数据分析计算存储数据库网络单机集群单块机存储横向扩展块级虚拟化文件存储横向扩展分布式文件系统设备间连接设备内连接10GEFC

IB10GESAS

IB关系型数据库分布式数据库非关系型数据库数据采集数据存储数据管理数据分析35Huawei

传统专业存储向海量存储系统演进传统SAN，双控到多控的架构，难以存储和管理PB级数据传统NAS，

面对PB级数据，复杂的卷管理及系统容量分配不均衡，导致资源浪费单一文件系统，管理更简单精简配置，配额管理，容量分配更合理，磁盘利用率更高大规模横向扩展能力集中式存储分布式NAS传统NAS传统SAN统一命名空间36Huawei

数据采集数据存储数据管理数据分析数据处理向海量、非结构方向演进Hadoop结构化、关系型软硬结合的一体机(FusionCube)SMP SMP+MPP混合 MPP特点：Share

Nothing开源，开放海量非结构化分布式，扩展高性能，低成本特点：Share

Nothing结构化、关系型标准的Share

Nothing通用的硬件VS.特点：

Share

Everything

特点：混合性能存在瓶颈扩展性差小机可靠性高数据采集数据存储数据管理数据分析37Huawei

Hadoop分布式批处理框架Hadoop

是用于大数据分析的开源框架，它包括一个分布式文件系统（HDFS）、一个并行处理框架（MapReduce）和多种不同的组件，支持数据获取、工作流协调、任务管理以及集群监控等功能。Hadoop目前在大数据分析平台架构中的最典型角色是海量非结构化数据分析平台：日志、点击流分析Web数据分析和文本挖掘视频、音频数据分析XML数据分析经Hadoop分析后的数据，再导入到结构化数据库中供后续使用。38Huawei

数据采集数据存储数据管理数据分析39Huawei

起源于Google

的集群系统Google

的数据中心使用廉价的

Linux

PC

机组成集群运行的核心组件GFS

(Google

FileSystem)

:

一个分布式文件系统,隐藏下层负载均衡,冗余复制等细节.MapReduce框架:

大多数分布式计算可抽象为此Hadoop

是Google

集群系统的一个Java

开源实现HDFSHBaseAccumuloCassandraCouchDBKafkaSqoopAvroThriftYarnMesosZookeeperOozieCascadingAmbariDrillSolrS4FlumeStormFlinkTezMapReduceRHiveCrunchMahoutPigGiraphCoreStreamingMLibGraphXSQLSparkBeamImpalaCarbonData管理/配置存储数据传输数据处理KylinChukwaMongoDBElasticREEFGanglia40Huawei

Hadoop生态系统各组件介绍

-

141Huawei

组件描述Storm延迟低、秒级，但从错误恢复中可能有重复记录Spark

Streaming几秒钟的延迟，批级别，具有事务性Kafka发布订阅消息系统Flume日志采集、聚合和传输Crunch简化MapReduce的开发Giraph可伸缩的分布式迭代图处理系统PigPigLatin的编译器把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算Flink针对批量数据和流数据的处理引擎S4处理连续无限数据流Drill实时大数据分布式查询引擎（兼容SQL语法）Tez支持DAG作业的开源计算框架

（可作为MapReduce/Pig/Hive等系统的底层数据处理引擎）Kylin大数据分析引擎（支持在超大数据集上进行秒级别的SQL及OLAP查询）Hadoop生态系统各组件介绍

-

242Huawei

组件描述Accumulo分布式的排序

key/value

storeImpalaSQL

查询工具

(BI/analytic，快，不使用

MapReduce)，借鉴MPP

DB思想CouchDB面向文档的数据库管理系统Cassandra分布式Key-Value存储系统Cascading用来创建复杂和容错数据处理工作流Oozie工作流引擎服务器

(用于运行Hadoop

Map/Reduce和Pig

任务工作流)Thrift跨语言服务访问的框架Avro数据序列化Spark

GraphX图计算和图挖掘框架Mesos分布式资源管理框架Yarn资源管理系统Zookeeper分布式应用程序协调服务Hadoop生态系统各组件介绍

-

343Huawei

组件描述Ambari基于Web的工具，支持Hadoop集群的供应、管理和监控。HBase分布式的、面向列的数据库CarbonData适合快速分析的索引列式数据存储格式（一份存储同时满足快速扫描，多维分析，明细数据查询的场景）；华为开源的Apache孵化项目。HDFS高容错性、高吞吐量的分布式文件系统Hive数据仓库工具Mahout数据挖掘工具（一个分布式机器学习算法的集合，基于MapReduce）Spark基于内存进行计算的分布式计算框架MapReduce一种分布式数据处理模式和执行环境Spark

MLib常用的机器学习算法的实现库，基于Spark。Spark

SQL用于结构化数据处理和对Spark数据执行类SQL的查询Beam可在任何执行引擎上运行的批处理和流处理编程模型Solr企业级搜索应用服务器PorterMinerDataFarmHadoop系统管理Farmer服务治理ManagerHadoop

APIPlugin

APIOpenAPI/SDK应用服务层REST/SNMP/SyslogDataInformationKnowledgewisdomHIVE/ImpalaM/RSparkStormSolrYarn/

Zookeeper华为FusionInsight大数据平台架构框架安全管理LibrA(MPP

DB)HDFS/HBaseHadoop层提供大数据处理环境，基于社区开源软件增强DataFarm层提供支撑端到端数据洞察，构建数据到信息到知识到智慧的数据供应链，

其中数据集成服务Porter，数据挖掘服务Miner和数据服务框架FarmerManager是一个分布式系统管理框架，管理员可以从单一接入点操控分布式集群，包括系统管理、数据安全管理和数据治理44Huawei

百分之百开源的核心支持混合负载，从批量、交互查询、数据挖掘，到实时流和查询等各种场景开放式存储格式（Rcfile/ORCfile/Parquet），以避免锁定私有文件格式所有的组件都通过Manager提供的插件框架来按需安装开源轻度增强开源深度增强开源孵化特性DSLIDE分布式计算框架HDFS/HBaseHiveMapReduce/TezSparkStormYARN/ZookeeperFlumeSqoopIntegrationBatchProcessingInteractiveQuerySearchMachineLearningEventStreamProcessSolrMLLIB分布式存储StreamingCalculation基础设施Standard

ServerStorageServerPluggable

AcceleratorNetworkOnlineQuerySparkStreamingCQLPhoenixElkHiGraphCTBase45Huawei

MPPDB会使用Hadoop会定位周边问题会定位内核级问题的个人定位内核级问题的团队能够独立完成支撑关键业务特性的内核级开发能够带领社区，引领社区完成面向未来的内核级特性开发能够创建新的社区顶级项目，并且得到生态系统认可强大的内核团队支持的开发与产品交付能力，企业级运营支撑能力开源社区生态系统组件多，代码量大组件更新块特性无有效整合某大银行CIO：“我们把大数据应用视作是生命线，肯定是采用企业版，因为搞开源软件不是我们的主业。在选合作伙伴的时候，我们一定考虑门当户对，因为强有力的合作伙伴才能保证3~5年的供应、合作安全。强大的掌握代码的团队，才能造就成功的企业级数据平台软件46Huawei

大数据是华为公司未来投入四大战略方向之一，未来将保持上千人规模重点投入西安研究所：Hadoop产品化ELK/MPP

DB深圳研发基地/香港：大数据洞察平台大数据解决方案数据挖掘算法印度研究所：Hadoop数据可视化MOLAP美研所：SparkELK/MPP

DB大数据系统加速欧研所：分布式内存DB分布式计算算法杭州研究所：HadoopSpark流计算加研所：Yarn/大规模调度硬件加速金融大数据分析47Huawei

华为对Hadoop社区的贡献逐年增加，已稳居第一阵营2015年上半年华为对Hadoop社区各组件的贡献1 PMC4mitter

50+

Contributors48Huawei

49Huawei

大数据趋势和发展大数据处理技术运营商与大数据大数据应用场景华为大数据及数据挖掘解决方案三大运营商大数据战略启动，积极探索大数据业务大数据对外商业化系统平台准备市场营销客户服务数据资源输出大数据运营准备运营模式准备产品/服务开发客户维系网络运营数据能力输出Source:

茁思壮行国内运营商处在大数据发展的初级阶段大数据对内应用战略中国某著名企业：构建大数据能力，支撑营销服务转型构建汇聚网络、业务、终端、客户行为等多维度的数据分析平台，为“大数据、超细分、微营销”的营销服务转型提供有力支撑50Huawei

中国某著名企业：跨域数据整合，构建开放式大数据服务平台以“集中化、一体化”为信息化方向，以大数据为核心，推动大营销/大服务一体化建设，保障全业务电子商务运营。中国某著名企业：大数据与云计算协同发展，探索数据变现大数据和云计算协同发展，构建完整产品体系。聚焦集团客户优势,引入创新机制，快速形成大数据能力数据分布在B/O/M域等IT系统、各基地/专业公司业务平台以及DPI系统中B域:

用户在运营商的消费结果数据,

O域:

用户的管道的过程数据如位置等数据,

M域:运营商的管理数据DPI数据是日增量为6816TB，占据总量的93.98%DPI数据中，Mc及2/3/4G的XDR日增量为1252.67TB，占所有DPI数据的17.27%各域每日新增数据量情况（2015年底）其中DPI每日新增数据量分类（2015年底）数据分类分布情况B域系统数据三户数据M域系统数据ERP系统数据订购关系数据财务系统数据计费话单数据资产系统数据账务数据合同系统数据渠道数据人力系统数据产品数据基地/专业公司业务平台数据（分业务平台）用户数据营销数据业务数据客服数据计费话单数据其它数据用户行为日志O域系统数据性能数据Mc口XDRMR数据信令/DPI数据2/3G信令面XDR日志数据（分平台）2/3G用户面XDR资源数据LTE信令面XDR告警数据LTE用户面XDR工单数据省网出口XDR拨测数据IDC出口XDR路测数据省网网间出口XDR其它数据骨干网网间出口XDR51Huawei

大数据变现

价值提升对内对外社会效应

用户维系离网期 用户生命周期线上广告集客流量刺激精准营销叠加包/升级包精准营销终端机精准营销预付费潜在离网用户维挽后付费潜在离网用户维挽对外对内定向包精准营销提升期 成熟期 衰退期离网-基站关联分析3G到4G套餐升级精准营销家庭增值咨询公司 市政公共 考察期某著名企业生活指数交通拥塞指数城市和交通规划智慧旅游户外数字媒体价值评估户外非数字媒体价值评估户外某著名企业媒体价值评估零售业洞察大数据精

集客用户准广告 精准营销用户维挽精准营销数据开放行业 OTT 垂直行业数据开放(金融、保险)为垂直行业推荐精准客户APP/内容推荐后向收费网建网优52Huawei

运营商行业大数据解决方案L2数据处理层+L3洞察层组成FusionInsight平台，向下融合跨域数据，向上支持不同应用L3L1数据开放服务（Open

Data

Bus）爬虫B域统计分析数据挖掘分析工具X86服务器（含云化）批量采集/

实时采集图分析文本分析&NLP存储（分布式/云化）搜索多媒体分析精准营销客户体验管理网络效率提升M域 O域

互联网

第三方MPP内存DBCEP传统DW数据处理数据集成（ETL）HadoopSpark流式处理(Storm)数据探索某著名企业业务洞察框架运营效率提升网络内容洞察位置洞察策略洞察第三方用户洞察渠道洞察网络洞察终端洞察产品洞察经营洞察业务洞察流量洞察洞察组件L4数据服务层数据平台层 L2基础设施数据源应用层对外开放/第三方合作位置应用广告平台开放合营管理中心数据资产管理数据安全作业调度运维管理统一大数据平台统一的数据集成，存储和分析统一的数据治理统一的应用支持平台适配某著名企业领域数据BSS/OSS数据接入用户行为数据接入外部数据接入某著名企业领域商业驱动的应用智能运营/营销/智能关怀/KPI/NPM/客户体验管理/MIS/DAaaS开放架构水平分层解耦架构整合第三方组件的能力

如：DB、DWH，Hadoop、

分析工具、

可视化软件53Huawei

6.06%9.25%0%5%10%提升52.60%4G合约机换机外呼营销成功率xxx0200040006000拉动业务收入（万）节约人工成本（万）大数据外呼精准营销经济效益预测传统 大数据说明：两种方案各选20万目标客户，在前台无感知下进行对比验证。说明：省公司客服中心给出的经济预测。业务拉动=13元（提升ARUP）╳24月（在网时长）╳

148043.9笔成本节省=6000元（话务员月均成本）×（节省人数）×7个x月xx传统经验驱动大数据驱动数据源不同B域B域（ARPU+网龄+客户品牌）（不超过5个）B域 O域B域（用户基本信息+营销接触数据+用户消费信息+营销活动数据）+O域（用户行为特征）（几万个特征）数据分析师建模建模方法不同专家经验+简单用户提取规则稀疏线性预测算法特征权植 用户样本（终端推荐模型+4G业务偏好模型+终端品牌偏好模型）目标用户预测 反馈寻找相关性 推荐服务优化模 存储型 自动持续优化训练模型 训练数据 日志（持续累计）54Huawei

某运营商：大数据外呼精准营销，4G换机成功率提升50%以上55Huawei

大数据趋势和发展大数据处理技术运营商与大数据大数据应用场景华为大数据及数据挖掘解决方案社交媒体&网络犯罪分析大数据在平安城市的主要应用-情报分析视频大数据FusionInsight大数据碰撞视频云视频智能分析特征数据人像识别

车牌分析行为分析人车轨分析

以图搜图指挥中心Call-taker

Call-taker大情报Despatcher现场警员人、车、案件等情指融合情报中心重要人口管理同上网同行同住通话联系社团发现…………Huawei

例子：一起手机盗窃案…2015-4-27：接到报警，调看店内监控发现一个孕妇带着个小孩盗窃手机VideoSearch:对类似案件串并分析，比对视频，发现嫌疑人涉及21起案件犯案手法：孕妇吸引店员注意，小孩偷窃手机Big

Data:发现嫌疑车辆，挂着假车牌2015-8-8

在江西抓捕罪犯，后继核实在多省33+市盗窃案件115起Big

Data:

比对发现一部手机和该车位置匹配，锁定嫌疑人身份Huawei

5

年后政府大数据和云计算转型之路现在可持续发展服务个性化产业与经济领先地位广泛协同环境问责机制与透明性相关者360度的沟通与协同政府应用的创新支持未来的大胆创新未来的政府基于人工智能的个性化服务群体智能与众包政府内全方位沟通传统IT整合到云端发掘大数据的能力预测分析某著名企业政府的安全及访问控制位置识别、分析与安全绩效监测工具智慧城市试点感知大数据价值-知识获取、内容管理、机器学习动态信息共享24X7

访问虚拟文件全方位安全解决方案降低风险物联网提升基础设施的运营水平社交提供政府与企业和居民的双向顺畅沟通云计算大数据Huawei

某著名企业社交公安政府大数据业务模型大数据业务价值点业务领域情报分析交警业务警员办公同行分析 同住宿分析同上网分析互联网舆情监控财产分析用水用电分析案件侦破案件统计 犯案规律挖掘犯案手段挖掘通话记录统计嫌犯布控社团监控套牌车分析车辆轨迹分析道路发现更新昼伏夜出车辆异地车辆文书流转监控电子卷宗检索业务流程跟踪警员工作统计重大事件安保 突发事件防控线索甄别 案件碰撞Huawei

重点人群监控举报信息甄别监控视频检索卡口图像分析传统视频监控架构的局限性：隔离、孤岛、封闭网络模拟摄像头DVRIPC摄像头（智能）NVR电缆网络原始视频信号编码压缩信号视频智能分析视频管理平台视频智能分析视频边缘接入视频实战平台存储存储以图搜图车轨分析关系分析实时布控行为分析12IPC摄像头（普通）结构化数据缺乏开放共享的服务化平台新增应用需要和各业务系统逐一对接，存在困难且效率低；希望能快速从统一的平台上，获取标准化、组件化的服务资源利用率低、调度不灵活各系统烟囱建设，资源不能共享，利用率低；资源不能动态调度，无法满足大案、要案时的高峰计算及I/O需求视频数据管理难、效率低接入→存储→解析→碰撞→归档，数据隔离、难共享；多次迁移，浪费时间和空间3视频大数据集群计算服务器Huawei

视频云物理架构:

物理分布，逻辑集中；全网智能，全局调度②

视频接入网关兼容多供应商的前端和平台①

智能

IPC和前端设备箱内嵌智能算法，事前预警；可实现传统摄像头智能化④

智能汇聚7倍业内汇聚速度③

敏捷网络支持LAN、xPON、LTE、微波、

WLAN

等泛接入方式；满足多场景需求⑦ 视频大数据实现秒级10亿级卡口大数据检索，秒级1000万级人脸库分析⑥

视频解析任务动态调度，全网智能分析⑤

视频共享两级就近汇聚、全局视图共享，多数据源融合存储⑧ 统一管理实现数据、资源、业务的统一管理和调度，数据不用动，业务处理能力随数据而行。市局分局前端智能IPC接入网关社会面平台12云中心节点视频共享视频解析云边缘节点视频共享视频解析……视频解析应用前端设备箱传统IPC融合指挥治安防控反恐处突视频侦查4云边缘节点……36视频共享7视频大数据敏捷网络（LAN、xPON、LTE、微波、WLAN）网络统一管理 85感传管用稽查布控Huawei

视频云平台：视频资源全面云化、数据工厂、应用引擎数据工厂视频结构化视频大数据挖掘视频数据全生命周期管理2方案特点3 应用引擎开放视频云服务可集成第三方算法提供应用开发环境1 资源云化资源池化敏捷自动高效管理视频云平台资源云化数据工厂应用引擎VM视频共享应用引擎

视频存储服务视频编码 视频转发

视频浓缩

车辆识别

人脸识别服务 服务 服务 服务 服务轨迹/关系分析服务视频解析视频大数据数据工厂VMVMVM资源云化视频共享视频解析视频大数据数据工厂VMVMVM视频共享视频解析视频大数据数据工厂VMVM中心节点边缘节点边缘节点资源云化治安防控视频侦查融合指挥稽查布控反恐处突实战应用1

资源云化23Huawei

1.资源池化：基于OpenStack标准架构，统一管理，为视频云提供按需服务省厅资源池计算虚拟化 存储虚拟化VRMoAvaOpenStackCinderNeutron网络虚拟化业务云管理平台业务平台

N业务平台2业务平台1VDC……运营门户服务门户业务管理员门户Service

APIService

Center（服务管理）业务影响分析DC健康诊断告警实时监控服务计量用户管理 服务编排 服务目录VDC管理应用自动化和编排拓扑导航运维管理员门户eSDKOperation

Center（运维管理）市局资源池分局资源池业务价值集约化：模块化建设，资源共享、灵活分配。提升服务速度、降低建设成本，降低运维成本标准化：开放云OS，避免被锁定服务化：服务目录，自助申请，快速发放，提升服务水平。业务场景在分局或市局构建视频云共享资源池资源云化服务按需申请/授权服务的生命周期管理：服务申请、审批、发放、编排多个DC当1个管，1个DC当多个用计算虚拟化 存储虚拟化 网络虚拟化VRMoAvaOpenStackCinderNeutron存储虚拟化 网络虚拟化VRMoAva计算虚拟化OpenStackCinderNeutron视频云平台资源云化数据工厂应用引擎Huawei

1.1计算资源池化：实现CPU/GPU资源动态适配不同视频分析计算需求视频云平台资源云化数据工厂应用引擎通过CPU/GPU计算资源池化服务，实现在多业务间按需分配，提升资源利用率灵活解决业务高负荷时，资源能调度集中办大案业务场景需提供差异化资源池服务。如视频共享更多只有CPU需求；而视频解析、视频大数据等业务，会对GPU高性能计算有需求。各业务有错峰填谷的场景，资源池需动态调配业务价值

云计算资源池

视频管理资源池 视频解析资源池大数据分析资源池CPU资源池CPU资源池GPU资源池GPU资源池视频解析视频摘要 人脸识别车辆识别 异常行为大数据分析全文检索 深度分析实时监控公安VDC安监VDC交警VDC ……视频共享视频接入 视频转码视频转发 视频增强CPU资源池Huawei

…大情报警综共享平台通过云计算消除底层异构硬件的差异，实现资源的平台化管理开放架构，可扩展性业务与平台解耦软件与件解耦统一管理弹性伸缩，资源最优配置自动化管理分布式架构IT即服务服务设计与服务目录服务水平可衡量自服务门户软件定义NetworkFusionSphere云操作系统存储池SDSDC2DC1

DC3计算池SDputingKVM

vSphereSANServerSAN网络池SDNVSA

vSwitchVDC1VDC3VDC2V大情报警钟更多应用ManageOne统一管理平台共享平台Huawei

“物理分散、逻辑集中、资源共享、按需服务”分布式云数据中心省市“一朵云”需求：多个数据中心统一运维管理省市统一管理信息、资源的统一呈现资源统一发放虚拟化资源统一管理省、市虚拟化资源统一管理异构虚拟化资源统一纳管虚拟资源池三个统一运营 运维运营运维的统一管理统一为各警种提供IT服务资源快速申请警种自助式运维关键特性Huawei

实现全省一朵云，多个数据中心物理分散逻辑集中，省厅统一运维管理。云主机服务关系数据库服务云存储服务虚拟私有云大数据服务虚拟负载均衡省厅数据中心云计算平台其它地市数据中心云计算平台市局数据中心云计算平台科信VDC 刑侦VDC 综安VDC警务云统一管理计算 存储 网络物理机服务虚拟防火墙服务按部门或业务灵活构建VDC，匹配现有组织结构VDC的资源可从全局多个资源池灵活分配不同VDC资源逻辑隔离，各业务系统独立可靠运行VDC自助运维管理，为业务部门提供自主性Huawei

业务数据库信息数据库数据调用数据采集网上办案系统刑侦基础系统派出所综合管理执法综合管理……水平应用系统人口信息系统在逃人员信息库卡口信息系统车辆管理系统……垂直应用系统数据仓库数据分析Huawei

数据抽取/清洗情报研判比对布控轨迹碰撞同行同住……数据分析警综/视频共享管理/PGIS/大情报/公共服务平台综合分析系统实际就是警综、视频管理等传统应用平台的云化，统一整合原本分散的应用层，融合业务层，对内外提供云服务。原有数据库部分一般不建议云化，大数据不建议云化。省厅建设规模在数千万至一个亿不等，市局建设规模一般在数百万至千万之间。实际就是原有的综合分析系统大数据化，并且运用大数据思维开发更多的情报分析场景。一般分期建设，前期结构化数据量较少，40-100TB左右，后续非结构化数据加入会增值PB级别。警务云大数据ManageOne包括SC、OC两个组件，SC支持管理多个市局，

支持统一云运营管理。OC支持管理多个市局，

支持统一云运维管理。IaaS资源池由FusionSphere

OpenStack提供，支持VRM，在多个OpenStack的场景，市局和省厅共用一个KeyStone；灾备解决方案的BC&DR产品提供虚拟机备份、容灾服务，其中备份只支持磁盘备份，自动化实现，容灾支持虚拟机容灾，线上申请，线下发放；FusionInsight资源池提供大数据服务，包括：HDFS、Hbase、Spark、Hive、MapReduce，自动化发放；AC控制器提供网络自动化功能，

支持VPC，

网络，

SNAT,

防火墙ACL，

负责均衡，

VPN等功能。RDS

For

oracle提供关系数据库服务，

支持发放数据库实例，并对数据库实例做管理。esight负责每个市局的本地硬件资源的运维，

Openstack

OM，

FC负责每个市局的本地虚拟化资源的运维。省公安厅Huawei

X市局 X市局Huawei

MPPDB深度分析数据集成/数据治理HDFS/HBaseStormSpark

MPP

DB

HQLAPI PL/SQLSQL99/SQL2003行业算法模型Miner轨迹分析关系分析视频分析 积分模型机器学习 重口分析人物画像类案分析HD-离线近线数据源电子围栏(WiFi/UTMS)公安八大库(人口/车辆/案件) 治安卡口(车辆/人员) 实时/历史视频分析FusionInsight已规划，未商用华为警务大数据应用实战化，聚焦平台+部分核心行业算法，开放、成重口分析：重要人口分析，行业算法模型中，除了轨迹分析，关系分析，还有其它大量的针对警务系统的算法。治安 刑侦 经侦 缉毒 巡警 交警 技侦视频大数据 大情报 重口数据 社交媒体 案件管理应用层ISV第一数据平面业务数据业务数据业务数据业务数据…大数据平台实时采集数据转换加载清洗抽取系统管理任务管理元数据管理数据预处理区 缓冲库MPP

DBMPP

DB集群Streaming(实时流处理)Streaming集群预处理加载数据服务稽查布控人员关系分析查询检索主题档案服务统计分析…轨迹分析图片检索专题分析实时监控全文检索数据挖掘Hadoop集群全文检索 离线分析、批处理分布式文件系统基础数据、图片、视频、文本结构化数据第二数据平面管

理4.实时流处理场景数据融合与辅助破案,从查询到深度挖掘分析，从静态查询到动态分析挖掘1.分析场景 2.查询场景 3.挖掘场景Huawei

警务大数据主要应用场景关系挖掘：基于SPARK+图数据库的关系发现实时监测：流处理+内存数据库方案业务数据分布式数据库HBase全文索引库Solr实时搜索：搜索引擎+大数据分级存储警务百度 一键搜 智慧档案……实时搜索平台FusionInsight内容关联建立索引FusionInsight车轨数据轨迹分析：MPPDB分布式并行数据库套牌分析 伴随分析 案件对碰交互式分析平台卡口数据LBS数据GPS数据MPPDB并行数据库Hadoop离线分析……SQLAPIFusionInsight实时查询离线计算关系分析引擎MinerSpark分析结果同住宿同车同上网同案同航班……深度分析平台业务数据图数据库

TitanHBase监控数据 通信话单 卡口数据

实时分析模型

Storm/Spark

StreamingKafka集群（消息队列、缓存池）实时预警重点人员布控区域实时监控原始数据Huawei

贵州警务云二期：尽早介入、预埋机会、扭转格局贵州警务云二期机会点分析作为建立“多彩贵州”重要项目，对安全性、灵活性、可扩展性都提出了很高要求，涉及华为从建设到运维全系列服务产品；ISV不具备ICT集成架构基础集成服务能力，需要借助华为全生命周期专业服务能力进行项目拓展和业务对接；因前期赶进度临建板房需要在机房建成后搬迁至新机房；本项目涉及华为IT、网络全系列软硬件产品，且承载省厅、公安部重要业务，属于典型的警务云项目，具备可复制性；项目复制，大量的服务参与空间项目可研阶段提前预埋ICT集成架构集成服务全系列服务产品及服务预算，确保服务报价有法可依；科信没有汇智这种强势ISV，ISV需要借助华为品牌、客户关系ICT能力拓展项目，ICT基础架构基础服务全系列服务产品均有机会；省厅、地市分局存在大量的警务云建设机会，按照贵州警务云二期项目规模，保守估算服务参与空间1千万左右；统一运维&运营管理平台基础设施

x86服务器统一存储分布式NAS网络设备虚拟数据中心大数据存储服务大数据计算服务…虚拟机服务物理机服务应用服务弹性存储服务警务综合应用系统情报综合研判系统指纹自动识别系统刑侦管理系统……计算FS云计算资源池存储网络物理资源

池ORACLEFI大数据资源池HDFS/MRMPP……HBASE资源资源资源GPU计算Huawei

服务产品金额服务产品金额项目复制存储数据迁移28.4云备份服务6.4带动服务机会点：铜仁警务云：200万毕节警务云：170万公安厅传统机房P2V&V2V迁移和小机迁移：100万存储备份服务6.3云迁移服务50机房整体搬迁61.3大数据开发支持服务15.3FS解决方案实施服务8.4大数据迁移服务28ManageOne实施服务20.8维保及驻场服务225合计450设计方案/招标材料中预埋服务机会Huawei

陕西三秦警务云招标书金融与运营商大数据平台合作伙伴Top

3China

Telco中国运营商企业50%ChinaFinancialIndustryTop10

Customers中国金融行业Top10企业Industrialandmercial

BankofChina某著名企业China

Mobile中国某著名企业China

Un上海某著名企业ChinaMerchants

Bank招商银行Pacific

Insurance太平洋保险Huawei

基础功能信息验真B域基础数据验真O域上网行为验真风险防控身份属性 稳定度评 消费能力 行为偏好评估 估 评估 评估序号产品功能输出结果1信息三要素核验基于手机号+身份证号+姓名一致性返回验证结果，可两两验证或三维验证。2实时位置验证，对比基于输入手机号码+位置经度+位置纬度的一致性验证（返回分级数据）3手机号码状态查询基于手机