企业大数据解决方案

1、大数据时代，泽佳助力企业发展第1页 北京泽佳企业版权全部Copyright Zejia Consulting Corporation第 2 页什么是大数据第2页 北京泽佳企业版权全部Copyright Zejia Consulting Corporation第 3 页数据无处不在任何时间，任何地点，任何事情，任何人?Anytime，anywhere，anything， anyone?休息中，随意刷微博爬山时，统计每一瞬间旅途中，处理企业事件工作时，实时掌握市场动态第3页 北京泽佳企业版权全部Copyright Zejia Consulting Corporation第 4 页大数据时代已经来到

2、每分钟都有大量数据产生1min486笔订单（11月）7.3万笔交易数（双11）1.1GB文件下载9.5万条微博发送14万张照片上传70TB处理数据第4页 北京泽佳企业版权全部Copyright Zejia Consulting Corporation第 5 页互联网中大数据Web 3.0时代，社交媒体网站数据出现井喷式激增，截至3月底，新浪微博注册用户数增加到5.36亿，日均活跃用户数到达4980万，每日新增微博约2亿。企业在大数据时代，面临文化、战略、组织、流程、信息化、公共公关系、人才培养方方面面挑战，同时也迎来重大转型机遇和飞跃契机。第5页 北京泽佳企业版权全部Copyright Zej

3、ia Consulting Corporation第 6 页互联网中大数据 大数据在消费IT领域作用愈加显著。只要你用PC上网或手机浏览信息，你便在网络上处处留照了，性别、年纪、兴趣、踪迹、信用等等便被大数据刻画一览无余，恭喜你已经成为数字透明人了！可能你都不知道自己下一步要干什么，产品经销商借助搜索引擎、电子商务平台、旅游网站数据依据你浏览行为已经在为你张罗生日、餐饮、旅游、结婚、生子、购房、购车了，特价机票、婚纱、尿不湿、奶粉、海景房等广告已经为你编排好了。大数据在消费IT领域作用愈加显著。只要你用PC上网或手机浏览信息，你便在网络上处处留照了，性别、年纪、兴趣、踪迹、信用等等便被大数据刻

4、画一览无余，恭喜你已经成为数字透明人了！可能你都不知道自己下一步要干什么，产品经销商借助搜索引擎、电子商务平台、旅游网站数据依据你浏览行为已经在为你张罗生日、餐饮、旅游、结婚、生子、购房、购车了，特价机票、婚纱、尿不湿、奶粉、海景房等广告已经为你编排好了。第6页 北京泽佳企业版权全部Copyright Zejia Consulting Corporation第 7 页企业IT进入2.0时代 伴随企业业务增加，大量和流程、规则相关非结构化数据也暴发式增加。比如：1、业务系统现在平均天天存放20万张图片，磁盘空间天天消耗100G；2、平均天天产生签约视频文件6000个，每个平均250M，磁盘空间天

5、天消耗1T;第7页 北京泽佳企业版权全部Copyright Zejia Consulting Corporation第 8 页大数据特征 V V V V价值Veracity体量Volume多样性Variety速度Velocity68%31%起源多；格式多：大数据包含结构化数据和非结构化数据，邮件，Word,图片，音频信息，视频信息。最新研究汇报，到，全球数据使用量预计暴增44倍，到达35.2ZB。价值密度低，如同沙里淘金，海量业务中寻找价值。1秒定律，实时获取所需要数据，为决议提供依据。第8页 北京泽佳企业版权全部Copyright Zejia Consulting Corporation第

6、9 页企业大数据挑战业务数据映射提取大数据价值大数据隐私大数据分析第9页 北京泽佳企业版权全部Copyright Zejia Consulting Corporation第 10 页泽佳提议企业大数据处理方案第10页 北京泽佳企业版权全部Copyright Zejia Consulting Corporation第 11 页大数据基础架构要求可预测低延迟高事务参数灵活数据结构高吞吐量就地准备全部数据源和结构深度分析灵敏开发高度可伸缩性实时流数据运行影响第11页 北京泽佳企业版权全部Copyright Zejia Consulting Corporation第 12 页泽佳大数据处理方案，以数据

7、融合、综合处理为方向大交易数据大交互数据大交易融合大数据处理企业供给链消费者SNS互联网物联网移动终端OLTP实时 交易处理OLAP实时分析处理SOCIAL MEDIA DATAOTHERINTERACTION DATAMachine/DeviceSensors/meters/RFID tags CDR/mobileSD，MM，PP，SD，FICO。第12页 北京泽佳企业版权全部Copyright Zejia Consulting Corporation第 13 页泽佳大数据处理方案整体架构企业内外部协同（供给商+企业内部+客户+银行+税务+政府+小区+)外部信息（社交+电商+移动+视音频+)

8、开放式API和协议通用设计和模型环境通用数据管理环境交易数据管理社交数据管理移动数据管理主数据管理内存数据管理企业数据仓库管理数据存放数据获取数据组织数据分析数据展现无线数据管理信息管理和实时数据迁移联合访问实时大数据平台门户数据分析电子邮件办公软件大屏幕电脑桌面移动终端企业级汇报工具Ad hoc 即时查询例外分析非结构化数据探索预测与挖掘第13页 北京泽佳企业版权全部Copyright Zejia Consulting Corporation第 14 页泽佳大数据处理方案体系数据多样性模式动态模式HDFS分布式文件系统Hbase分布式列存放系统Sybase ESP事件流处理器Hdoop Ma

9、pReduceBig Data ConnectorsYoung hong BI获取组织分析决议复杂场景处理实 时决 策ETLEDW第14页 北京泽佳企业版权全部Copyright Zejia Consulting Corporation第 15 页普通企业数据处理平台基础架构第15页 北京泽佳企业版权全部Copyright Zejia Consulting Corporation第 16 页泽佳大数据处理方案基础架构泽佳大数据平台快速、可靠SCMCRMERP安全，布署，管理灵活体系MESPDM第16页 北京泽佳企业版权全部Copyright Zejia Consulting Corporati

10、on第 17 页泽佳提议企业大数据处理方案基础架构图第17页 北京泽佳企业版权全部Copyright Zejia Consulting Corporation第 18 页应用层数据分析第18页 北京泽佳企业版权全部Copyright Zejia Consulting Corporation第 19 页视频存放第19页 北京泽佳企业版权全部Copyright Zejia Consulting Corporation第 20 页离线日志分析第20页 北京泽佳企业版权全部Copyright Zejia Consulting Corporation第 21 页在线数据分析第21页 北京泽佳企业版权全部

11、Copyright Zejia Consulting Corporation第 22 页大数据处理方案特点泽佳大数据处理方案提供高速、低速两种互联处理方案，在节点间能够建立起40Gb互联通路，彻底消除系统节点间通信瓶颈。高性能高可扩展性高可靠相比较传统数据库集群，泽佳大数据处理方案含有良好可扩展性，伴随数据节点增加，系统整体性能靠近线性增加。同时数据节点能够在系统运行中动态添加，对系统不会造成任何影响。所以企业能够依据本身业务需要，动态添加数据节点，当业务量较小时，配置较少数据节点，伴随业务量逐步增多，添加对应数据节点，从而满足本身业务量增加需求。泽佳大数据处理方案能自动地维护数据多份复制，而

12、且在任务失败后能自动地重新布署（redeploy）计算任务。同时消除系统单点故障，系统中任意一个部分出现故障，系统将自动进行切换，确保用户应用无缝连接，含有较高稳定性和可靠性。第22页 北京泽佳企业版权全部Copyright Zejia Consulting Corporation第 23 页大数据应用技术第23页 北京泽佳企业版权全部Copyright Zejia Consulting Corporation第 24 页大数据技术领域占位图第24页 北京泽佳企业版权全部Copyright Zejia Consulting Corporation第 25 页泽佳大数据应用主要技术 Hadoop

13、 据IDC预测，全球大数据市场 将达170亿美元规模，市场发展前景很大。而Hadoop作为新一代架构和技术，因为有利于并行分布处理 “大数据”而备受重视。 Apache Hadoop 是一个用java语言实现软件框架，在由大量计算机组成集群中运行海量数据分布式计算，它能够让应用程序支持上千个节点和PB级别数据。 Hadoop是项目标总称，主要是由分布式存放（HDFS）、分布式计算（MapReduce）等组成 。 第25页 北京泽佳企业版权全部Copyright Zejia Consulting Corporation第 26 页Hadoop体系架构MapReduceHDFSHBasePigCh

14、uKwaHiveZooKeeperPig是一个基于Hadoop大规模数据分析平台，Pig为复杂海量数据并行计算提供了一个简易操作和编程接口。Chukwa是基于Hadoop集群监控系统，由yahoo贡献。Hive是基于Hadoop一个工具，提供完整sql查询功效，能够将sql语句转换为MapReduce任务进行运行。ZooKeeper：高效，可扩展协调系统,存放和协调关键共享状态。HBase是一个开源，基于列存放模型分布式数据库。HDFS是一个分布式文件系统。有着高容错性特点，而且设计用来布署在低廉硬件上，适合那些有着超大数据集应用程序。MapReduce是一个编程模型，用于大规模数据集（大于1

15、TB）并行运算第26页 北京泽佳企业版权全部Copyright Zejia Consulting Corporation第 27 页Hadoop关键设计第27页 北京泽佳企业版权全部Copyright Zejia Consulting Corporation第 28 页HDFS文件读流程HDFS是一个分布式文件系统。有着高容错性特点，而且设计用来布署在低廉硬件上，适合那些有着超大数据集应用程序。Client向NameNode发起文件读取请求。NameNode返回文件存放DataNode信息。Client读取文件信息。第28页 北京泽佳企业版权全部Copyright Zejia Consulti

16、ng Corporation第 29 页HDFS文件写流程Client向NameNode发起文件写入请求。NameNode依据文件大小和文件块配置情况，返回给Client它所管理部分DataNode信息。Client将文件划分为多个Block，依据DataNode地址信息，按次序写入到每一个DataNode块中。第29页 北京泽佳企业版权全部Copyright Zejia Consulting Corporation第 30 页MapReduce映射、化简编程模型输入数据-Map分解任务-执行并返回结果-Reduce汇总结果-输出结果第30页 北京泽佳企业版权全部Copyright Zejia

17、 Consulting Corporation第 31 页Hbase分布式数据存放系统Client：使用HBase RPC机制与HMaster和HRegionServer进行通信Zookeeper：协同服务管理，HMaster经过Zookeepe能够随时感知各个HRegionServer健康情况HMaster: 管理用户对表增删改查操作HRegionServer：HBase中最关键模块，主要负责响应用户I/O请求，向HDFS文件系统中读写数据HRegion:Hbase中分布式存放最小单元，能够了解成一个TableHStore：HBase存放关键。由MemStore和StoreFile组成。HL

18、og：每次用户操作写入Memstore同时，也会写一份数据到HLog文件第31页 北京泽佳企业版权全部Copyright Zejia Consulting Corporation第 32 页大数据未来发展瓶颈 经过对大数据产业链分析，我们能够看到，在大数据产业链各个生产步骤中，各大企业都已开占位，伴随高性能计算机、海量数据存放和管理流程不停优化，技术能够处理问题终将不会成为问题。我们认为，真正会制约或者成为大数据发展和应用瓶颈有三个步骤：数据搜集和提取正当性，数据隐私保护和数据隐私应用之间权衡。大数据发挥协同效应需要产业链各个步骤企业达成竞争与合作平衡。大数据结论解读和应用。第32页 北京泽佳

19、企业版权全部Copyright Zejia Consulting Corporation第 33 页NoSQL产品第33页 北京泽佳企业版权全部Copyright Zejia Consulting Corporation第 34 页大数据应用案例第34页 北京泽佳企业版权全部Copyright Zejia Consulting Corporation第 35 页大数据行业应用分析应用可能性电信政府（公共事业）交通金融医疗教育能源（电力/石油）纵轴契合度：表示该用户IT应用特点与大数据特征契合程度；横轴应用可能性：表示该用户出于主客观原因在短期内投资大数据可能性；注：该位置为分析师访谈综合印象，

20、为定性分析，图中位置不代表详细数值HighMidLowLowMidHigh优先关注行业用户应用特点与大数据技术有较高契合度，在主客观条件上也有较高应用可能性。值得关注行业用户应有特点与大数据契合度及应用可能性综合较高适当关注行业用户两个维度暂时都不具备优势，可适当给予关注互联网（电子商务）契合度流通零售制造第35页 北京泽佳企业版权全部Copyright Zejia Consulting Corporation第 36 页互联网行业大数据需求分析互联网行业拥抱大数据关键原因互联网大数据技术应用，会首先带动社会化媒体、电子商务快速发展，其它互联网分支也会紧追其后，整个行业在大数据推进下将会蓬勃发

21、展。互联网行业对数据实时分析要求较高，比如广告监测、B2C业务，往往要求在数秒内返回上亿行数据分析，从而到达不影响用户体验和快速准确营销目标。当前互联网企业面对大数据，会普遍感觉到实时分析能力差、海量数据处理效率低、缺乏分析方法、分析软件能力差等问题。互联网行业大数据分析面临主要问题第36页 北京泽佳企业版权全部Copyright Zejia Consulting Corporation第 37 页腾讯基于Hadoop大数据架构图第37页 北京泽佳企业版权全部Copyright Zejia Consulting Corporation第 38 页腾讯大数据现实状况 从业务角度看：腾讯数据平台自研TDW