企业大数据平台解决方案

1、企业大数据技术平台介绍企业大数据平台架构1企业大数据平台能力2元数据管理运行/监控/管理企业大数据平台整体定位应用分析层模型构建层数据处理层业务主题分析财务，供应链人力资源、CRM大数据应用行业数据云舆情分析企业对标管理诊断OLAP模型数据挖掘模型模型配置工具财务、供应链回归、决策树因子、维度配置企业内外部数据ERPCRM企业外部数据格式化数据非格式化数据数据集成管理平台企业AE数据处理平台分布式存储、实时、并行计算展现端浏览器/IE移动终端ERP与嵌入式分析分析报告企业UDH（Hadoop）企业大数据平台精准营销需求预测智能生产行业数据云大数据应用方案BQ8应用套件企业大数据平台架构1企业大

2、数据平台能力2企业大数据平台能力统一数据管理能力统一元数据管理功能统一主数据管理功能集成的数据质量管理功能集成的数据安全管理功能全面数据集成能力支持多种数据库数据集成支持实时增量式数据集成支持海量结构化或非结构化数据集成 海量数据存储能力列式数据库：采用列式存储、自适应压缩、水平分区、智能索引、并行处理等技术，存储空间比传统存储压缩10倍以上分布式存储：实现PB级别结构化和非结构化数据存储全面的数据计算能力多维分析: 大规模结构化数据的即时分析分布式计算: 海量结构化或非结构化分布式数据计算能力数据挖掘：传统数据挖掘算法流计算：信息流处理连续计算 丰富数据可视化展现能力支持丰富的仪表盘、多维分

3、析展现。支持中国式报表、智能报告展现。支持嵌入式分析。支持多移动分析展现。云数据服务能力提供企业外部数据的获取通道，以及分析的云服务能力提供私有、公有以及混合数据部署1、全面数据集成能力实时增量式数据集成实时集成可支持5000个在线用户产生的业务数据集成延迟小于1秒海量异构数据集成支持海量结构化数据（10T以上）集成支持海量半结构化数据抽取和加载支持非结构化文件抽取和上传，例如：（音频，视频，图片）AE-DI 数据集成支持6种以上数据库源作为数据集成：Oracle、SQL Server、DB2、GBASE、 MySQL、.6+5000AE-DI预制20个不同类型的数据集成转换器，可视化拖拽设计

4、；转换器大类包括：通用，邮件，条件，脚本，批量加载，XML，应用，文件传输等类型20CDC实时数据集成PB级AE（Acceleration Engine）DI （Data Integration）CDC（Change Data Capture）1PB=1024TB1、全面数据集成能力（1）AE-DI数据集成统一模型元数据丰富转换器丰富数据源类型调度策略，任务监控、启停服务，日志等数据集成可视化设计拖拽设计模式支持多源、异构数据集成可集成模型元数据，提高数据集成规则设计效率支持丰富转换器支持数据校验和错误数据处理支持任务统一调度、监控管理数据集成产品AE-DI1、全面数据集成能力（2）实时数据集

5、成实时数据集成集成实时集成组件具备实时数据采集、处理，整合能力具备实时分析能力实时数据集成产品CDC.高性能数据引擎AE DI财务供应链AE DICDC BQ 展现端BQ 模型Dashboard/Analysis/Reports权限1、全面数据集成能力（3）海量异构数据集成企业管理安装配置数据集成接口HadoopZookeeper系统监控用户授权安全审计预警日志SQL in HadoopHuePigOozieHIVEMap ReduceYARNHDFSHBASE HadoopHBaseMap ReducePigMahoutHiveHDFSExternal DatastoresRelationa

6、lDatabasesDocumentBasedSystemsEnterpriseDataWarehouseUDH集成UDH集成企业UDH平台，基于Hadoop进行了优化；可进行Hadoop和关系数据库的集成转换，数量级达到PB级；对于结构化、半结构化和非结构化的数据，按照统一的数据规范进行整合；2、海量数据存储能力实时增量式数据集成PB级结构化数据和非结构化数据存储：通过UDH平台Hadoop分布式架构实现海量结构化数据，半结构化数据、非结构化数据存储。结构化数据列式存储存储引擎比传统快10倍以上，分析场景下实现50倍性能提升，3-20倍的存储压缩比。10PB级海量数据分布式存储2、 海量数据

7、存储能力（1）结构化数据列式存储与传统数据处理方式的比较存储空间对比（M）响应时间对比（S）基于智能聚合提供大规模数据的多维分析能力结合列存数据库的技术能力可实现最高50倍的分析场景性能提升AE OLAPMOLAPROLAP分析操作响应速度数据规模与并发性能低高高关系数据库聚合分析立方体采用列存、自适应压缩、水平分区、智能索引、并行处理等技术，存储空间比传统存储压缩10倍以上2、 海量数据存储能力（2）海量数据分布式存储数据加载列式数据仓库AE-DW业务系统OLTPFSAE-DI(大于5T)UDHHBASEHUE交互式工作台ImpalaHIVEHDFSAE引擎查询引擎OLAP引擎挖掘引擎展现层

8、BQBO其它工具视屏音频 PB级大规模数据存储能力 支持Hadoop、大规模MPP集群。可支持PB级结构化数据PB级非结构化数据 可支持结构化和非结构化数据的统一的存储、管理和分析AE-DI(小于5T)或 半结构化数据 或 非结构化数据3、 全面的数据计算能力实时增量式数据集成数据挖掘平台预制6种以上的算法，包括：移动平均算法、指数平均算法、加权平均算法、聚类分析算法，自回归整合移动平均算法等分布式计算基于Hadoop平台的UDH产品对海量结构化数据和非结构化数据进行分布式计算，同时配合Hadoop平台Impala组件，这样能使性能提升30倍；多维分析业务数据5TB，事实表：10亿条记录、客户

9、维50万、时间维6000 1048410080* 515026 *5572=3.00865E+18 即时分析响应时间小于3秒。36+数据挖掘303、 全面的数据计算能力多维分析工具交叉、上卷、下钻APIXMLA、JOLAP上传数据到HDFSMapReduce程序准备数据启用（应用）拓扑问题定义数据预处理连接管理MDX解析校验MDX执行器多维立方体单元处理层立方体单元执行返回模型解析、维度解析聚合处理数据装载molapRolap结合实时集成可实时分析(应用)拓扑消息处理任务1任务2任务3元组元组元组流消息源任务1任务2消息处理任务1消息处理任务1一个应用拓扑启动后会源源不断的执行，直到停止它学习

10、建模模型发布挖掘处理传统算法引擎数据预处理分布式算法引擎数据块1数据块2数据块3数据块4数据块5Map()Map()Map()Map()Map()Reduce()Reduce()Reduce()结果结果结果先装载数据基于磁盘高吞吐量低延时基于内存实时处理数据多维分析大规模结构化数据即时分析数据挖掘传统数据挖掘分布式数据挖掘分布式计算大规模非结构化数据高吞吐量非实时基于磁盘流计算信息流处理连续计算实时处理低延时基于内存 平台即可满足企业传统在线分析和数据挖掘需求，也满足企业大规模批处理和流数据处理等新的数据处理需求。 良好的层次化、组件化设计架构不仅可满足企业端到端的数据处理场景，也可满足涵盖各

11、种模式的统一的数据计算能力。 支持全面数据计算能力产品包括AE处理平台，UDH大数据处理平台。3、 全面的数据计算能力（1）多维分析AE OLAPMOLAPROLAP分析操作响应速度数据规模与并发性能低高高DB聚合内存立方体多维分析引擎，提供了大规模数据和高并发用户分析能力。基于内存分析、智能聚合技术，在提供高扩展性的同时提供高性能 内存分析：提高分析效率，降低分析操作响应时间。平滑数据库访问，减小数据库压力，提高处理效率，缩短响应时间。智能聚合：最大化降低数据访问运算处理，提高聚合运算效率 业务数据5TB，事实表：10亿条记录、客户维50万、时间维60001048410080* 515026

12、 * 5572=3.00865E+18。即时分析响应时间小于3秒3、 全面的数据计算能力（2）数据挖掘数据挖掘架构基于开源R平台，有非常丰富的算法支持，算法的更新推出速度快预置丰富的算法和模型，降低客户实施数据挖掘的难度高性价比，大幅降低数据挖掘项目的实施成本，使大多数企业都用上数据挖掘客户端工具服务器端结果展现数据预处理训练建模模型发布模型库R SERVERR算法包仪表板查询报表报告多维R算法包展现调用接口3、 全面的数据计算能力（3）分布式计算数据处理数据采集非结构化处理平台UDH（UAP Distribution for Hadoop）结构化数据处理平台AE（Acceleration E

13、ngine）IMPALASPARKPig数据采集接口HBASEHIVE仓库建模元数据管理数据质量列式分析型数据库MPP数据库集群ODSDWDM流处理接口流处理接口主数据ETLWeb移动流媒体传感器CRMPLMSCMEAMHDFSMapReduceNOSQL连接器4、统一数据管理能力实时增量式数据集成为企业提供一整套用于生成和维护企业主数据的规范、技术和方案，从企业的多个业务系统中整合最核心的、最需要共享的数据，集中进行数据的清洗和丰富，有效地解决了在各应用系统中流转数据的一致性问题，从而提高了集成服务的质量。统一数据质量管理统一数据质量管理体系分为5步聚：监控，检查，报告，处理，总结；企业数据

14、质量，是企业进行一切数据处理、使用以及分析的基础，没有高质量的数据作为企业信息建设基础，企业一切的信息建设成果都将成为泡影。统一元数据管理统一元数据管理，覆盖业务元数据，分析元数据；其中分析元数据主要包括：源系统表元数据，DI过程元数据，数据仓库模型元数据，语义模型元数据，多维模型元数据，分析报表元数据；统一主数据管理4、企业级的统一数据管理能力 基于元数据技术，结合元数据管理、主数据管理产品，平台可提供以企业数据标准为准则，在数据管理分析的各个阶段进行质量和安全控制的系统解决方案，从而使企业和组织实现从数据管理到数据治理的跨跃。企业数据管理体系数据标准规范信息资源目录元数据管理数据存储数据计

15、算数据服务数据应用数据建模数据质量管理数据安全管理数据整合主数据管理4、统一数据管理能力统一元数据管理ERP系统元数据CRM系统元数据业务元数据分析元数据统一元数据管理统一元数据统一元数据管理，为企业/组织数据治理提供技术基础数据可追溯，数据处理更透明、可靠、可信标准规范的元数据存取、血缘分析、影响分析服务简化IT运维复杂性，提高效率：升级改造、问题分析定位简化应用开发：复杂业务处理支撑，系统架构优化为产业链机制提供基础支持相关元数据数据分析系统典型层次源系统数据模型DI过程DI过程定义信息数据仓库数据模型语义模型多维模型即席查询报表多维分析仪表板表字段1字段2DI过程任务转换仓库模型主题域表

16、字段语义模型语义表语义视图立方体维度1维度2度量报表元素1元素2数据源4、统一数据管理能力统一主数据管理 企业主数据是用来描述企业核心业务实体的数据，它是具有高业务价值的、可以在企业内跨越各个业务部门被重复使用的数据，并且存在于多个异构的应用系统中。5、丰富数据可视化展现能力实时增量式数据集成支持手机和Pad终端设备支持基于表格、图形的灵活数据展现和交互分析支持分析缓存、离线分析支持分析评论、分享良好的可视化移动操作和高效的性能体验门户集成一键认证嵌入企业门户和系统配置开发、无需编码动态交互、即时变化支持条件推送、周期性订阅桌面分析仪表板： 支持灵活的分析布局和交互式分析；支持43个可视化分析

17、部件；43移动分析多维分析： 预制22个组件，丰富的上下文分析、格式支持 ；丰富的分析预警格式；多分析区域、区域联动支持；225、丰富数据可视化能力（1）桌面分析5、丰富数据可视化能力（2）移动分析移动分析支持手机和Pad终端设备支持基于表格、图形的灵活数据展现和交互分析支持分析缓存、离线分析支持分析评论、分享良好的可视化移动操作和高效的性能体验5、丰富数据可视化能力（3）门户集成门户集成一键认证嵌入企业门户和系统配置开发、无需编码动态交互、即时变化支持条件推送、周期性订阅6、云数据服务能力1数据存储平台个2云+端分析工具套3数据部署模式类4数据云端服务类基于企业UDH提供云端数据存储服务，通

18、过数据接口、爬虫服务等数据通道，可获取企业外部全网数据，并对接内部数据源，提供不间断、稳定的数据存储服务；企业BQ CLOUD云端分析工具，用于在线的数据分析、可视化决策为导向，提供数据的多维分析、故事分析板，利用线上海量数据及分析模型快速建立分析场景，解决业务问题数据部署方式提供客户本地数据仓库的部署、线上数据仓库部署，以及线上、线下的混合模式（线下企业内部数据，线上企业外部数据），并实现数据的互联互通，融合应用；提供舆情数据分析、宏观经济数据及行业对标、企业经营诊断及第三方数据服务（气象、电商、地理信息等）四类企业外部数据服务，打造企业外部数据中心；6、云数据服务能力BQ Cloud云端BI分析云端 UDH大数据平台Hadoop大数据存储、高性能分析、数据挖掘云端数据存储平台行业对标同行业企业