用友能源UAP业务V1.0-大数据.

1、用友能源2016年业务方案筑梦.同行.转型.突破UAP大数据处理方案2016年3月19日Copyright 2015-2020 Yonyou Energy Technology Co., Ltd.All rights reserved.Yonyou Software Corporation社会网络移动应用Cloud 云大数据广泛的数据= 全面的决策更多的数据= 更深的决策分析与决策实时数据+ 快速分析= 最具有价值的决策大数据处理-新一代信息环境核心Yonyou Software CorporationAE产品定位-基于数据库日志解析的增量处理机制，减小数据库压力-分布式处理架构，秒级延迟，支

2、持多种目标数据库类型集成：增量数据的实时同步-TB级的数据量高速处理-丰富的数据库处理组件，多种类型数据源集成：异构数据集成-10TB级别的数据复杂分析；性能比传统数据库提升一个数据量级-高数据压缩比，节省数据空间大规模计算：结构化非结构化- 支持分类/聚类/关联/时间序列等常见算法和分析模型，支持R语言-支持复杂数据结果的可视化展现数据挖掘：高级分析与可视化Yonyou Software Corporation整体架构Yonyou Software Corporation产品体系数据处理数据存储结构化大数据处理非结构化大数据处理分析计算存储 数据可视化计算引擎统一建模数据挖掘数据集成管理控制

3、台组织用户权限集群调度监控云管理支持行存列存行列混存ETL/ELT实时同步非结构化到结构化仓库建模语义建模多维建模仪表板模型管理算法引擎学习建模用友数据处理与商业分析平台分布式数据挖掘实时查询批处理内存处理流计算 NoSQL文件系统预测、移动多维分析智能报告即席查询自由报表查询引擎报表引擎多维引擎Yonyou Software CorporationAE主要功能列式数据仓库场景平均值（秒）平均值（秒）BLUORACLE提升提升场景一.查询22.9848.4237x场景二.展开59.511192.4720 x场景三.排序41.551008.9824x场景四.同比分析50.68362.437x场景

4、四.环比分析131.26363.313x场景五.切换指标20.2875.3143x场景五.切换维度35.29616.217x场景六.父级占比37.69876.8423x场景七.查询37.79342.019x场景八.查询175.681364.688x平均25xYonyou Software CorporationAE主要功能实时数据同步CDC 基于数据库日志的增量解析技术 分布式数据处理架构，提升吞吐量 支持列式数据仓库Yonyou Software CorporationAECDC工具Yonyou Software CorporationAE主要功能数据集成 基于开源框架的质量提升和功能增强

5、集群调度提升执行效率 元数据管理和数据质量监控Yonyou Software CorporationAE数据集成DIYonyou Software CorporationAE数据高级分析Yonyou Software CorporationUDH产品Yonyou Software CorporationUDH主要特性和能力特性特性 支持集群的自动化自动化安装部署 提供统一管理和监控管理和监控服务 提供数据处理服务的工作平台工作平台，实现可视化可视化处理 支持海量结构化数据的批量处理和实时查询批量处理和实时查询 支持面向海量数据的交互式查询分析交互式查询分析 支持与AE DI工具和BQ分析引擎的

6、整合整合能力能力 支持文件管理文件管理：查看，上传，下载等 支持SQLSQL查询查询：提供查询编辑器，支持编辑，运行，历史保存等 支持PigPig脚本脚本：编辑，保存，提交，运行日志等 支持数据处理流程流程可视化可视化设计，提交以及运行监控等 支持自定义自定义MapReduce，Java作业以及调度执行和监控Yonyou Software CorporationUDH应用场景深度分析对于海量的，低价值密度的数据探索，从中发现数据规律，作为数据仓库与第三方的商业分析系统整合，实现海量数据的深度分析。利用UDH提供的NoSQL数据库HBASE和MPP架构的列式数据仓库引擎Impala，提供海量数据的处理引擎。利用AE DI实现外部数据的集成，基于UDH提供的SQL查询接口和客户端，结合AE的查询分析引擎，实现数据的高效查询分析。特点：高性能，内存计算，横向扩展，统一特点：高性能，内存计算，横向扩展，统一SQLSQL接口；与接口；与AEAE引擎整合引擎整合 Yonyou Software Corporati