企业大数据平台解决方案

1、企业大数据平台解决方案云计算按需使用资源弹性平滑扩容帮助用户降本增效人工智能自研AI算法，提供AI平台助力应用探索推动数字智能化数字化时代下的企业战略上云以数赋智，CBA三位一体大数据实现数据安全互通打通数据孤岛释放数据价值大数据平台产品介绍02BIGDATA PLATFORM INTRODUCE大数据平台ESDP (Smart Data Platform) 是 一款智能化、轻量级的大数据组件管理、开发与治理平台。使用 ESDP 提供的大数据存储和计算引擎，以及完善的数据开发套件，可以轻松构建基于大数据的各类业务应用。集群创建组件部署配置管理监控告警故障诊断基础资源物理机云主机容器大数据组件管

2、理平台数据开发套件数据集成任务调度数据治理BI数据服务ESDP大数据平台套件精准营销运营优化风险控制异常预测报表/大屏业务应用功能特点开源组件：支持30款大数据开源组件，业界最强“全家桶”。用户组件：可适配专业用户自定义优化的组件，扩展性强。自研组件：数据开发、任务管理、数据集成等作为开源技术的补充。国产化适配：需开源组件社区支持。一站式数据开发与治理平台智能化大数据运维平台数据采集：支持多源异构数据集成。数据开发：可视化工作流开发及任务调度。数据治理：覆盖元数据管理、元数据管理、数据资产管理等方面。国产化适配：可支持国产化硬件部署。操作统一，资源独享：统一的控制台入口，资源独享，安全高效。运

3、维工具产品化：监控告警、故障排查智能化，轻松搞定运维。运维服务标准化：专业的云上大数据运维服务。国产化适配：已支持国产化硬件部署。产品架构图 ESDP Agent 代理层监控告警权限认证实时计算OLAP引擎离线计算NoteBook智能运维智库交互式查询数据科学工作台作业管理元数据管理数据使用&作业管理计算引擎数据存储数据采集平台管理资源管理RangerZepplinHueOozie 、AzkabanMysql、AtlasMRHDFS & KUDU & 存储集群ElasticsearchZookeeperFlink、Spark KylinHive、TezPresto 、ImpalaYarnHBa

4、seKafkaSqoop、DataXFlume、Logstash、Kafka、Beats大数据物理机、虚拟机、快杰云主机等AlertManagerGrafanaInfluxDBNodeExporterPrometheusESDPMonitor数据集成数据开发数据治理BI数据服务数据沙箱大数据组件管理平台通过Web管理控制台，创建大数据集群，在集群中部署 Hadoop、Hive、HBase、Spark、Flink、Presto 等开源的大数据组件，并对这些组件进行配置管理、监控告警、故障诊断等智能化的运维管理。开放的管理架构客户无需担心被绑定支持30款服务组件比CDH多支持的服务组件：Flink

5、，Kylin，Livy，Phoenix，Tez，Elasticsearch，Kibana，Azkaban，Presto，Atlas，Kafka Eagle，ZKUI全面兼容主流开源标准全面支持主流服务组件全面的组件支持组件版本描述HDFS2.8.5分布式文件系统，作为结构化数据的底层存储。YARN2.8.5资源管理和调度服务，为上层应用提供统一的资源管理和作业调度。Zookeeper3.4.13分布式应用程序协调服务，用于统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。Hive2.3.6基于Hadoop的数据仓库工具，支持通过Hive SQL查询方式来分析存储在Hadoop分布

6、式文件系统中的数据。Tez0.9.2构建在YARN之上的应用程序框架，允许使用复杂的有向无环图来处理数据。HBase1.4.10分布式的、面向列的开源数据库Spark2.4.6基于内存计算的大数据并行计算框架,可用于构建大型的、低延迟的数据分析应用程序。Flink1.1一个框架和分布式处理引擎，用于对无限制和有限制的数据流进行有状态的计算。ElasticSearch7.8.0弹性搜索服务，提供分布式、高扩展、高实时的全文搜索与数据分析能力。Kibana7.8.0为 ElasticSearch 提供 Web 页面分析入口Kafka1.1.1分布式发布-订阅消息系统Flume1.9.0分布式的海量

7、日志采集、聚合和传输的系统。Phoenix4.14.3HBase的开源SQL层，可以使用标准的JDBC的APIs去代替常规的HBase客户端的APIs去创建表，插入数据和查询HBase数据。Livy0.7.0通过提供REST服务来简化与Spark集群的交互Kylin3.1.0分布式分析型数据仓库，提供Hadoop/Spark 之上的 SQL 查询接口及多维分析（OLAP）能力以支持超大规模数据Hue4.7.1运营和开发Hadoop应用的图形化用户界面Oozie5.1.1管理Hadoop作业的工作流调度程序系统Ranger1.2.0集中式的权限管理框架，可以对Hadoop生态中的组件进行细粒度的

8、权限访问控制。Sqoop1.4.7用于在Hadoop和关系型数据库之间进行数据转移的工具。完善的监控告警多年大数据研发实战经验服务公有云大数据客户能力积淀轻量级产品，学习门槛行业最低快速上手，更符合国人的操作习惯预置丰富的监控模板专业的研发和技术支持团队深刻理解一线运维和研发人员的需求大数据开发套件通过一站式的数据开发门户，提供覆盖数据集成、数据开发、数据治理、BI、数据服务、数据沙箱等各项功能的大数据开发套件。数据集成数据集成产品能够实现包括 MySQL、Oracle、SQLServer、PostgreSQL、HDFS、Hive、HBase等各种异构数据源之间高效的数据同步功能，将不同系统的

9、数据相互打通。数据开发数据开发产品提供了一个轻量级、分布式、易扩展的可视化DAG工作流及任务调度管理系统，支持通过拖拽方式编辑数据开发任务及流程，并进行任务的调度。控制台提供了对所有任务运行情况的监控和统计分析元数据管理元数据管理产品可以方便的将数据库元数据信息导入，通过Web界面进行可视化管理，为数据分析和数据治理提供高质量的元数据信息，以此为基础，可以分析数据库对象之间的关联关系，数据间的血缘关系，为企业构建数据地图等。BIBI产品可以连接MySQL、PostgreSQL、MariaDB、GreenPlum、Presto等各类型数据源，从中提取数据建立数据集，通过拖拽的方式使用饼图、平铺柱

10、状图、堆叠柱状图、折线图、组合图、表格、透视表等图标进行可视化数据分析。基于这些图标可以构建内容丰富的仪表板以及数据门户，并可通过邮件的方式订阅这些仪表板。大屏可视化数据服务数据服务产品支持通过可视化界面配置多种数据源类型，支持用户通过sql，python等多种方式进行数据探索，通过向导化的方式生成数据API对外发布，实现安全稳定的数据共享开放。数据沙箱数据沙箱提供了一个安全隔离的数据运算环境，进入沙箱的原始数据不能被导出，运算后的结果数据需要在管理员审核通过的前提下才能导出，并且沙箱中的所有用户行为，都会被记录下来用于日志审计，从而有效地保护了有价值的数据可用而不可得。算法开发可视化实验开发

11、多种结果评估形式多版本模型管理高质量算法模型开发：借助可视化建模、Notebook建模，满足多层次、多类型算法工程师便捷开发算法模型。各类模型统一管控：借助内置模型管理模块，将异源、异构、异类的算法模型统一、多版本管控。 模型服务快速生成：借助模型服务，迅捷部署算法模型服务，实现端到端模型服务化构建能力。内置高性能算法组件数据资产管理全盘操控数据资产：借助资产全景，全方位知解数据资产的来龙去脉，无死角盘查数据资产，掌握数据治理效果。业务角度探索聚焦数据：借助数据地图模块，聚焦业务角度直观清晰碳素数据，迅捷高效地获取价值。数据分级：借助数据分级模块：部分敏感数据分门别类；各等级用户查阅对应数据。

12、安全审计：借助审计模块，提供用户高危操作告警措施、实时记录用户操作日志。数据标准数据质量标签中心业务角度管控数据：借助对象管理模块，构建业务模型，聚焦业务视角组织数据资产，实现数据资产“可懂”。掌控数据资产体系：借助标签体系模块，实时掌控数据资产体系使用概况。数据资产运营：借助数据分级模块：部分敏感数据分门别类；各等级用户查阅对应数据。便捷高效用数据：借助标签应用模块，按实际场景，基于通用化数据分析、群体洞察、场景管理，快速构建数据应用，萃取业务价值。标签首页标签管理大数据应用场景02BIGDATA APPLICATION SCENE大数据应用精准营销架构流程图终端设备定制化模组核心分析引擎业

13、务系统网页App设备传感器CRMERPMESWMS销售预测产销预测失效预测IoT / IIoT 平台最佳化迭代收敛自动化建模分析自动化数据清整数据探索自动化特征工程APIAPI故障预测促销预测可作为单独的数据分析工具可根据应用来设计定制化模组预测结果 /特征重要度大数据平台数据字典基础库主题库数据地图数据血缘大数据应用精准营销（续）将新品推荐给对的会员自动化机器学习推荐模型能考量新旧产品之间的特性、会员的基本属性及消费特性，产生新品推荐名单。营销人员依营销预算设定信息/EDM的投放数量，筛选出购买机率最高的客群，提升营销活动转化率。性别年龄消费频次消费金额喜好类型容量 / 规格单价口味 / 风

14、格地区会员特性所需资料销售纪录产品特性门市资讯会员资讯商品资讯入数新品推荐名单=大数据应用销售预测运用销售预测模型预测各门店销售量，结合业务逻辑和经验，帮助企业进行采购、生产、备料、进货等安排，降低各种囤货、库存所产生的成本浪费，同时避免因无库存造成的顾客流失。历史销售纪录门市资讯促销档期资讯所需资料商品资讯日程表利用相关资料建立销售预测模型产生 未来各门店的销售量门店 1门店 210008004001月2月3月1003000200结合业务逻辑业务逻辑运算销售预测结果专家的经验采购计划制定计划与策略生产计划备料计划物流安排所需资料销售纪录门市资讯会员资讯商品资讯大数据应用会员付费升级预测会员体

15、系，是对不同的消费群体，制定不同的服务及定价策略，其核心目的就是为了追求消费者剩余的最大化。运用付费会员的升级预测模型，准确掌握可能升级VIP会员的名单，适时针对性的推送升级优惠折扣，提升VIP转换率，提高企业的营收。用户中心VIP付费会员一般会员付费会员转换率提升月营收增加毛利增加主要收入来源现有普通会员中谁可能升级VIP会员？升级优惠折扣推送VIP会员专属权利VIP专属内容无广告积分翻倍身份标识大数据应用食品饮料生产/需求预测利用内部历史资料 (如：销退货、订单、品类、渠道、生产计划表、渠道促销档期等)，加上可能的外部市场变动因子资料 (如：原材料市场波动情况、用工情况、天气情况等)，透过

16、自动化机器学习对食品饮料产品销售量进行预测，帮助食品生产企业掌握市场需求，并融入内部业务逻辑，以对计划生产进行精准的安排，防止产销不协调造成成本的增加。渠道促销档期信息生产计划表信息内部资料补充资料建立销量预测模型资料数据业务逻辑调整生产需求量资料前处理业务逻辑运算准确的销量预测结果计划生产策略依据生产成本控制有效规划产能有效防止生产成本浪费透过不同维度的预测结果(例：渠道/品类等)，协助安排计划生产，以及监控生产表现准确的销量预测结果有效监控计划生产成果外部资料预测模型销售信息退货信息订单信息品类信息客户/渠道信息节日、活动信息原材料市场信息大数据应用门店区隔分析利用销售数据、门店区域资讯、

17、人口情况等数据，进行机器学习分群建模，找到门店分群结果及其轮廓差异，作为后续选品与营销策略的决策参考。门店区隔 + 分群轮廓位于商业区上班族午餐商机位于住宅区小家庭日常消费、晚餐位于文教区教师/学生下课点心门店资讯销售纪录地域资讯所需资料利用相关资料地域特性分店轮廓(分时客流、商品销售比例)建立商店分群模型店型1店型2店型3依不同店型制定商业策略销售预测品类规划促销优化PROJECT CASES项目案例04向信易贷平台开放经企业主体授权、脱敏后的市监、发改、自规、人社等相关数据服务，帮助金融机构评估企业信用，为信用良好企业提供信用贷款，破解企业融资难、融资贵痛点。信易贷平台向第三方商业服务选址

18、专业机构开放人口、交通、规划、兴趣点、房价、教育等空间数据、融合第三方机构自有数据（如手机信令）、选址模型算法（综合评估客流、年龄、消费、关注门店分布等），为连锁企业提供科学选址服务。商业选址向白鹭分系统开放经主体授权、脱敏后的个人身份识别、个人信用信息等数据服务，结合白鹭分系统提供的白鹭分算法模型计算个人白鹭信用分，提供信用借书、信用停车等便民服务。白鹭信用分X市大数据产业应用场景使数据开放从理念走向现实，并广泛应用于政务决策、普惠金融、商业选址、交通出行、医疗卫生等众多场景。当前应用场景普惠金融应用开始服务普惠金融项目部署网络位置政务外网 (私有云平台+安全屋)开放数据类型有条件开放数据（

19、依申请开放）当前使用银行7家（建行、农行、中行、农商行、交行、上行、浦发）。S市大数据中心普惠金融应用平台数据来源市科委、市人力资源社会保障局、市规划资源局、市生态环境局、市住房城乡建设委、市市场监管局、市税务局、市高级法院等8家数据提供部门，提供了与普惠金融相关度较高的300多个数据项实现了7家单位、百TB级网络安全数据的共享在不导出用户数据的情况下，基于共享的数据实现了DDoS攻击等网络安全分析某网络安全数据共享系统项目网关服务节点主控区节点管理区控制器账号管理SDN控制审核管理节点存储&计算区A互联网公司数据区系统管理员数据发布审核网关服务平台主控区核心管理账户管理算法管理项目管理数据集

20、市网关服务根数据区主控区节点管理账户管理算法管理项目管理数据集市节点存储&计算区所有分析用户系统主控区 &根数据区Https Web VNCHttpsRESTful API数据源D安全公司数据区节点管理数据发布审核审核管理员F安全公司数据区节点管理数据发布审核审核管理员E安全公司数据区节点管理数据发布审核审核管理员22C机构数据区节点管理数据发布审核审核管理员日常维护B大学数据区节点管理数据发布审核审核管理员平台管理/数据提供平台主控区核心管理网关服务数据目录安全加密账户管理算法管理审核管理人口库数据重点人群数据出入境数据卡口数据数据节点地市铁路旅客流动住宿重点人员查询出入境涉案人员查询通用查询个性查询自定义多方数据联合建模分析审批后数据HTTPS/API地市级01（1）或地市公安业务系统数据加密审批后数据HTTPS/API审批后数据HTTPS/API某省公安厅合作的安全屋数据安全共享系统项目，通过安全屋“数据可