华为大数据中台架构分享

大数据中台架构分享业务场景：智慧工厂全球运营指挥中心动态供应链|柔性生产线第三方风控|全球供应量可视化|质量控制前置|智能供应链（订单、动态供应链|柔性生产线第三方风控|全球供应量可视化|质量控制前置|智能供应链（订单、仓储、物流）质量预测模型（事前）智能仓储|智能装箱|物流可视化追踪|智能清关资产管理|AGV厂区物流|产线预防性维护|智能安全监控|工厂能耗管理|设备虚拟化|设计生产一体化会三级运输会三级运输客户需求、风险、外部运力等信息及时感知，自动给连接连度集成的物流IT系统接基于先进技术与工具，物流信息自动感知与采客户需求、风险、外部运力等信息及时感知，自动给连接连度集成的物流IT系统接基于先进技术与工具，物流信息自动感知与采二次运输Sensors国际运输智能化料料企业越来越重视数字化运营，核心重点是数据管理、可视以及数据治理超过60%计划或已经建立数据管理委员会超过60%计划或已经建立数据管理委员会大数据能力框架，数字资产管理作用将被关注From信通院、艾瑞咨询：预计到2020年，大数据软件市场规模将达大数据能力框架，数字资产管理作用将被关注From信通院、艾瑞咨询：预计到2020年，大数据软件市场规模将达到268.2亿元，年复合增长率38.6165.9亿元，年复合增长率41.4%。初步估算数据管理市场约43亿，核心发展方向：数据资产管理、数据可视化以及机器学习基础大数据产品逐步成熟，数据安全、数据开放以及主数据管理需求业界洞察—Gartner：日益增长的数字化需求、复杂的业务生态系统、数据的分布式存储趋势，驱动企业需要构建一个跨越孤立数据、简单、一致的数字化运营生态系统本地领域级企业级大数据逻辑数据仓库卓越数据分析本地领域级企业级大数据逻辑数据仓库卓越数据分析增强分析和优化组合…数据科学，人工智能/机器学自然语言处理高级分析商务分析，展板报告1、独：烟囱系统，数据孤岛严重。重复开发、成本浪费；2、断：数据理解与数据价值链条的断层；3、缺：缺标准、缺治理、缺数据；4、难：知数据难、要数据难、懂数据难；•从烟囱式多个平台向融合大数据平台，建立统一的数据采集与整合大数据处理、计算及数据服务能力，降低大数据使用成本•通过集中各领域数据，方便创新，让数据产生更大价值•大中台、小前台，前台特种兵敏捷作战单元+中台航母舰群精确制导炮火数据中台定义与愿景定义：全域级可复用的数据资产中心与数据能力中心，提供清洁、透明、智慧的数据资产与高效、易用的数据能力，使能业务数字化运营；愿景：让数据成为如水和电一般的资源，随需获取，敏捷自助；让数据极大发挥价值，推动业务创新与变革；安全共享（隐私、授权、权限等）据资产中心；2）打造能高效承载数据中台建设的数据运数字化运营数字化研发业务流效率提升数字化运维数字化运营数字化研发业务流效率提升数字化运维23 •识别多场景数据消费需求•构建数据消费快速响应机制•数据业务化，数据反哺业务，促进数字化运营数据服务据1 …维度…等）…数据服务据1 …维度…等）…数据湖事务数据…主数据…基础数据…外部数据…非结构化数据…建•建立“面向对象、面向主体、面向业务流”的数据联接和标签•持续沉淀业务规则、算法、模型•建设公共数据服务，减少重复开发•统筹推动、以用促建，急用先行•为数据中台提供一站式“原材料”•汇聚各业务源系统数据，清洗/注册数据资产数据资产中心 客服…外部数据•对准需求，驱动业务数字化•数据采集/处理自动化•持续数据治理，提升数据质量源数据湖据发据据据数据湖据发据据据据源数据数据调优诊断智能扩容推荐安全态势感知故障智能预警智能决策中心开票触发计划发票信息合同基本信息收入触发主题联接开票触发计划发票信息合同基本信息收入触发开票计划开票计划回款核销回款核销数据服务数据服务数据服务-细指标数据指标数据数据接入服务大数据服务安全态势感知故障智能预警智能决策中心智能扩容推荐数据调优诊断数据运营平台DAYU数据接入服务大数据服务安全态势感知故障智能预警智能决策中心智能扩容推荐数据调优诊断数据运营平台DAYU智能分析数据治理数据开发数据开发/处理/数据服务服务创建/数据可视中台数据消费解码：包含不同层次和阶段的数字化运营数据消费数字化运营的不同阶段•提前感知业务问题•自动预警潜在风险•智能分析问题根因•洞察趋势推荐方案•数据消费数字化运营的不同阶段•提前感知业务问题•自动预警潜在风险•智能分析问题根因•洞察趋势推荐方案•支持客观精准决策数字化运营的不同层次•数据展示实时可信••数据展示实时可信•报告上线在线开会•支持数据层层下钻数据消费的不同用户类型数据消费的不同用户类型A血数据源敏捷可视能力自助分析能力快速开发能力全局治理能力高效探索能力数据开放数据开放索数据迁移方全域数据目录（元数据Catalog）私有云数据湖公有云数据湖私有云数据湖公有云数据湖方数据变为企业创新的新能源，存储存储数据规范设计，基于华为数据体系建设方法数据标准数据标准不统一数据业务断层数据重复建设历史不可追溯\下线___」现状\下线___」现状AI能力与SQL融合，懂SQL就可以开发AIcreatetablecars_no(filePathstring,resultarray<struct<number:string,type:string>>)usingocroptions(path"obs://bucket1/wangfei/cars",ocrApiUrl"/v1.0/ocr/plate-number",ocrEndpoint"",ocrRegion"cn-north-1")NumberColorFile1白2黑行业数据标准行业主题数据模型行业算子行业指标数据主题数据湖数据地图业务对象中心