敏捷数据开发驾驭海量数据

敏捷数据开发驾驭海量数据2.挑战&痛点平台开发与运维痛点业务诉求与期望3.数智化建设数智建设场景数智应用场景4.展望未来2.挑战&痛点平台开发与运维痛点业务诉求与期望3.数智化建设数智建设场景数智应用场景4.展望未来历程回顾展望未来公司概览发展历程全球分布Partone常用于企业发展历史介绍常用于企业发展历史介绍宁德新能源成立于1999年，是全球排名第一的聚合物锂离子电池供应商总部位于香港，下辖子公司位于中国广东省东莞市常用于企业发展历史介绍常用于企业发展历史介绍ATL在香港成立ATL成功研发出聚合物异形锂电ATL在香港成立ATL成功研发出聚合物异形锂电池并应用于MP3全球聚合物锂电池出货量遥遥领先设立NVT设立NVT印度工厂，迈出海外运营第一步团Pack出货量突破一亿颗东莞新能安科技有限公司成立，进军消费印度新能源成立印尼新能德成立类电子产品之外的电池业务市场同年，ATL已累计出货50亿颗电芯常用于企业发展历史介绍常用于企业发展历史介绍Parttwo数据处理和数据管理痛点•电池的生产数据量非常庞大且复杂，每天要新增的数据就有20GB以上，要处理的数据更是超过20GB•多个厂区，每个厂区负责不同的业务，这些业务数据都需要传递到总部来实现数据汇集，数据量非常之庞大•交叉维护数据流任务，容易出现错误数据处理和数据管理痛点•电池的生产数据量非常庞大且复杂，每天要新增的数据就有20GB以上，要处理的数据更是超过20GB•多个厂区，每个厂区负责不同的业务，这些业务数据都需要传递到总部来实现数据汇集，数据量非常之庞大•交叉维护数据流任务，容易出现错误，需要及时回退到之前的任务版本•因印度网络等不确定因素容易导致任务失败，需要回滚，避免脏数据写入•常规的技术支持服务缺乏，出现问题时无法及时响应•软件版本更新慢，新需求也无法得到满足•使用方式类似于传统代码开发软件，使用要求高，新人IT上手很困难•ATL是帆软FineBI的深度使用用户，建设了12000+的自助分析模板，月度访问量：30000+，已经深入到每一个业务职能中。随着BI的使用和推广，需要自动化手段来实现自动更新数据分析和查看消费痛点•IT人员对业务的理解深度不够，导致没有深入挖掘业务用户潜在需求，从而造成需求理解偏差•业务需求紧急，需求上升领导施压，数据和BP团队应对数据分析和查看消费痛点•IT人员对业务的理解深度不够，导致没有深入挖掘业务用户潜在需求，从而造成需求理解偏差•业务需求紧急，需求上升领导施压，数据和BP团队应对疲于奔命。部分需求数据底层架构设计质量不佳，投入未能产生预期收益，需后续重复返工•业务部门通常通过临时数据提取或固定报表来获取数据，并利用制作固定报表和可视化方式来利用这些数据。未采用FineBI之前需底层和前端重复开发•需求急迫，希望迅速得到数据分析结果，通常是为了特定的主题或活动•市场环境变动，业务需要更及时的数据支撑业务重大决策分析Partthree数仓存量900TB年增量300TB仅ERP月增50+GB数据存量和增量大包含关系型数据库、数仓存量900TB年增量300TB仅ERP月增50+GB数据存量和增量大包含关系型数据库、Mpp架构数据库、时序数据库等多种类型共计有20+核心业务系统一百多套业务系统1、数仓底层建模2、制作、工艺模块底层数仓建模1、大规模各个业务推广培训2、实现全员自助分析核心目标在于覆盖整个业务的信息化管理，做全面的信息管理，实现人人都是数据分析师1、数仓底层建模2、制作、工艺模块底层数仓建模1、大规模各个业务推广培训2、实现全员自助分析核心目标在于覆盖整个业务的信息化管理，做全面的信息管理，实现人人都是数据分析师1、原QV报表迁移到FineBI+FDL3、采购、3、采购、人力、财务前端BI建模关键目标在于建设统一的规范的指标习题3、迁移后的报表新需求自助开发核心目标在于覆盖整个业务线的信息化管理，搭建统一的数据分析平台，并推广到制造、工艺、采购、运营、人力、财务等部门自助式的多场景分析收集各业务条线需求，为各部门及管理层提供数据支撑自助式的多场景分析收集各业务条线需求，为各部门及管理层提供数据支撑应用知识进行正确判断，决策产生的价值打破业务系统壁垒，实现基础BI自助分析数据采集、分级存储、清洗、运算、建模、应用、展示数据源前端应用数据集成计算层数据存储数据源前端应用数据集成计算层非结构化数据外部数据报表看板非结构化数据外部数据WebAPIWebService图片IOT数据涛思图片IOT数据涛思DB文档ECM系统内部数据用户自助MPPOnlineERPOAERPOAEPFLimsMES供应链指标制造指标绩效指标测试指标研发指标供应链主题域明细整合数据集市工程统计明细整合数据集市制造主题域HR主题域HR主题域测试主题域研发主题域AI应用设备采集AI应用设备采集MPPArchiveODSDWD对象存储CSVPB级别数据是如何产生的？PB级别数据是如何产生的？全员自助分析的诉求，带来了更多的数据来源以及飞速增长的过程数据数据价值密度等级高较高--------数据价值密度等级高较高------------------⃞较低------------------⃞低热数据温数据冷数据冰数据4节点集群，基础性能得到保障平均数据行85亿行4节点集群，基础性能得到保障平均数据行85亿行/天单月吞吐221TB年累计吞吐2000TB最大数据行415.2亿行/天单任务最快73.7M/S吞吐量6.79GB/天/任务数据行26亿行/天/任务最大吞吐35.89TB/天最大并发300个任务保障重点数据处理速度错开更新时间，提升整体效率如何快速响应业务需求：流程和工具双轨驱动设计规范数据抽取规范数据处理规范 1大型计算任务进行模块化增量计算设计规范数据抽取规范数据处理规范 1大型计算任务进行模块化增量计算1212通过规范化的开发范式，保障了开发者统一认知和操作6000+任务如何运维管理？多任务调度多任务调度单任务调度整合全部调度单任务调度6000+任务如何运维管理？•多人维护，需要记录版本避免冲突。•多人维护，需要记录版本避免冲突。现在每个任务至少有5个版本，保障了整个ATL数据的可用性。出现问题时可以及时回退到之前的版本，保证了数据一致性。不仅是任务配置（各个算子）的修改可以被记录，在任务中写的SQL，参数，任务控制等修改也可以被版本管理记录，可以看到具体每个版本的维护人和相关信息6000+任务如何运维管理？脏数据or同步失败脏数据or同步失败海量数据资产如何管理和使用？海量数据资产如何管理和使用？展示FineBI数据集血缘关系，数仓表血缘关系较历史较历史较历史较历史30分钟10分钟30分钟10分钟PartFour财务月度滚动预测财务月度滚动预测通过财务预测模型数据自动计算并版本控制，完善财务BI经营分析，从过去基于年度预算的预实分析转为目标过程管理的月度滚动预测差距分析3Gap-33Gap-3List分析自动计算数据，直接联动BI，并将结果推送至飞书自动计算数据，直接联动BI，并将结果推送至飞书预测计算明细表，还可进行版本控制实际应用截图开发效率提升半小时内完成合并报表计算进行确认；10分钟完成新工厂合并账套配置添加财务全员加班2-3天才能算出一版本数据准确性提升数仓自动出数，仅需最后一次确认。财务从核算财务向分析财务转型人工计算，版本管理和重复核算保证准确性实际应用截图开发效率提升半小时内完成合并报表计算进行确认；10分钟完成新工厂合并账套配置添加财务全员加班2-3天才能算出一版本数据准确性提升数仓自动出数，仅需