版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
PAGE10PAGE10制造业数据治理白皮书制造业数据治理白皮书目前言 目一、制造业发展背景及趋势 05经济增速下行形势下制造业艰难转型 05国家对数字化转型战略的政策导向 07 国内制造业复苏势头强劲 新晋生产要素数据治理助力制造业转型升级12二、制造业面临数据问题和挑战 121213数据多源异构让数据集成共享存在壁垒 13数据质量难以满足企业需要、可信度低 企业数据文化建设薄弱、数据驱动意识缺位 让数据可视、可控、可用及可信是当务之急 13三、制造类企业平台级数据治理建议 1617国家层面的数据治理导向 1617平台化的集中式数据治理 推进数据进行资产化管理和应用 25四、制造业关键场景专项治理 27在企业统一数字底座上的制造业供应链控制塔项目建设 27大数据和人工智能引领下的计划协同 31五、数据治理案例 34高科技行业数据治理案例 34装备制造业数据治理案例 36 零售及快消品行业数据治理案例1.经济增速下行形势下制造业艰难转型一、制造业发展背景及趋势1.经济增速下行形势下制造业艰难转型中国制造业体量领跑全球。对于中国而言,制造业称得上是“立国之本”。中国经济能够在短短几十年时间内实现腾飞,坐上世界第二大经济体的位置,制造业可以说是功不可没。现如今,中国制造的商品出口改革开放四十年以来,中国制造业有了显著的发展,无论制造业总量还是制造业技术水平都有很大的提高。据工信部统计,中国工业拥有41207666是全世界唯一拥有联合国产业分类中所列全部工业门类的国家。在500种主要工业产40%以上产品的产量居世界第一。光伏、新能源汽车、家电、智能手机、消费级无人机等重点产业跻身世界前列,通信设备、工程机械、高铁等一大批高端品牌走向世界。中国制造业正努力摆脱“大而不强”的困境。比如管理方面上我国只有少数大型企业局部采用了计算机辅助管理,多数小型企业仍处于经验管理阶段;设计方面上我国ACAM术方面上我国尚处在单机自动化,刚性自动化阶段,柔性制造单元和系统仅在少数企业使用。中国制造业在劳动生产率、产品质量
2019中国制造强国发展指数报告》显示,2018年中国制造业劳动生产率28974.93/19.3%30.2%%;在产品质量上,美国制造的产品平均合格率为9999932%,而中国的合格率9.7%;中国企业平均利润尚未达到全球平均水平,总利润与平均利润分别相当60%56%,且中美高端制造业的投资资本回报率(ROIC)1:2。202112月份,规模以上工业增加值同4.3%0.42%。制造业采购经理指数为50.3%,比上月上升.2百分点。2021年,全国工业产能利用率为77.5%3.080%~90%。机械制造业从产品研发、技术装备和加工能力等方面都取得了很大的进步,但具有独立自主知识产权的品牌产品却不多。与工业发达国家相比,仍然存在一个阶段性的整体上的差距。据《2019中国制造强国发展指数报告》显示,2019年世界各国制造强国发展指数情况如表1-12019年各国制造强国发展指数所示:阵列第一阵列第二阵列第三阵列第四阵列国家阵列第一阵列第二阵列第三阵列第四阵列国家美国德国日本中国韩国法国英国印度巴西指数值168.71125.65117.16110.8473.9570.0763.0343.5028.69制造业数据治理白皮书制造业数据治理白皮书数据来源:《2019中国制造强国发展指数报告》据《2019,20191-2体系所示:一级指标二级指标指标权重排名具体指标权重排名发展0.1954制造业增加值0.12871制造业出口占全球出口总额比重0.06649效益0.29311质量指数0.043111一国制造业拥有世界知名品牌数0.09932制造业增加值率0.035613制造业全员劳动生产率0.08993销售利润率0.025214优化0.28052高技术产品贸易竞争优势指数0.06897基础产业增加值占全球比重0.08354全球500强中本国制造业企业营业收入占比0.06868装备制造业增加值占制造业增加值比重0.051010标志性产业的产业集中度0.008518发展0.23133单位制造业增加值的全球发明专利授权量0.08215制造业研发投入强度0.039712制造业研发人员占从业人员比重0.013215单位制造业增加值能耗0.07486工业固体废物综合利用率0.011616信息化发展指数(IDI指数)0.0099171-2数据来源:《20192.国家对数字化转型战略的政策导向国家重点推动企业数字化转型和数据。国家发布十四五规划,以工业互联网为基点,强调工业互联网建设是新一代信息技术和实体经济深度融合。2019年以来中国数字经济行业最新政策汇总一览表如下图1-3中国数字经济行业最新政策汇总一览表所示:2.国家对数字化转型战略的政策导向中国数字经济产业新政策汇总一览表发布时间政策名称主要内容2022年1月《“十四五”数字经济发展规划》建设高速泛在、天地一体、云网融合、智能敏捷、绿色低碳、安全可控的智能化综合性数字信息基础说施。有序推进骨干网扩容,协同推进千兆光纤络和5G设施建设,推动5G商用署和规模应用,前瞻布局第六代(6G),G,6G2025数字经济核心产业加值占国内生产总值比重达10%,数据要素市场体系初步建立,产业数字化转型迈上新台阶,数字产业化数字化公共服务更加普惠均等,数字经济理体系更加完善。2021年11月《“十四五”大数据产业发展规划》大数据产业发展要以推动高质量发展为主题,以供给侧结构性改革为主线,以释放数据要围绕夯实产业发展基础着力推动数据资围绕构建高效产业链,着力提升产业供给能力和行业赋能效应,统筹发展和安全,培育自主可控和开放合作的产业生态,打造数字经济发展新优势。到2025年,我国大产业测算规模3创新力强、附加值高、自主可控的现代化大数据产业体系基本形成。2021年10月《物联新型基础建设三年行动计划(2021-2023年)》明确到2023年底,在国内主要城市初步建成物联新型基础设施,物联连接数突破20亿,为物联,数字化产业蓬勃兴起和全面发展赋能。制造业数据治理白皮书制造业数据治理白皮书中国数字经济产业新政策汇总一览表2021年9月《中共中央国务院关于完整准全面贯彻新发展理念做好碳达峰中和工作的意见》《2030年前碳达峰行动方案》,为实现碳达峰碳中和的目标壁画了行动路线图,进一步推动往数智制造方向转变。2021年5月《常见类型移动联网应用程序必要个人信息范围规定》规定明确了39种常见类型App的必要个人信息范围,其中13类App无须个人信息,即可使用基本功能服务。2021年3月《中华人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要》迎接数字时代,激活数据要素潜能推进网络强国建设,加快建设数字经济、数字社会、数字政府,以数字化转型整体驱动生产方式、生活方式和治理方式变革。充分发挥海量数据和丰富应用场景优势,促进数字技术和实体经济深度融合,赋能传统产业转型升级,催生新产业新业态新模式,壮大经济发展引擎。2021年1月《工业互联网创新发展行动计划(2021-2023年)》2021-2023出工业互联网创新发展目标,其中包括新型基础设施进一步产业发展生态进一步健全和安全保障能力进一步增强。着力解决工业互联网发展中的深层次难点、痛点问题,推动产业数字化,带动数字产业化。2020年7月激活消费市场带动扩大就业的意见》培育产业平台化发展生态、加快传统企业数字化转型步伐,打造跨越物理边界的“虚拟”产业园和产业集群,发展基于新技术的“无人经济”。2020年4月《关于构建更加完的要素市场化配置体制机制的意见》交通、教育、安防城市管理、公共资源交易等领域规范化数据开发利用的场景。2020年4月《关于推进”上云用数赋智“行动》打造数以数据流引领物资流人才流、技术流、资金流,形成产业链上下游和跨行业融合的数字化生态体系,构建设企业数数字化生态的典型范式。主要方向为构建多层联动的产业互联网平台,促转型,加快企业”上云用数赋智“,建生态,建立跨界融合的数字化生态,兴业态,拓展经济发展新空间,强服务,加大数字化转型支撑保障。中国数字经济产业新政策汇总一览表2020年3月《工业和信息化部办公厅关于推动工业互联网加快发展的通知》提出改造工业互联网内外网增强完善工业互联网标识体系、提升工业互联网平台核心能力、建设工业互联网大数据中心,加快工业互联网发展步伐。2020年3月中国数字经济产业新政策汇总一览表2020年3月《工业和信息化部办公厅关于推动工业互联网加快发展的通知》提出改造工业互联网内外网增强完善工业互联网标识体系、提升工业互联网平台核心能力、建设工业互联网大数据中心,加快工业互联网发展步伐。2020年3月《中小企业数字化赋能专项行动方案》扶持疫情控期间涌现的在线办公、在线教育、远程医疗、无人配送、新零售等新模式新业培育壮大共享制造、个性化定制等服务型制造新业态,深挖工业数据价值,探索企业制造能力交易、工业鼓励发展算法产业和数据产业,培育一批中小学数字化服务商,打造开源App企业开放开平台搭建中小企业资源库和需求池,中小微企业云服务大会、中国数字经济高端峰促进理论研究与实践交流。2019年10月《国家数字经济创新发展试验区实施方案》各试验区要坚持新发展理念,坚持推动高质量发展,坚持以深化供给侧结构性改革为主线,结合各自优势和结构转型特点,在数字经济流通机制、新型生产关系、要素资源配置、产业集聚发展模式等方面开展大胆探索,充分释放新动能。2019年9月《禁止垄断协议暂行规支配地位行为暂行规暂行规定》二是规了认定具市场支配地位的特殊考虑因素三是规定了以低于成品价格销售商品的特殊情形,对涉及互联网等新型经济业态中的免费模式,应当综合考虑经营者提供的免费商品以及相关收费商品等情况。2019年8月范健康发展的指导意见》首次从国家层面发展平台经济做出的全方位部署,提出要依法查处互联网领域滥用市场支配地位限制交易、不正当竞争等违法行为,重点强调严禁平台单边签订排他性服务提供合大数据技术日渐成熟推动制造业升级。2021年通过的“中华人民共和国国民经济和社会发展第十四个五年规划和2035)对于大数据的发展作出了重要部署。历经多大数据从一个新兴的技术产业正在成为融入经济社会发展各领域的要素、资源、动力、观念。特别是我国提出“加快培大数据的发展迎来了全新的阶段。2021全球各国大数而国内围绕数据要素的各个方面正在加速布局和我国大数据战略进一激活数据要素潜能、加快数据要素企业近年国内制造业复苏势头迅猛,制造纷纷谋求转型升级。根据国家统计局发企业布的数据显示,202012(PMI)、非制造业商务活动指数和综合PMI51.9%、55.7%55.1%,均继续位于年内较高运10GDP中所占的27.420201.22%。在我国庞大的制造业GDP总量下,1.22%的进步可谓十2011造业增加值在GDP中所占的比重第一次出现上升的情况。根据数据显示,去年我国的先进制造业(5G通信设备制造、医药制造、医疗设备制造等等)增加值的增速达18.2%,这也是我国制造业升级转型处于高速发展阶段的直接证明。全球经济环境的恶化让中国制造业企业意识到,长期处于产业链中下游,如“三来一补”等劳动密集型、低附加值的企业发展策略愈发难以为继。因此,国内掀起一波更加汹涌的制造业转型升级的变革浪潮!
制造业数据治理白皮书3.国内制造业复苏势头强劲市场化建设成为核心议题从基我国数据法律体系架构初步搭建完成,大数据技术体系以提升效率、赋能业务、加,已形成支撑数据要素发展的整套工具体系;数据资产管理实践加速落地并正在从提升数据资产质量向数据资产价值运数据流通的基础制但各界力量正在从新模式、新技术、新规则等多角度随着监管力数据安全治理初见成数据安全的体系化建设逐步提升。3.国内制造业复苏势头强劲基于制造业现状及业内数据治理咨询趋势,预测制造业将会发生三大变革:税一是工业互联网建设加速,打造中特色税业认识到“机器”,特别是“智能机器”的重要性,会更加主动地应用工业互联网进行智能化和数字化变革,必将推动中国先进制造业等相关战略和任务的进一步落实。二是智能制造成为制造业企业追求的共同目标。部分医疗器械企业、服装企业、石化企业、汽车制造企业,甚至富士康等代工企业,根据特殊时期市场需要,转产防护服、口罩等医疗防护产品,充分体现了其柔性生产经营满足市场应急需求的灵活性和快速响应性等优势,也为其他制造企业起到示范作用。未来,制造企业生产经营将更加柔性。三是全球经济环境变化,让部分制造企业更关注强大的内需市场。全球经济环境变化,外需减少将会持续较长一段时间,而我国经济市场逐步恢复,复工复产全面推进,市场活力和潜力将被逐步激活,促使部分制造企业将外需市场转向内需市场。4.新晋生产要素数据治理助力制造业转型升级数据作为新型生产要素,是数字经济202004104.新晋生产要素数据治理助力制造业转型升级《中共中央国务院关于构建更加完善的要素市场化配置体制机制的意见(正式公布。《意见》分类提出了土地、劳动力、资本、技术、数据五个要素领域改革的方向,明确了完善要素市场化配置的具体举《意见》强调要加快培育数据要素市场,推进政府数据开放共享,提升社会数据资源价值,加强数据资源整合和安全保护。日前,(以下简称《规划》),作出了“十四五时期”我国数字经济发展的重点部署的指导,充分发挥数据要素作用,成为《规划》重点任务之一。《规划》要求强化高质量数据要素供给,加快数据要素市场化流通,创新数据要素开发利用机制。数据治理是充分发挥企业数据价值的必经之路,是助力制造业转型升级的有力保而数据价值却因上述种种原因常常难以充分发挥,但依托数据治理手段,能解决释放数据价值过程中面临的诸多问题,以体系化的方式实现数据的可得、可用、好用,用较小的数据成本获得较大的数据收益,具体体现在以下六个方面:(一)掌握数据现状。数据治理对数据家当进行全面盘点,形成数据地图,为业务应用和数据获取夯实基础。数据地图作为数据的全盘映射,帮助数据开发者和数据使用者了
解数据,成为对数据资产管理进行有效监控的手段。(二)提升数据质量。数据治理通过建立一套切实可行的数据质量监控体系,设计数据质量稽核规则,加强从数据源头控制数据质量,形成覆盖数据全生命周期的数据质量管理,实现数据向优质资产的转变。(三)实现互联互通。数据治理通过制定统一的数据标准,建立数据共享制度,完善数据登记、数据申请、数据审批、数据传输、数据使用等数据共享相关流程规范,打破数据孤岛,实现数据高效共享。(四)提高获取效率。数据治理将大量前期的数据准备时间和交付项目的时间缩短,提升数据的获取和服务效率,让数据随时快速有效就绪,缩短数据分析人员的数据准备时间,加快数据价值的释放过程。(五)保障安全合规。数据治理通过制定完善的数据安全策略、建立体系化的数据安全措施、执行数据安全审计,全方位进行安全管控,确保数据获取和使用合法合规,为数据价值的充分挖掘提供了安全可靠的环境。(六)持续释放价值。数据治理通过一个持续和动态的全生命周期管理过程,以持续释放数据价值为理念来实现数据资源管理工作。管理方面,建立一套符合数据驱动的组建设现代化数据平台,确保持续、健康地为数据资产管理提供服务。1.数据多源异构让数据集成共享存在壁垒二、制造业面临数据问题和挑战1.数据多源异构让数据集成共享存在壁垒制造业数据治理白皮书异构信息源导致制造企业形成巨大而复杂的异构信息环境。由于历史原因或其它原因,大部分制造业企业已拥有多种业务系统,这些系统和数据已成为企业运转和发展不可缺少的组成部分,但这些数据库大都是被独立创建和管理的,在信息系统方面,企业内部各部门往往各自独立,彼此的信息和组织也不尽相同,以至于计算环境和信息系统平台都不一样,因此每个部门都可视为一个异构的信息源。这些异构信息源使得整个企业构成了异构信息的集成。制造业数据治理白皮书大量异构数据制约制造业企业数据的传输和共享。随着制造业企业数字化的建设,制造业企业出现并收集存储了许多新的数据形式(文本、音频、图像、视频数据等),这些大量存在的异构数据,被分布保存在不同的存储环境或数据库中仅服务建设初期自身的独立系统,制约了企业各部门间的数据传输和共享。传统的关系数据库之间的数据信息的交换采用文本文件作为中间媒介,但文本只能实现单张关系表间的简单信息交互。在信息系统中,需要交互的信息量是庞大而复杂的,这种简单的文本信息交换显然力不从心。如何将不同的数据库应用系统纳入到一个系统下,实现用户在各系统间的数据信息交换、共享和集成,就必须利用一种具有通用性、操作性良好的数据交换技术,使信息系统具有异构相容、集成现有信息的特点。因此如何将原有的各类成熟的数据库系统不加修饰的纳入到新的数据集成系统中,实现多个异构数据库间信息的共享和互操作已成为企业迫切需要解决的问题。
制造业企业数据资产管理能力不足。教育行业等传统行业仍处于初级阶段,数据资产管理的意识和动力不足,数据资产管理的资源投入仍集中于大数据平台建设,尚未组建相对专业化的数据资产管理团队,尝试性对核心业务开展数据标准化工作。根据(DCMM)评估结果显示,以上行业评估结果集中于第2DCMM评估结果显示,以上行业评估结果3数据结构难以统一,数据运维困难等挑战,为洞察数据的价值带来了层层阻碍。因此,传统大数据中心已经无法适应现在的组织数据整合要求,需要考虑一种新的整合方式,基于服务的逻辑数据整合,而不是基于数据集中的物理整合。2.数据质量难以满足企业需要、可信度低3.企业数据文化建设薄弱、数据驱动意识缺位制造业产业链条长,多业态并存,形成“数据孤岛”,数据质量难以保证。非数字原生企业,特别是大中型的制造企业,往往有着较长的业务链路,从研发到销售全产业链覆盖,在各个工艺流程中沉淀着大量的复杂数据。在信息化时代初期建立了很多相对IT系统,典型的的特点是形成了“IT系统、一个数据库”的IT架构。其直接带来的问题就是“ITIT系统之间的数据不贯通,同样的数IT系统中重复录入,甚至IT2.数据质量难以满足企业需要、可信度低3.企业数据文化建设薄弱、数据驱动意识缺位4.让数据可视、可控、可用及可信是当务之急制造业企业数据战略,数据建设目标不明确,企业数据文化重视度不高。数据作为一种新的生产要素,在企业构筑竞争优势的过程中起着重要作用,企业应将数据作为在IT需要业务充分参与,IT系统确保遵从,这是一个非常复杂的系统工程。一个企业想要做大做强,成为世界一流企业需要注重数据文化建设,明确企业数据战略,数据建设目4.让数据可视、可控、可用及可信是当务之急障企业成功实现数据治理的根本。行业树立正确的企业数据建设工作思路障企业成功实现数据治理的根本。行业作为非数字原生企业,数字化转型的关键要素之一是在现实世界的基础上构建一个跨越孤立系统、承载业务的“数字孪生”的数字世界。通过在数字世界汇聚、联接与分析数据,进行描述、诊断和预测,最终指导
制造业企业数据环境复杂,历史包袱重,缺乏数据认责,数据质量难以保障。非数字原生企业特别是制造业企业普遍有较长的历史,组织架构和人员配置都围绕着线下业务开展,大都经历过信息化过程。很多制造型企业随着不同阶段的发展需求,保留着各个版本的ERP软件和各种不同类型的数据库存储环境,导致数据来源多样,独立封装和存储的数据难以集中共享,也不敢随意改造或替换,IT系统历史包袱沉重。数据没有管理责任人,各系统之间甚至同系统内的数据标准不统一。标,指明企业数据建设的方向。只制造业企业没有完整的数据综合治只有构筑一套企业级的数据综合治理体系,才能确保关键数据资产有清晰的业务管理责任,IT建设有稳定的原则和依据,作业人员有规范的流程和指导;当面临争议时,有裁决机构和升级处理机制;治理过程所需的人才、组织、预算有充足的保障。业务改进。在实现策略上,企业需要构建以云为基础、以数据为驱动的新型IT架构。数字世界一方面要充分利用现有IT系统的存量数据资产,另一方面要构建一条从现实世界直接感知、采集、汇聚数据到数字世界的通道,不断驱动业务对象、过程与规则的数字化,让企业数据实现可视、可控、可用业务数据业务数据化集汇聚 现有IT业务结果数据现实世界:业务流诊指导
化 系统 制造业数据治理白皮书制造业数据治理白皮书分析 联接 图2-1数据建设工作整体思路客户员工合作伙伴供应商消费者数据治理客户员工合作伙伴供应商消费者数据治理接 为业务对象 报告数据 智能标签 算法模型 据 物理入湖虚拟入湖湖 据 发标准据 认证数据源 定密级据 质量方案 注册元数据全 2-2其他数据财务人力资源交付销售供应数据源接座据消费五种数据中台联接方式数据分析平台智能决策风控推演实时可视/数据质量数据感知数据分类数据体系企业数据建设工作框架主要包含以下6个方面:1)数据源:业务数字化是数据工作的前提,通过业务对象、规则与过程数字化,不断提升数据质量,建立清洁、可靠的数据源。2)数据湖:汇聚企业内部和外部的海量数据,形成清洁、完整、一致的数据湖。3)数据主题联接:通过五种数据联接方式,规划和需求双驱动,建立数据主题联接,并通过服务支撑数据消费。4)数据消费:对准数据消费场景,通过提供统一的数据分析平台,满足自助式数据消费需求。5)数据治理:为保障各业务领域数据工作的有序开展,需建立统一的数据治理能力,如数据体系、数据分类、数据感知、数据质量、安全与隐私等。15PAGE16PAGE161.国家层面的数据治理导向三、制造类企业平台级数据治理建议1.国家层面的数据治理导向国家重点推动工业互联网建设和企业数据治理。2020年5月工信部颁发《关于工业大数据发展的指导意见》,推动工业数据全面采集,加快工业设备互联互通,推动工业数据高质量汇聚,统筹建设国家工业大数据平台,推动工业数据开放共享,激发工业数据市场活力,深化数据应用,完善数据治理。2020年9月国务院国资委办公厅下发《关于加快推进国有企业数字化转型工作的通知》,要求各国有企业加快集团数据治理体系建设,提出构建数据治理体系,“明确数据归口管理部门,加强数据标准化、元数据和主数据管理工作”,“定期评估数据治理能力成熟度”。同时,“强化业务场景数据建模,深入挖掘数据价值,提升数据洞
察能力”,提升数据服务水平。2022年419深化改革委员会第二十五次会议(以下简称“会议”),审议通过了《关于加强数字政府建设的指导意见》,强调要全面贯彻网络强国战略,把数字技术广泛应用于政府管理服务,推动政府数字化、智能化运行,为推进国家治理体系和治理能力现代化提供有力3-1制造业数据治理白皮书制造业数据治理白皮书全过程确监管域住的坚决管到位要建立数据产权制度公共数据推迸企业数据分类分级确权授权使用个人数据数据资源持有权建立数据产品经营权等数据加工使用权健全数据要素权益保护制度分置的产权运行机制数据基事关度建设发展安全大局图3-1中央全面深化改革委员会第二十六次会议内容根据国家的数据治理导向得出的启示:制造业企业当下应抓住机遇,积极推进企业智能制造和数据治理,实现转型升级。加强顶层设计在保障数据安全前提下推进数据高效利用,提升数据治理有效性与安全性,推进制造业企业数字化转型和数据治理平台建设。第二,强化创新引领。制造业转型升级的主要支撑因素是技术创新能力的提高,目前,我国智能制造处于初级发展阶段,须在关键短板装备、基础零部件、工业软件等关键环节和薄弱领域寻求突破,以技术创新支撑制造业向智能制造转型升级。第三,系统总结并复制推广智能制造示范项目经验模式。对《智能制造发展规划(2016-2020年)》《智能制造工程实施指南(2016-2020年)》进行系统评估,继续推进智能制造示范项目,坚持以应用促发展,进一步推进示范应用,将形成的经验模式向同行业同类型企业复制推广。第四,发挥强大国内市场优势,强化市场拉动作用。打通国内巨大市场需求的恢复和增长链条,为制造业智能化转型和生产率的提高提供更多机会,为新技术、新产品发展创造更多商业化的应用场景。第五,加大政策引导和资金支持力度。进一步鼓励全国产业转型升级示范区出台和落实精准有效的政策举措,保障企业智能制造在人、财、物等要素的需求,推进制造企业进行系统化、智能化、数字化转型。2.平台化的集中式数据治理2领2.平台化的集中式数据治理2领域理管理数据资产目录管理数据架构管理数据标准管理数据模型管理主数据主数据识别主数据管理模式主数据整合架构管理元数据业务元数据元模型管理数据质量管理质量目标管理数据安全管理安全目标管理数据分布技术元数据控制数据质量数据安全策略操作元数据度量数据质量改进数据问题数据安全分级改进数据问题
升客户价值为愿景,从为客户战略规划,业务运营,应用系统构建,为客户提供全面的端到端的咨询与实施服务的根本目标出发,并结合软通动力多年来积累的企业数据治理3-211数据战略数据组织数据组织数据政策IT运作机制Owner数据管理办法数据治理平台数据中台数据管控融入业务变革管理3-2管理管理组织实施细则制造业数据治理白皮书建设一个完美的数据治理平台是企业实现数字化转型和数据治理的必经之路。IT3-3:平台设计平台设计数据采集数据开发数据管理数据建模数据应用平台运维需求分析收集数据来源需求分析收集数据来源数据同步分析数据质量同构数据库同步数据开发业务现状评估 异构数据库同步数据分布需求标准概念模型数据展示监控管理数据对比通用数据标准行业数据标准模型设计定义维度数据可视化其他开源/商业系统级监控数据链路层监控架构选型Log总体架构设计实时数据同步数据脱敏数据重构和修改数据质量逻辑模型报表工具数据应用安全管理业务过程增量数据同步数据校准数据模型结构设计用户权限数据域批量数据同步主数据主外健设计企业图谱角色划分架构选型非结构化数据同步数据规范定义数据开发主数据模型主数据管理反范式设计物理模型智能推荐精准营销数据安全报告数据域数据分布维度数据对比元数据维护数据字典定义表结构故障报告月/日/周报业务过程数据脱敏业务描述持续改进及优化原指标规范定义数据重构和修改技术定义数据引入生命周期流程优化技术优化成本优化数据指标设计数据等级管理生命周期管理数据库优化指标处理设计指标生成方式数据安全频率加密管理访问权限管理数据治理平台建设的七个关键步骤:(一)平台设计:企业数据治理平台设计要充分考虑企业数据架构,包含但不限于需求分析、总体架构设计、数据规范定义、数据引入和数据指标设计等。在数据治理平台设计过程中还需充分考虑到平台界面设计、数据库设计、数据集成方案设计,向上承接企业数据战略的规划要求,向下要保证字段遵从数据标准的定义,库表和字段的设计满足企业数据架构的设计要求,从而达到数据治理融入到数据治理平台的目标。(二)数据采集:数据采集是企业数据治理//
(三)数据开发:数据开发是数据治理平台发挥作用的重要保障。数据开发主要包括数据分布、数据对比、数据脱敏、数据重构和数据修改等。(四)数据管理:数据管理是数据治理平台发挥作用的有效措施。重要包含数据标准、数据质量、主数据、元数据以及数据的生命周期和数据安全的管理。其中数据标准是在企业范围内确保数据一致的关键,是企业需共同遵守的属性层数据含义及业务规则,是对某个数据的共同理解,这些理解一旦确定,就应作为企业层面的标准在企业内被共同遵守。(五)数据建模:数据建模是从数据的视角对企业的业务对象、业务过程和业务规则的模拟和抽象,根据业务需求抽取信息的主要特征,反映业务信息之间的联系关系,是建设一套完美的数据治理平台的关键。数据建模主要包括概念模型、逻辑模型和物理模型的设计。(六)数据应用:数据应用是企业数据治理的成果展示,主要包含数据可视化、BI数据治理平台需具备的关键功能:
(七)平台运维:平台运维是保证数据治理平台正常运转的有效措施。主要包含监控管理、安全管理、报告和持续改进和优化等。其中持续改进和优化是建设一个完美的企业数据治理平台的必要保障,企业的数据治理平台建设不可能一蹴而就,需要根据企业的发展和业务状况不断改进和修正,最终达到建设完美的企业数据治理平台的目标。(一)数据源:数据同源是数据治理的核心,所以数据治理平台的数据源必须支持主流的数一个完美的数据治理平台需要具有高效的数据库传输方式,可视化配置等功能。(三)数据开发:用编写代码的方式构建复杂的数据模型和不同类型的代码任务,降低代码开发的成本和门槛,轻松实现数据间的互联互通。(四)数据质量:数据质量的持续提升是数据治理的核心目标。需要数据治理平台具备提升数据质量的能力,保障数据的安全,对数据质量进行实时监控,第一时间感知脏数据,并采用一定措施不断提升企业数据质量。提供图形化任务管理模式,任务依赖图逐级展示等功能。(六)数据地图:数据治理平台需要具备数据资产的元数据信息查看、数据明细信息、分区信息、血缘分析等功能,方便对数据进行检索分析等。(七)数据服务:需要支持数据云处理,支持通过可视化配置的向导模式,快速将关系型数据库生成API,方便提供各种数据支持。软通动力与亚马逊云科技强强联手,建立了基于软通动力DataGo和亚马逊云科技云原生架构的数据治理平台。随着企业数字化转型和数据治理的推进,大数据、云计算等技术的应用和普及,数据处理呈现出新的特征,业务变化快、数据来源多、系统耦合多和应用深度加深等。传统的大数据建设和开发周期已经不能满足业务的需要,需要一个更快的建设周DataGo3-4DataGo:制造业数据治理白皮书制造业数据治理白皮书 通用通用研发运维调度D-总层D-数据层数据安全理服务计算存储管理DataGo据 用业务系统据 用业务系统定制报表 定制化数据应用务nRSAanshift AES存离线计算 数据输出 DataGo研发平台数据分层AmazonEMR数据输入规范与工具 数据管理 实时计算数据输出KaAnalytic算离线产品 AmazonKinesisDataXDataFirehose实时产品 AmazonKinesis AmazonMSKDataStreams入业务系统关系数据库MySQL SQLServer Oracle业务日记及第三数据源Logtail SLS S3 API图3-4软通动力DataGo协同亚马逊云科技数据治理平台概念示意图DataGoDataGo数据治理平台:DataGo数据治理平台是依托软通动力多年的数据中台实施经验,自研的一款数据开发治理平台,为企业提供全生命周期的数据管理工具,助力企业轻松完成数据开发治理工作,降低数据开发和管理成本,提高数据开发效率,规范数据管理方法,提高数据质量。如图3-5所示为DataGo数据治理平台产品架构图:DataGo数据应用数据应用BI推荐系统数据大屏用户画像即席查询数据服务 服务创建 API网关 服务授权 API调用 台全 资产管理 数据地图 数据质量 数据血缘 元数据 数据权限 统一调度 跨引擎混合调度 跨云混合调度 上下文参数传递 调度流程逻辑控制数据集成 数据开发全量同步 增量同步 实时同步 离线计算 资源函数 实时计算计算与储蓄平台 计算与储蓄平台 EMR Spark Hadoop HDFS S3 数据源 MySQL PostgreSQL DB2 HBase Hive Oracle SQLserver ...3-5DataGo数据源 MySQL PostgreSQL DB2 HBase Hive Oracle SQLserver ...DataGo数据治理平台的优势:基于计算源和底层资源,提供工作空间、数据源、数据集成、数据开发、数据质量、运维监控、数据地图、数据服务等。其中最主要的有三点:功能覆盖全面,性价比高;快速部署;轻耦合性。OOlsesData/filesGCroalClch AIonGeayDo台riieDATA-GOAonGaannacler rpodume//DataXreadreteisieiisGlojobAojlueAollueDATAXopueADS3OREjobs3OREjobnoin数据服务接口AASDoDBDashboard/appaUsers/analystsAmazonRedshiftAmazonAthenaAmaaeDaRieORMetaSoreORtis Flinkmaon图3-6亚马逊云科技数据治理服务示意图亚马逊云科技的优势:易于使用,通过亚马逊云科技能够轻松地在数据湖与专用数据服务之间移动数据。例如,AmazonGlueAmazonAthenaSQL过联合查询可以从关系数据库查询实时数据;便于移动,利用存储在不同系统中的数据,亚马逊云科技让您能够轻松地在自己的所有服务和数据存储之间移动数据:从内向外、从外向内,以及循环移动。
基于软通动力DataGo和亚马逊云科技云原生架构的数据治理平台核心优势明显,帮助企业快速实现数据治理上云。软通动力的数据治理服务以自研的数据治理平DataGo支持业务需求和分析需求,实现数据驱动业务;全销售渠道数据协助决策,仪表板数据自助分析平台,增强营销效率帮助实现多场景营销活动等诉求。如图3-7DataGo智能集成开发环境交互式查询数据服务应用开发离线开发实时开发机器学习DataGo与亚马逊云科技数据治理平台架构示意图。DataGo智能集成开发环境交互式查询数据服务应用开发离线开发实时开发机器学习数据综合治理 数据资产 数据质量 数据安全数据分析 智能监控 数据分享台智能数据开发统一任务调度 跨引擎混合调度 跨云混合调度 上下文参数传递 调度流程逻辑控制统一元数据中心 异构数据源管理 元数据采集与构建 元数据仓库 元数据服务全域数据集成 批量同步 增量同步 实时同步 数据转换 IOT端采集计算存储蓄引擎计算存储蓄引擎CDH/Hadoop 大数M算平台S3HDFSKnss DB Trino I3-7DataGo制造业数据治理白皮书(一)计算存储引擎。计算存储引擎是存储数据的物理数据库。通过创建数据源的方式,将业务数据引入DataGo平台计算源EMRie中进行构建数据中台。同时也可以将已构建完成的数据导入数据源。DataGo基于亚马逊云科技丰富的云服务、提供了丰富的数据库类型接入,包括主流的关系型数据库以及分布式数据库,能将业务系统数据对接到平台中,提供后续建模分析使用,数据源是数据建设的来源或基础。通过与AmazonRDS数据库产品以AmazonRedshift治理存储层能够非常好的满足各类不同数据库类型,AmazonRelationalDatabaseService(AmazonRDS)让您能够在云中轻松设置、操作和扩展关系数据库。它在自动执行耗时的管理任务(如硬件预置、数据库设置、修补和备份)的同时,可提供经济实用的可调容量。这使您能够腾出时间专注于应用程序,为它们提供所需的快速性制造业数据治理白皮书
能、高可用性、安全性和兼容性。AmazonRDS在多种类型的数据库实例(针对内IO)上均可用,并提供六种常用的数据库引擎供您选AmazonAurora、、MySQL、MariaDB、OracleDatabase和SQLServerAmazonRDS够非常好的实现制造业对数据源的需求。AmazonRedshiftPBSQL仓库、运营数据库和数据湖间分析结构化和GB1PB或更多,支持制造数据治理平台通过运营数据库、数据湖、数据仓库和数千个第三方数据集,对复杂的规模化数据进行实时和预测性分析,获得综合洞察。(二)全域数据集成。数据集成是基于DataGo构建的简单高效的数据同步平台,致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。数据集成采用了AmazonDMS技术对繁多异构数据源提供稳定高速的迁移能力。将数据引入,通过数据集成任务,将所需的源数据同步至目标数据库。使用AmazonGlue完成对数据流的接收、处理和使用,Amaonlue是一项无服务器数据集成服务,它简化了发现、准备和合并数据以进行分析、机器学习和应用程序开发的工作。支撑制造业应用系统中各种数据来源的发现和数据的提取将之丰富清理标准化和合并以及在数据库、数据仓库和数据湖中加载和组织数据。与AmazonGlue组件紧密结合借助AmazonGlue强大的性能实现对数据的收集。AmazonKinesis可让用户轻松收集、处理和分析实时流数据,以便及时获得见解并对新信息快速做出响应。AmazonKinesis提供多种核心功能,可以经济高效地处理任意规模的流数据,同时具有很高的灵活性,与DataGo组件集成可以获取ERP实时数据,工厂采集数据,供应链上报数据 ,也可以获取用于机器学习、分析和其他应用程序的遥测数据。(三)智能数据开发。DataGo的核心功能,支持数据开发和临时查询。通SQL代码的方式构建复杂的数据模型、构建不同类型(/)的代码任务,点击“运行”对任务进行试跑,并查看任务的运行情况,还可以选中“select”语句,运行查看“结果”,且为任务配置调度周期和任务之间的依赖关系,完成后即可点击提交按钮将任务提交并发布,提交后即刻生成版本记录,方便开发者进行各个代码版ETL5
于逻辑模型从业务视角出发对外提供查询服务。同时,数据开发模块对接了DataGo的权限管理、运维和用户管理,致力于为您构建便捷、高效的数据开发平台。基于edshift,AmaonGlueDataGo(四)数据质量。数据质量是对数据模块构建计算任务过程中的数据和结果数据的正确性进行表级校验和字段级校验的功能,主要选择校验方式(/)的目标表,选取规则模板(内置模板和负责模板)配置具体规则,其中内置模板中的表级规则有:表行数,固定值;字段规则有:唯一值个数固定/SQL则配置完成后可通过调度配置将数据校验任务和调度系统打通,通过调度系统触达数据质量的规则校验。还可设置质量告警功能,第一时间感知异常数据。(五)数据服务。数据服务旨在为企业搭建统一的数据服务总线,帮助企业统一管理对API服务。数据服务支持通过可视化配置的向导模式,快速将关系型数据库NoSQLAPI。您无需具备编码能力,即可快速配置一个API。API网关提供APIAPI管理、运维的全生命周期管理。帮助您简单、快速、低成本、低风险地实现微服务聚合、前后端分离、系统集成等功能和数据。数据服务采用ereless架构,您只需要API本身的查询逻辑,无需关心运行环境等基础设施,数据服务会为您准备好计算资源,并支持弹性扩展,零运维成本。数DataGo实现了数据的统一市场化管理,有效地降低数据开放门槛的同时,保障了数据开放的安全。使用AmazonOpensearch、QuicksightDataGo的产品解决数据服务上的问题,实现快速搜索,整合的能力。DataGo为保障数据安全工作空间为用户提供了用户及角色等身份,您可以针对不同用户的工作空间使用需求,授予其相应的功能权限角色。一个组织可以包含多
制造业数据治理白皮书添加进组织的每个用户至少归属于一个工作空间,空间管理员拥有其所在空间的所有工hie实现统一的,细粒度的数据访问权限控制,用户角度可以查看对数据有哪些权限,从数据角度,可查看哪种角色有何种权限。基于亚马逊云科技的安全技术架构,可以实现划分部门、产线、车间、仓号等不同自定义的行级别权限管理,用数据架构和业务场景的交互,实现数据全生命周期的安全管理。243.推进数据进行资产化管理和应用良好的数据资产管理是释放企业数据要素价值、推动企业完成数据治理的前提与基础。随着数据的重要性日益显著,数据资产管理成为激发组织数据要素活力、加速数据价值释放的关键。数据资产(DataAsset)是指由组织(政府机构、企事业单位等)合法拥有或控制的数据资源,以电子或其他方式记录,例如文本、图像、语音、视频、网页、数据库、传感在组织中,并非所有的数据都构成数据资产,数据资产是能够为组织产生价值的数据资源,数据资产的形成需要对数据资源进行主动管理并形成有效控制。3.推进数据进行资产化管理和应用建设企业级数据资产管理架构是企业数据发挥高效价值的有力保障。数据资产管理包含数据资源化、数据资产化两个环节,将原始数据转变为数据资源、数据资产,逐步提高数据的价值密度,为数据要素化奠定基础。数据资产管理包括数据模型管理、数据标准管理、数据质量管理、主数据管理、数据安全管理、元数据管理、数据开发管理等活动职能。数据流通管理数据价值评估数据流通管理数据价值评估活动职能数据标准管理数据质量管理数据运营管理主数据管理元数据管理数据模型管理数据安全管理数据开发管理数据资产管理数据资产数据资源原始数据保障措施数据资产数据资源原始数据保障措施数据资源化3-7DataGo数据资产化管理的具体应用:(一)数据模型管理。是指在信息系统设计时,参考逻辑模型,使用标准化用语、单词等数据要素设计数据模型,并在信息系统建设和运行维护过程中,严格按照数据模型管(二)数据标准管理。数据标准管理的目标是通过制定和发布由数据利益相关方确认的25
数据标准,结合制度约束、过程管控、技术工具等手段,推动数据的标准化,进一步提升数据质量。(三)数据质量管理。是指运用相关技术来衡量、提高和确保数据质量的规划、实施与控制等一系列活动。衡量数据质量的指标体系包括完整性、规范性、一致性、准确性、唯一性、及时性等。(四)主数据管理。主数据管理是一系列规则、应用和技术,用以协调和管理与企业的核心业务实体相关的系统记录数据。(五)数据安全管理。是指在组织数据安全战略的指导下,为确保数据处于有效保护和合法利用的状态,多个部门协作实施的一系
制造业数据治理白皮书列活动集合。包括建立组织数据安全治理团队,制定数据安全相关制度规范,构建数据安全技术体系,建设数据安全人才梯队等。(六)元数据管理。元数据管理是数据资产管理的重要基础,是为获得高质量的、整合的元数据而进行的规划、实施与控制行为。26四、制造业关键场景专项治理1.在企业统一数字底座上的制造业供应链控制塔项目建设以生产企业的供应链管理为例,生产和经营从来就不是一个孤立的行为,在生产和管理中已经沉淀了一套数字资产,如何应用好这套数字资产,是需要上下游充分合作互相支撑的过程。很多企业已经意识到,依靠传统的商业模式,在竞争与挤压式增长的市场环境中想要有所建树是非常艰难的。因此,出现了以企业产业基础为轴心形成的后所谓小平台,一方面是指链主企业自发的,不再局限于只做生产需求输出方,而是主动提供更多信息,链接上下游企业资源,展开采销协同,产销协同的合作模式,并从中获得效率收益。业务场景:突然的需求变化造成了缺货或货物积压;多级供应商,多级物流商,运输动向复杂;物料短缺造成客户订单延期等等。企业需要为供应链业务的全局管控提供信息集成、业务监测洞察到协同处理的端到端的数智化解决方案,实现供应链价值运营的实时、智能与高效。
需求分析:业务方面,供应链管理的核心工作是需求管理,生产管理和供应管理。完善数字化方案,就是让数字作为生产要素,指引企业如何运用数据,去辅助每个环节做正确的同时可以提高各级别人员的工作效率。技术方面,缺少高效数据集成,导致在供应链环节的繁多异构数据源不能高效存储;缺少数据接口,不能将数据引入,通过数据集成任务,将所需的源数据同步至目标数据库;目前数据没有上云,导致数据共享不够充分,数据价值低。考虑采用软通动力DataGo协同亚马逊云科技共同搭建的数据治理平台来实该业务场景的实施,提高制造业企业供应链能效。解决方案:采用平台化的数据治理方案,使DataGo74-1为控制塔产品全景图:2727制造业子冶备汽车制造业能源制造业&零售农村农业场景用供应链业务运营管控E2E场景制 监KI析 任处理同 辅助决策业务中台 业务中台 供监控预中心则模引擎真据供管理算能力务(成)算法 监 协算法 监 协同优化 动线优化 仓算规划 根算法析 模拟评估 生算法程 化可视络采购订单详情采购监控供应I单IT控发布与确认PI同视执行监控详情单履约监控I程析IOTAS/RSRF-RFID分拣线语音拣选电子标签系统电子秤波次机器人气体检测设备机械臀锅炉设施传送带设施手持设备门禁系统车行道闸人行道闸AS/RSRF-RFID分拣线语音拣选电子标签系统电子秤波次机器人气体检测设备机械臀锅炉设施传送带设施手持设备门禁系统车行道闸人行道闸温湿度设备监控设备货栈设备定位系统分拣机系统冲压设施电解槽生态联4-1
制造业数据治理白皮书行业拓展管理覆盖 采购 研发 制造业数据治理白皮书行业拓展管理覆盖 采购 研发 生产 物流 仓储 销售 可视动态可视监控预警I存IOT可视单详情单履约监控I单IT控放碳排放详情I细及排放源管理IOT实时监控管控监控全康度评估测供应质量评价生产质量评价控履行监控订单详情I履行IOT28流程化流程化规划 规划 计划 计划 计划 计划 计划 采购 处理 履约供应链全链供标率生指标率 销指标率指标验121212中RR仓商BCNNN针对于制造业供应链场景给出如下解决方案,如图4-2所示为供应链产品解决方案: 成本,效率,体验 科技供应链平台:供应链控制塔|规划&预测平 成本,效率,体验 科技供应链平台:供应链控制塔|规划&预测平数字化|||||风险提示·AI·机器学习·大数据分析·云计算·智能算法·区块链····5G·自动驾驶·机器人自动化·智慧园区·物流运营·图4-2供应链产品解决方案示意图29PAGE31PAGE31制造业数据治理白皮书4-3可司级控可司级控化监控化监控PS驶舱驶舱 可视化能(可视套件集成) 供应链监控引擎 可视化能(可视套件集成) 供应链监控引擎 预警规则中心 台
车间态势生产态势设备态势设备状态视频监控告警定位
设备可视化设备实时运行状态
车辆运行轨迹运单教据看板车辆监控与告警与告警任务协同设备告警查看告警统计分析告警与视频监控关联任务协同 业务模型算法模型事件模型消息模型数据接入SISMES系统系统理系统控输理系统管中台据系统务图4-3供应链控制塔搭建整体框架源平台层 SpringBoot 图4-3供应链控制塔搭建整体框架源平台层 SpringBoot SpringCLoud 理台据谱服务层 atRFlu 数据服务 检索服务 据ty 存储层存储层HDFS分布式存储/Hbase/S3传输层 Sqoop FLume Kafka传输层 Sqoop FLume Kafka DataX计算层 Hive Spark Jave Flink TEZ DolphinSchedulerRangerEKS实现的功能:(一)使供应链整个环节的业务对象化、规通过梳理分析供应链的业务流程,落实到数字化平台建设中去,包括需求管理、生产管理和供应管理,完成供应链的全链建设,为供应链数据治理做准备。实现采销联动。帮助供应商快速熟悉产品,(PO),并根据供需关系建立合理的生产和库存控制策略,提高供应效率,节约成本。(三)实现供应链的需求管理,生产管理和
供应管理三者协同,帮助企业增值。一个成功的采销项目,一定是从供应网络与需求预测匹配开始的。需求管理主要包括产品生命周期管理、订单与预测管理,因为它需要与销售、客户、生产、采购和供应商进行全面协调,这对数据要求是非常敏感的。需求算的再准,没有供应商及时灵活的交付,就没有生产的及时完成率,三者缺一不可,互相增强。运用好此供应链控制塔,也是提高市场反应能力的正确方法,最终帮助企业提高及时交付率和生产灵活性,减少库存损失和为企业创造价值。2.大数据和人工智能引领下的计划协同良好的数据治理体系和数据治理平台会帮助让制造企业创造更大的价值,数据治理离不开大数据和人工智能的先进技术。大数据的发展为人工智能提供了海量的训练数据,为机器学习和深度学习的突破提供了重要支撑,而人工智能应用的发展又催生出更多数据资源,促进大数据产业进一步发展。制造业企业实现工业数字化转型离不开大数据与人工智能的引领和有效协同。2.大数据和人工智能引领下的计划协同业务场景:企业战略管理体系没有持续和规范运作,不能绑定战略、业务、资源和部门前后贯通、战略的延续性差、部分管理层缺流程碎片化、信息孤岛化、应用烟囱化,部门协同不畅、数据共享和利用低敏、应用系统操作复杂;缺乏完善的数据管理体系,无法持续提升各类数据质量和保证数据使用的安全合规,支撑数字化转型差距较大;
需求分析:企业管理层无法通过指标准确、实时、全面的了解公司经营状况,及时做出具有数据支撑的科学决策;信息安全策略不清晰,安全组织不完善,技术防护能力偏弱,安全管控未融入流程,保密文化建设缺失;企业目标技术方面,企业已建设相应领域IT应用支撑业务运作,但是主航道核心IT系统分散建设,大量工作体外进行,现有系统孤岛式存在,数据共享和集成较差;技术架构基本满足目前业务和信息化管理要求,但对未来支撑业务变革的前瞻性不足。业务发展态势的基础上,为客户构建数字战略;基于亚马逊云科技云架构相关组件,围36数据中台能力支持数据资产管理数据开发 大数据平台技术支持能力 数据中台能力支持数据资产管理数据开发 大数据平台技术支持能力 4-6大数据基础平台 离线计算能力 实时计算能力 在线分析能力 数据萃取中心数据萃理 数据萃理 数据萃理 数据萃理 数据萃理 公共数据域支持能力 基础数据支持能力 制造业数据治理白皮书现状诊断规划方案方案设计实施路径设计建设落地业务智慧化、服务体验化、人文科技化,帮助企业数据治理快速上云;运用大数据和人工智6现状诊断规划方案方案设计实施路径设计建设落地智慧工厂蓝图设计IT架构设计智慧工厂蓝图设计IT架构设计智能制造顶层设计 信息架智慧园区顶层设计 设度等、IT基础信息安全设计区程创新业务能力地图及智能工厂蓝图新一代IT架构设计智能制造高阶方案设计智慧园区高阶方案设计力括碑间周期人里、险术规格实施根据路标进行全 析项目管理 启动&商务 项目监理 项目总结 架构监管4-6智能制造智慧园区智能运营中心智能营销 智能研发智能生产 智慧园区智能管理 智能服务数据展示与应用数据资产安全体系应用服务服务体验人文科技大数据与人工智能(算法、模型)数据资产蓝图数据目录数据资产蓝图数据目录数据治理数据应用标准数据运营标准 数仓架构设计数据引入数据开发数据提取数据运营 PAGE33PAGE33根据此场景的数据治理框架给出大数据与人工智能协同下的制造业企业数据治理平台搭建技术架构,如图4-7所示为制造业企业数据治理平台搭建技术架构图:服务层服务层at Rul 数据服务 检索服务 元数据服务 主数据服务 数据地图服务模型层 应用模型 算法模型 计算层Hive Spark Java FlinkTEZ 存储层HDFS分布式存储/Hbase/S3采集层DB数据处理框架 日志处理框架 文件处理框架 图片处理框架alink数据源层MySQL PostgreSQL DB2 HBase Oracle SQLserver 实现的功能:(一)全球布局:通过IT技术平台全球布局,实现就近获取本地资源。(二)灵活敏捷:通过云上云下结合、数字平台支撑、数据入湖形成底座,来实现企业系统微服务化、分层解耦、快速孵化的要求。(三)业务创新:通过自建数据湖的方式实现集团数据采、传、算、用的能力,打造属于企业自主独特的创新之路。(四)模式变革:工厂业务”等,按需适度管理。(五)计划协同:能运营中心”三大智能化主题建设及协同运作,不断为企业创值增收。WWIPPAGE34制造业数据治理白皮书制造业数据治理白皮书1.高科技行业数据治理案例五、数据治理案例1.高科技行业数据治理案例项目背景:G100202018G的创新,到企业全局数据架构的思考,G项目面临的挑战:G公司业务体量较大,现有业务系统覆盖ERP、产线侧生产系统、设备管理系统、质量系统、供应链、人力资源等,系统繁杂。历史的数据应用呈现出性能低下、对业务系统压力大、数据孤岛、开发周期长、工具栈重复建设、缺乏顶层设计等问题。作为一家制造企业,GROI务场景的遴选和方案规划成为了项目能否顺利推进的关键。目标场景需要满足:能较好地反应业务需求,选取对业务帮助大的场景;能体现跨部门、跨系统的协作;数据平台能体现较小的初期投资,整体成本基于业务体量呈线性关系。解决方案:从G公司的行业属性及其自身业务特点出发,按照工业数据湖的理念进行顶层设计规划。该设计考虑到工业数据湖与上游业务系统及下游数据应用的关系,确保接口和整体架构的灵活度,对于工业数据湖本身的模块设计则通盘考虑到数据存储、处理、管理和安全治理的需求,确保整体架构的安全、可靠、性能、易运维性和成本可控等维度均满足企业需求。从工业数据湖的概念验证角度,选取了产线侧核心应用之一:WIP(WokInProgress)报表场景,采用云原生的工业数据湖架构,对之前的直接查询MES数据库的方案进行替换。新方案实现了混合数据源的数据集中收集、存储,采用事件触发的设计模式实PAGE36PAGE36应用 制造服务机器分析 OEE 应用 制造服务机器分析 OEE 供应链可视化 资产 经营KPI看板 生产效率EHS云 数据分析可视化 看板 告警 API和开发者工具 人工智能异常检测计算机视觉工业物联网 连接 数据注入 事件处理 数据平台资产模型 工业数据湖 时序数据 数据连接器 关系型数据库传统应用 MES传统应用MESPLM项目成果及帮客户达到的收益:PLM
SAP SCMSAPSCM5-1
... 边缘计算 离线模式 工厂 边缘计算 离线模式 工厂 安全 在线升级 本地决策 门对工业数据湖的理解提升了企业数据团队的业务和技术储备,确定了数据应用新需求的支持模式通过数据湖的技术栈和流程标准化,降低了企业数据应用的总体拥有成本,提升了数据需求的响应速度,提升了企业对数据的治理水平和数据安全管控,并
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 美甲师岗位综合水平考核试卷含答案
- 1-己烯装置操作工岗前班组评比考核试卷含答案
- 小学饭堂采购管理制度
- 小儿喉炎试题及答案
- 防护棚最终检查安全技术交底
- 双重预防体系培训考试题库(附答案)
- 2026年新职工入场安全培训考试试题及答案【必刷】
- 工业废水处理工职业资格续期考核试卷及答案
- 工程施工职业危害专项应急预案
- 消防疏散指示安装安全技术交底
- 2026年应急救援知识安全生产应用试题题库(附答案)
- 新版部编人教版四年级上册道德与法治(课件)11学会合理消费
- 新版标准日本语初下第34课
- 2026年国家网络安全宣传周知识竞赛考试练习题库(完整版)含答案
- 2026宁夏医科大学总医院自主招聘事业单位工作人员87人笔试参考题库及答案详解
- 核心素养导向的初中七年级数学“图形世界的建构与迁移”期中复习课教学设计
- 道路开口施工方案及安全措施
- 护理人文关怀的共情能力
- 广东2026公需课《加快培育发展新质生产力》题库及答案
- 中国互联网使用障碍诊疗指南(2025版)
- 2026年入党积极考试试题及答案
评论
0/150
提交评论