智能制造技术基础 课件 4.3工业大数据

智能制造技术郑重说明课件制作不易，请尊重本课件制作者的知识产权，本课件仅限教学使用，不得发布到网上，不能拿来参加教学比赛、申报教学成果等！工业大数据

萌芽阶段：1997年，美国国家航空航天局首次使用了“大数据”的概念。

发展阶段：2003-2006年，Googeld“三驾马车“（GFS、MapReduce、BigTable）提供了一种组织处理海量数据存储与计算的新思路——Hadoop诞生，推动了大数据的发展，大数据技术生态逐步形成。

应用阶段：2012年开始，商业、医疗、金融、交通等领域涌现出大量大数据应用的成功案例，迎来了全胜时期。工业大数据

工业大数据是指在工业领域中，围绕典型智能制造模式，从客户需求到销售、订单、计划、研发、设计、工艺、制造、采购、供应、库存、发货和交付、售后服务、运维、报废或回收再制造等整个产品全生命周期各个环节所产生的各类数据及相关技术和应用的总称。概念特征工业大数据容量大种类多速度快价值密度低高准确性闭环性大型工业企业的数据集将达到PB级，甚至EB级别。工业数据类型的多样性、来源广泛、结构复杂获得和处理数据的速度，时间响应达到毫秒级强调数据本身的可用性，提升创新能力和生产经营效率、促进个性化定制、服务化转型数据的真实性、完整性和可靠性在数据采集和处理过程中，实现状态感知、分析、反馈、控制等闭环场景下的动态调整和优化。来源工业大数据生产经营相关业务数据来自传统企业信息化范围是工业领域传统的数据资产设备物联数据设备和产品运行状态的数据工业大数据新的、增长最快的来源外部数据企业外部互联网来源数据宏观社会经济数据种类设计、建模、工艺、加工、测试、维护数据、产品结构、零部件配置关系、变更记录组织结构、业务管理、生产设备、市场营销、质量控制、生产、采购、库存、目标计划、电子商务客户、供应商、合作伙伴等经济运行数据、行业数据、市场数据、竞争对手数据工业大数据通过大数据分析工业大数据大数据的核心目的整合产业链和价值链预测需求、预测制造、解决和避免不可见问题的风险利用大数据意义工业大数据问题发生和解决的过程中会产生大量的数据分析和挖掘大数据信息，抽象化建成知识模型利用知识模型去认识、解决和避免问题数据则是一种手段，利用大数据去解决问题和积累知识是是目的。问题数据知识模型工业大数据技术

是指工业大数据中所蕴含的价值得以挖掘和展现的一系列技术与方法。关键技术采集技术预处理技术存储技术分析技术安全技术本质目标就是从复杂的数据中发现新的模式与知识,挖掘得到有价值的新信息,促进产品创新,提升经营水平和生产运作效率,拓展新型商业模式。工业大数据技术参考架构工业大数据技术参考架构1、数据采集层时序数据采集与治理结构化数据采集与治理非结构化数据采集与治理数据源功能企业生产经营相关的业务数据实时或批量采集的设备物联数据从外部获取的第三方数据工业大数据技术参考架构2、数据存储与管理层

完成数据存储同时构建数据模型、数据质量、数据资产、数据安全和数据共享管理技术体系。大数据存储技术管理功能工业大数据技术参考架构3、数据分析层数据分析基础大数据计算技术并行计算技术流计算技术数据科学计算技术大数据分析服务功能分析模型管理可视化分析编排分析作业管理专用和通用算法库分析服务发布工业大数据技术参考架构4、数据服务层数据访问服务对外提供大数据平台内所有原始数据、加工数据和分析结果数据的服务化访问接口和功能数据分析服务对外提供大数据平台上积累的实时流处理模型、机理模型、统计模型和机器学习模型的服务化接口。工业大数据技术参考架构5、数据应用层数据可视化技术

综合原始数据、加工数据和分析结果数据，利用可视化技术，将数据以直观简洁的方式展示出来，易于用户理解分析，提高决策效率。数据应用开发技术大数据采集是通过传感器体系、网络通信体系、智能识别体系及软硬件资源接入系统，对各种类型的海量数据的识别、跟踪、接入、传输、初步处理和管理等。

面对来源广泛且海量异构的大数据，工业大数据分析往往需要更精细化的数据，因此对数据采集能力有着较高的要求。采集技术工业大数据技术预处理技术预处理方法数据清理数据集成数据归约数据变换在主要的数据处理以前对数据进行的一些处理叫做大数据预处理。

最大限度精简数据量，减少存储成本将所有数据转化统一成标准化、规范化、适合数据挖掘的表达形式过滤掉错误及无用的信息把不同来源、格式、特点性质的数据有机地集中，为企业提供全面的数据共享工业大数据技术

关键是建立相应的数据库并随时管理和调用其中数据，需要开发新型数据库技术，以解决海量图文数据的存储及应用问题。

主要包括对多源异构数据和多模态数据存储与管理。比如，用于存储、管理和处理时序数据的时序数据库

存储与管理技术工业大数据技术分析技术可视化分析是数据分析工具最基本的功能数据挖掘提取隐含的、事先不知的、潜在的有用信息和知识预测性分析根据可视化分析和数据挖掘的结果做出一些预测性判断语义引擎分析语义中隐含的消息，并主动地提取信息。工业大数据技术工业大数据应用

大数据能够帮助制造业企业提升营销的针对性，降低物流和库存的成本，减少生产资源投入的风险。

随着消费需求的个性化，要求传统制造业：消费需求产生的数据非标准化产品生产数据智能设备处理和挖掘收集、处理和分析互联网分析