智能制造概论 课件 3.2 工业大数据技术

《智能制造概论》课程3.2工业大数据技术3.2工业大数据技术

3.2.1工业大数据概述

1.工业大数据的概念工业大数据是指在工业领域信息化技术应用中所产生的大数据，即围绕典型智能制造模式，从客户需求到计划、研发、设计、工艺、采购、制造、供应、库存、销售、订单、发货和交付、售后服务、运维、报废或回收再制造等产品制造各个环节所产生的各类数据、相关技术和应用的总称。

工业大数据以产品数据为核心，显著扩展了传统工业数据的边界，并且涵盖了与工业大数据紧密相关的各种技术和实际应用场景。3.2.1工业大数据概述

2.工业大数据的分类按照数据来源，工业大数据可分为企业运营相关业务数据、制造过程数据、企业外部数据。其中企业运营相关业务数据主要包括企业资源计划管理系统数据、产品生命周期管理系统数据、供应链管理系统数据、能量管理系统数据；制造过程数据主要包括装备、物料及产品加工过程中的工况状态参数和环境参数等数据；企业外部数据主要包括产品售出之后的使用和运营情况数据，以及客户名单、供应商名单和外部互联网访问信息等数据。3.2.1工业大数据概述

2.工业大数据的分类按照数据来源，工业大数据可分为企业运营相关业务数据、制造过程数据、企业外部数据。3.2.1工业大数据概述

3.工业大数据的技术框架工业大数据的技术框架主要包含三个维度：生命周期与价值流、企业纵向层、IT价值链。3.2.1工业大数据概述

3.工业大数据的技术框架（1）生命周期与价值流生命周期与价值流维度包括研发与设计、生产、物流、销售、运维与服务5个环节。其中，生产、物流和销售可进一步归类于生产与供应链管理，则生命周期与价值流维度包含研发与设计、生产与供应链管理、运维与服务三个领域。3.2.1工业大数据概述（2）企业纵向层企业纵向层从下至上包含信息物理系统（CPS）、管理信息系统（MIS）和互联网平台系统，指企业各层为实现工业大数据应用及工业转型所需进行的工作。从物理的角度可将企业纵向层自下而上分为设备层、控制层、车间层、企业层和协同层五层。基于设备层、控制层、车间层，可利用物联网技术和信息物理系统打造智能工厂；基于车间层和企业层，可集成内部各种信息化应用，并进行企业内部业务流程整合和改造，以提升企业运行效率；基于协同层，可利用云计算等平台技术，实现企业外部协同制造及制造业服务化等创新业务模式。3.2.1工业大数据概述（3）IT价值链在IT（informationtechnology，信息技术）价值链维度上，大数据的价值通过存放大数据的网络、基础设施、平台、应用工具及其他服务来实现。IT价值链由业务架构、应用架构、信息架构和技术架构组成。3.2.1工业大数据概述

4.工业大数据的特征工业大数据的特征可以归结为4V特点：

volume（大量）、variety（多样）、velocity（高速）、value（价值）。3.2.2工业大数据概述

1.数据量大（volume）现有的数据单位按照从小到大的顺序依次是bit（位）、B（字节）、KB（千字节）、MB（兆字节）、GB（吉字节）、TB（太字节）、PB（拍字节）、EB（艾字节）、ZB（泽字节）及YB（尧字节）等。一般情况下，大数据是以PB、EB、ZB为单位进行计量的。数据的大小决定所考虑数据的价值高低和潜在的信息含量。工业数据体量比较大，大量机器设备的高频数据和互联网数据持续涌入，大型工业企业的数据集规模可达到PB级甚至EB级。工业大数据的特征

2.多样性（variety）大数据的多样性指数据类型的多样性和数据来源广泛。工业数据分布广泛，涉及机器设备、工业产品、管理系统、互联网等各个环节，并且结构复杂，既有结构化和半结构化的传感数据，也有非结构化数据。大数据基本上可以看作由物联网数据、行业或企业内数据、互联网数据拼接而成，数据来源多，数据类型多，数据关联性强。

工业大数据的特征

3.价值密度低（value）大数据不仅是技术，更是产生价值的工具，可以从各个层面进行优化，同时要考虑整体。工业大数据更强调用户价值驱动和数据本身的可用性，包括提升创新能力和生产经营效率，以及促进个性化定制、服务化转型等智能制造新模式变革。

挖掘大数据的价值类似沙里淘金，从海量数据中挖掘稀疏但珍贵的信息。这就说明价值密度低是大数据的一个典型特征。

工业大数据的特征

4.快速性（velocity）快速性是指获得和处理数据的速度快。工业数据处理速度需求多样，生产现场级要求数据分析速度达到毫秒级，管理与决策应用需要支持交互式或批量数据分析。

大数据的处理速度快，实时数据流处理要求高，是区别大数据应用和传统数据库应用、商务智能技术的关键差别之一。对于大数据应用而言，必须要在1s内形成答案，否则处理结果就是过时和无效的。

工业大数据的特征3.2工业大数据技术

3.2.2工业大数据的关键技术

1.大数据采集技术制造企业的数字化建设过程中需要采集的相关数据量非常庞大。数据可以是从传感器、网络社交软件、论坛等渠道获得的信息，数据类型包括结构化、半结构化及非结构化数据。制造企业要实现企业数据资产的全面获取与利用，就必须依靠大数据采集技术。大数据采集技术通过将传感体系、网络通信体系、智能识别体系及软硬件资源接入系统，来实现对不同类型海量数据的智能化识别、跟踪、接入、传输、信号转换、监控、初步处理和管理等。3.2.2工业大数据的关键技术

2.大数据处理技术数据处理是智能制造的关键技术之一。数据处理是为了更好地利用数据，其目的是从大量杂乱无章、难以理解的数据中抽取并推导出对于某些特定需求有价值、有意义的数据。

常见的数据处理流程主要包括数据清洗、数据融合、数据分析及数据存储等环节。3.2.2工业大数据的关键技术数据处理流程：（1）数据清洗数据清洗即数据预处理，是指对所收集的数据进行分析前的审核、筛选等必要处理，并对存在问题的数据进行处理，从而将原始的低质量数据转化为方便分析的高质量数据。数据清洗的主要目的是确保数据的准确性、一致性和完整性，以便进行高效的数据分析和挖掘。通过数据清洗，可以去除数据中的噪声，纠正错误，处理缺失值和异常值，从而得到更加干净、准确的数据集。3.2.2工业大数据的关键技术

（2）数据融合数据融合是利用计算机技术对按时序获得的若干观测信息，在一定准则下加以自动分析、综合，以完成所需的决策和评估任务而进行的信息处理技术。数据融合涉及对各种信息源给出的有用信息的采集、传输、综合、过滤、关联及合成，以便辅助人们进行态势/环境判定、规划、探测、验证、诊断。3.2.2工业大数据的关键技术

（3）数据分析数据分析是指利用适当的统计分析方法，对收集来的大量数据进行分析、汇总、解读和转化，以最大化地开发数据的功能，发挥数据的作用。数据分析旨在从大量、无序、难以直接解读的数据中提取有价值的信息和知识，以支持决策制订、业务优化、市场洞察等。常见的数据分析方法：可视化分析技术、数据挖掘技术、预测性分析技术、语义引擎技术。3.2.2工业大数据的关键技术

（4）数据存储数据存储是指将数据以某种格式保存在计算机内部或外部存储介质上，其核心目的是提供一种方法，以便在需要时能够快速、可靠地访问和检索数据。能否构建出能够容纳庞大数据量的数据库，并且实现对这些数据的即时管理和高效访问，是大数据处理技术的核心挑战。因此，为了应对海量图文数据的存储与应用需求，需要开发新型数据库技术，如键值数据库、列式数据库、图数据库及文档数据库。3.2.2工业大数据的关键技术3.2工业大数据技术

3.2.3工业大数据分析应用软件1.TableauTableau以其强大的数据可视化能力著称，可以连接几乎任何数据源，通过直观的界面让用户轻松创建各种精美的可视化图表，如柱状图、折线图、地图等。Tableau的可视化效果交互性强，能够帮助企业快速洞察数据背后的信息。其主要用于商业分析、报告展示等需要高度可视化和较强交互性数据的场景。3.2.3工业大数据分析应用软件2.PowerBI

PowerBI是微软推出的一款商业智能工具，能够连接多种数据源，进行数据建模、可视化和报表创建。用户可以通过简单的拖拽操作，快速创建交互式仪表板和报表，实现数据的实时分析与共享。此外，PowerBI还支持与其他微软产品集成，如Excel、Azure等方便企业构建一体化的数据解决方案。其主要用于企业级数据分析、跨平台协作等场景，尤其适合与微软生态系统紧密相关联的企业。3.2.3工业大数据分析应用软件3.Python

Python凭借其简洁的语法和丰富的数据库，成为数据分析领域的热门编程语言。如NumPy、Pandas用于数据处理和分析，Matplotlib、Seaborn用于数据可视化，Scikit-learn用于机器学习和预测分析等。Python可以轻松实现数据挖掘、数据清洗、复杂统计分析等任务，并且具有高度的可扩展性和灵活性。Python适用于满足专业编程和复杂分析需求，尤其适合需要进行大规模数据处理和机器学习的场景。3.2.3工业大数据分析应用软件4.R语言R语言专注于统计分析和数据可视化，在学术研究和专业数据分析领域备受青睐。它拥有大量的统计分析包，如ggplot2用于精美数据可视化，dplyr用于数据处理。R语言在处理复杂统计模型和数据挖掘算法方面表现出色。因此，R语言适用于学术研究、统计建模等需要高度统计分析能力的场景。3.2.3工业大数据分析应用软件5.HadoopHadoop是一个能够对大量数据进行分布式处理的软件框架，以可靠、高效、可伸缩的方式进行数据处理。Hadoop能够处理PB级数据，并且依赖于社区服务器，成本较低。Hadoop适用于海量数据存储与处理，尤其适合需要处理大规模数据集的企业。3.2.3工业大数据分析应用软件6.MATLABMATLAB是一款广泛应用于科学和工程领域的数据分析和仿真工具。它提供了强大的数学计算功能，支持各种矩阵运算、数值分析和统计分析。此外，MATLAB还提供了丰富的函数库和灵活的编程环境，满足用户自定义算法和应用的需求。MATLAB主要在工业生产数据分析中发挥重要作用，特别是在需要进行复杂数值计算和算法开发的场景。3.2.3工业大数据分析应用软件7.SASSAS（statisticalanalysissystem）是一款功能强大的数据分析和统计软件。它提供了丰富的统计分析工具和数据挖掘工具，帮助用户发现数据中的隐藏模式和关系。此外，SAS还支持多种数据源连接，并提供灵活的编程环境，满足用户自定义程序的需求。SAS广泛应用于工业生产数据分析、金融、医疗等领域，尤其适用于需要进行高级统计分析和建模的场景。3.2.3工业大数据分析应用软件在选择工业大数据分析应用软件时，企业应综合考虑具体需求、预算、数据量及团队技术能力等因素。同时，用户体验和支持服务也是选择数据分析软件时要考虑的重要因素。3.2.3工业大数据分析应用软件3.2工业大数据技术

3.2.4工业大数据的应用工业大数据是构成新一代智能工厂的重要技术支撑。智能工厂中的大数据是“信息”与“物理”世界彼此交互与融合的产物。大数据应用将带来制造业企业创新和变革的新时代，在传统的制造业生产管理信息数据的基础上，结合物联网等系统感知的物理数据，形成智能制造时代的生产数据私有云，创新制造业企业的研发、生产、运营、营销和管理方式，带给企业更快的速度、更高的效率和更敏锐的洞察力。3.2.4工业大数据的应用工业大数据的应用价值：1.实现智能化生产

在现代智能制造体系中，运用物联网技术实现工厂/车间的设备传感层与控制层的数据和企业信息系统相融合，将生产大数据传送至云计算数据中心进行存储、分析，形成决策并用于企业的生产指导。3.2.4工业大数据的应用企业的生产线、生产设备均配备传感器获取数据信息，然后经过无线网络传输数据，对生产本身实现动态监控。而生产所产生的数据经过快速处理、传递，反馈至生产过程中，将工厂升级为可以管理和自适应调整的智能网络，使得工业控制和管理最优化。通过最大化利用有限的资源，可以有效减少工业和资源配置所需的费用，帮助企业实现更高效的生产。当前，由于信息技术、物联网技术的发展，可以通过传感技术实时感知数据，动态追踪产品出了什么故障，哪里需要配件，这使得生产过程能够被精确控制，真正实现生产智能化。因此，在一定程度上，传感器所产生的大数据直接决定了企业智能化设备的智能水平。3.2.4工业大数据的应用

工业大数据可以帮助智能工厂实现资源的优化配置和高效利用。通过数据分析，智能工厂可以精准掌握企业各类资源的消耗情况和利用效率，为资源调度和节能降耗提供科学依据。

通过提高生产效率和质量控制水平，智能工厂可以降低废品率和返工率，从而减少生产成本