工业互联网数据采集技术 课件 任务3.2 工业数据处理

项目01工业数据采集技术概述项目02工业数据采集与设备安装工业数据采集网络建设项目04项目03工业数据传输与处理项目05工业数据上云项目06工业数据采集综合应用工业数据传输与处理03项目工业数据处理是智能制造等现代化工业生产模式中的重要环节，有助于提高生产效率、降低成本、优化运营管理、提高产品质量和提供决策支持等。工业数据处理是一个复杂的过程，需要对各种数据处理技术和方法有一定的了解和应用能力，同时还需要结合具体的应用场景和需求，选择合适的处理方法和工具，以实现工业生产的智能化和自动化。任务描述本任务主要介绍工业数据处理的相关知识，包括工业数据处理的基本概念、数据采集处理、在线实时处理、数据存储、离线延时处理等相关内容。工业数据在业务逻辑上大致可以分为数据采集层、数据处理层和数据展现层３个部分，如图所示。根据不同的应用场景，还可以细分为更多的层次，如数据处理可以分为元数据管理层、数据交互层、数据分析层等。工业数据处理概述1知识链接１.数据解析工业数据解析是在工业领域中，对所收集和存储的数据进行处理、分析和解释的过程，其目的是提取数据中的有用信息或知识，以指导生产、优化流程、预测故障、调整参数等。数据采集处理2知识链接①数据清洗；②数据整合；③数据分类；

④数据可视化；⑤数据挖掘；⑥模型构建与优化；⑦数据应用工业数据解析需要结合具体的应用场景和需求，选择合适的分析方法和工具，以实现数据的深度分析和智能模型开发工作与决策可视展示，同时也可以将其提供给各类细分专业业务系统，对其进行进一步的利用。工业数据解析常见的步骤工业数据规范是对工业数据管理过程中的数据质量、数据流程、数据安全等方面进行规定的一套标准和规范。工业数据规范是工业数字化转型和发展的重要基础，它可以提高工业数据的质量和可靠性，促进工业数据的共享和利用，保障工业数据的安全和机密性，推动工业数字化转型和发展。2.数据规范知识链接①统一数据格式；②数据命名规范；③数据采集频率；④数据存储规范；⑤数据访问权限；⑥数据处理规范；⑦数据质量标准；⑧数据可视化规范；⑨数据应用规范

工业数据规范的要求数据清洗也称为数据净化，是从数据源中删除或者更正“脏”数据的过程。数据清洗的目的是严格把控数据质量，防止“脏”数据流到下游，影响数据的使用。数据清洗过程一般是将数据抽取到临时中间层，进行数据审查、过滤和校验，去除噪声数据、删除重复信息、纠正错误并维护数据的一致性，是一个发现数据质量问题并纠正数据的过程。3.数据清洗知识链接①缺失值处理；②数据过滤；③数据平滑；④异常检测；⑤数据属性变换；⑥数据标准化；

数据清洗的方法随着工业互联网技术的发展，各种传感器、监控设备等智能化设备被广泛应用，大量的实时数据不断地被自动化控制系统获取，这些数据包含着大量的信息和价值。实时数据处理技术可以对这些数据进行迅速处理，实现对自动化控制系统的实时监测和控制。例如，在自动化生产线的生产过程中，运用实时数据处理技术可以实现对生产线的实时状态监测、预测与分析，从而保证整个生产线的高效性和稳定性。在线实时处理3知识链接

在线实时处理3知识链接实现实时数据处理技术的具体方法有如图所示的几种。

在线实时处理3知识链接数据实时处理在工业制造中的应用主要包含如图所示的几个方面。

在线实时处理3知识链接实时数据处理的重要性主要体现在如图所示的几个方面。

数据存储4知识链接目前，工业数据存储方式主要有如图所示的几种。

常见的工业数据存储设备知识链接设备名称说明磁带机磁带机是一种古老的存储设备，但在某些方面仍然非常实用。它们可以提供非常高的存储密度，同时存储成本相对较低。此外，磁带机的存储时间可以长达数十年，非常适合长期存储大量数据。但是，磁带机的读写速度较慢，且需要定期进行数据备份。光盘塔/光盘库/光盘网络镜像服务器光盘塔、光盘库和光盘网络镜像服务器是目前最好的多媒体海量信息存储载体或重要文献资料备份媒体。它们的存储容量巨大，成本低廉，体积小巧，信息保存时间可长达100年至300年。这些设备通过将保存有大量不同信息的几十张甚至几百张光盘组合起来使用，以实现海量信息的网络存取。数据中心存储设备随着云计算和大数据的发展，数据中心存储设备已成为不可或缺的一部分。这些设备主要包括各种类型的服务器、存储阵列、备份设备和网络设备等。它们可以提供非常高的存储容量、读写速度和数据处理能力，以满足各种复杂的数据中心需求。闪存盘/固态硬盘（SSD）闪存盘和固态硬盘是近年来逐渐普及的存储设备。它们采用闪存技术，具有体积小、速度快、稳定性高等优点。与传统的机械硬盘相比，闪存盘和固态硬盘的读写速度更快，更适合用于高并发访问、持久性存储和共享访问。知识链接（１）数据备份与恢复数据备份是保障工业数据安全的重要环节，可以防止数据丢失、损坏或被篡改。因此，建立完善的数据备份和恢复机制是非常必要的。一方面，需要定期对数据进行备份，并保证备份数据的可用性和完整性；另一方面，在数据发生故障或意外删除后，需要能够迅速恢复数据，以避免生产停顿或不良影响。如何实现工业数据的存储安全知识链接（２）数据加密工业数据的加密是保障数据安全的重要手段之一。数据加密可以防止未经授权的访问和恶意攻击，保证数据的保密性。在工业数据存储过程中，可以采用磁盘加密、文件加密、数据库加密等多种方式对数据进行加密处理。如何实现工业数据的存储安全（３）访问控制访问控制是保障工业数据存储安全的重要措施。通过对不同用户或组赋予不同的权限，能够限制用户对数据的访问权限，防止数据泄露。访问控制可以通过设置密码、使用ＶＰＮ等方式实现。知识链接（４）数据脱敏工业数据处理过程中，需要对敏感数据进行脱敏处理，以避免数据泄露和滥用。数据脱敏可以通过替换、模糊化、匿名化等方式实现，从而保护数据的隐私和安全。如何实现工业数据的存储安全（５）数据中心安全数据中心是工业数据存储的重要场所，因此数据中心的安全也是保障工业数据存储安全的重要环节。可以通过采用虚拟化技术、云计算技术等手段提高数据中心的使用效率，同时也可以采用多重备份等技术手段提高数据中心的安全性和可靠性。知识链接１.离线数据离线数据是相对在线数据而言的。所谓在线数据，就是可以通过数据采集终端直接采集到的数据，如适配器对接设备控制器后直接采集到的数据，反之，离线数据就是不能通过数据采集终端直接采集的数据。离线延时处理5知识链接２.数据仓库离线数据处理流程在数据驱动的时代，数据仓库成为企业分析和利用数据的重要手段。数据仓库将来自各个数据源的数据整合到一起，进行统一的管理和查询。在数据仓库中，离线数据处理流程是一个关键环节，它主要涉及数据采集、数据清洗、数据转换和数据装载等环节。①数据采集；②数据清洗；③数据转换；④数据装载离线延时处理5知识链接离线延时处理5在进行离线数据处理时，需要注意如图所示的几个方面。掌握振动传感器数据处理与分析任务实施【任务目的】掌握数据的处理方法理解工业设备各部分数据信息了解无线振动传感器的优势【步骤1】

处理工业智能网关所接收到的数据①在计算机中打开浏览器窗口，在地址栏中输入工业智能网关设备的ＩＰ地址和Ｎｏｄｅ－ＲＥＤ的端口号（默认为１８８０），如１９２.１６８.１.１：１８８０，登录成功后显示如图所示的界面。【步骤1】

处理工业智能网关所接收到的数据②目前，大多数智能传感器设备都会提供相应的数据采集程序。接下来就需要导入无线智能振动传感器设备所提供的数据采集Ｎｏｄｅ－ＲＥＤ程序，如图所示，这样就可以根据该程序来查看和分析传感器所采集的数据了。【步骤1】

处理工业智能网关所接收到的数据③单击界面右上角的“部署”按钮，程序会对无线智能振动传感器所采集的数据进行自动分析和处理。单击界面中“仪表板”选项卡中的“展开”图标，如图所示。【步骤2】

查看和分析无线智能振动传感器所采集的数据打开无线智能振动传感器设备的数据监控界面，显示传感器设备的实时数据处理和分析结果，如图所示。界面中各部分所显示数据说明如下：①传感器设备的基本信息。②传感器设备的三轴实时速度及加速度值。③传感器设备的实时温度值。④传感器设备的警告提示信息。⑤传感器设备的速度均方根值的趋势图。⑥传感器设备的湿度趋势图。【步骤3】

数据趋势图曲线分析如图所示为无线智能振动传感器设备所采集到的速度均方根值的趋势图，Ｎｏｄｅ－Ｒｅｄ面板显示的电动机运行速度分别为１００ｒ／ｍｉｎ、５００ｒ／ｍｉｎ、１５００ｒ／ｍｉｎ时的Ｘ轴速度均方根值趋势曲线。通过对上图分析可看出，电动机速度变化时，采集到的曲线也会相应变化。电动机短时停机，状态可实时在曲线上显示出来。通过分析算法，可将异常特征点识别出来，用于协助设备诊断、预警和维护。【步骤4】

将设备数据上传云端进行分析将工业智能网关连接到可以上网的路由器或４Ｇ／５Ｇ网络信号，经过简单的网络设置，即可将无线智能振动传感器设备所采集并传输到工业智能网关中的数据上传到云端、数据库或ＳＣＡＤＡ软件，然后根据云端的算法来对数据做进一步的分析，从而实现设备的诊断、趋势分析和预测性维护。【步骤5】

无线智能振动传感器的优势①产品体积小巧，无需任何接线，安装方式灵活，使用简单。②电池供电，在每１５分钟传输一次数据的情况下，续航时间可达两年，基本免维护。③具有边缘计算功能，直接计算出符合ＩＳＯ１０８１６的特征值，设定ｈｉｇｈ／ｈｉｇｈ－ｈｉｇｈ警戒值，并上传至云端，方便云端进行数据分析。【步骤5】

无线智能振动传感器的优势④监测非常灵活，设备工作状态稍有变化，即可通过的特征值反映出来。⑤数据采集持续稳定，长时间监测未发现通信中断或数据丢失现象。⑥可实现对设备不间断监测，实时了解工作状态，方便对设备进行趋势分析和预测性维护。任务测验选择题

A.工业数据解析B.工业数据规范C.工业数据采集D.数据清洗

（）是在工业领域中，对所收集和存储的数据进行处理、分析和解释的过程。A.传统存储方式B.云存储方式C.分布式存储方式D.实时存储方式下列不属于工业数据存储方式的是（）。A.数据过滤B.异常检测C.数据存储D.数据属性变化下列不属于数据清洗方法的是（）。简答题任务测验1.简述工业数据处理以及其包含的内容。2.简单描述数据实时处理的实现方法。3.简述如何实现工业数据的存储安全。

项目总结

拓展阅读工业数据采集处理与数字中国建设有着密切的关系。在数字经济的推动下，我国工业制造业正在进行数字化转型，借助于物联网、人工智能和大数据等先进技术，工业数据采集处理实现了设备自动化、生产线智能化和工艺优化，进一步提高了企业竞争力，满足了消费者对高品质、环保和安全产品的需求。预计到２０２５年，我国数字经济规模将超过６０万亿元，较２０１６年的２２６万亿元增长了１６５％以上。这表明，数字化发展将继续释放巨大的潜力，为我国工业生产的数字化发展提供了广阔的前景。尤其在相关政策文件等的指导下，数字经济的潜力将得到进一步的释放，为我国工业制造业的数字化转型提供了重要的指导和支持。然而，工业制造业的数字化转型并非一帆风顺。在转型过程中，需求侧动力不足、供给侧水平不高、转型生态不健全等突出问题仍然存在。为了解决这些问题，各企业需要从高端化、智能化、绿色化和安全化等方向发掘自身的市场潜力。例如，通过引入物联网、人工智能和大数据分析等先进技术，企业可以实现设备自动化