《工业互联网技术导论》课件-第6章 工业互联网平台数据层管理

工业互联网平台数据层技术主讲人：金舒萍CATALOGUE目录回顾与导入工业互联网大数据技术工业互联网大数据平台架构回顾与导入01回顾--工业大数据的背景随着互联网与工业融合创新，智能制造时代的到来，工业大数据技术及应用将成为未来提升制造业生产力、竞争力、创新能力的关键要素，是驱动产品智能化、生产过程智能化、管理智能化、服务智能化、新业态新模式智能化，支撑制造业转型和构建开放、共享、协作的智能制造产业生态的重要基础，对实施智能制造战略具有十分重要的推动作用。回顾--工业大数据的定义及特征定义：工业大数据是指在工业领域中，围绕典型智能制造模式，从客户需求到销售、订单、计划、研发、设计、工艺、制造、采购、供应、库存、发货和交付、售后服务、运维、报废或回收再制造等整个产品全生命周期各个环节所产生的各类数据及相关技术和应用的总称。其以产品数据为核心，极大延展了传统工业数据范围，同时还包括工业大数据相关技术和应用。工业大数据的主要来源有三类：第一类是生产经营相关业务数据。第二类是设备物联数据。第三类是外部数据。回顾--工业大数据的特征工业大数据具有一般大数据的特征（海量性、多样性等），在此基础上还具有四个典型的特征：价值性、实时性、准确性、闭环性。价值性（Value）：工业大数据更加强调用户价值驱动和数据本身的可用性，包括：提升创新能力和生产经营效率，以及促进个性化定制、服务化转型等智能制造新模式变革。实时性（Real-time）：工业大数据主要来源于生产制造和产品运维环节，生产线、设备、工业产品、仪器等均是高速运转，从数据采集频率、数据处理、数据分析、异常发现和应对等方面均具有很高的实时性要求。准确性（Accuracy）：主要指数据的真实性、完整性和可靠性，更加关注数据质量，以及处理、分析技术和方法的的可靠性。闭环性（Closed-loop）：包括产品全生命周期横向过程中数据链条的封闭和关联，以及智能制造纵向数据采集和处理过程中，需要支撑状态感知、分析、反馈、控制等闭环场景下的动态持续调整和优化。业界一般认为工业大数据还具有集成性、透明性、预测性等特征。导入--工业大数据与大数据技术的关系工业大数据可以借鉴大数据的分析流程及技术，实现工业数据采集、处理、存储、分析、可视化。工业制造过程中需要高质量的工业大数据，可以借鉴大数据的治理机制对工业数据资产进行有效治理。导入--工业大数据与工业互联网的关系与智能制造的场景有所区别，工业互联网更为关注制造业企业如何以工业为本，通过“智能+”打通、整合、协同产业链，催生个性化定制、网络化协同、服务化延伸等新模式，从而提升企业、整体行业价值链或是区域产业集群的效率。与智能制造相似的，工业互联网既是工业大数据的重要来源，也是工业大数据重要的应用场景。尤其在工业互联网平台的建设中，工业大数据扮演着重要的角色。工业互联网大数据技术02大数据分析的关键技术

根据大数据分析的流程，大数据分析的关键技术可分为数据采集、数据预处理、数据存储、数据挖掘分析、数据可视化等技术。大数据采集技术大数据预处理技术大数据挖掘分析技术大数据展现与应用技术大数据存储技术大数据分析关键技术划分大数据管理技术提供大数据服务平台所需的虚拟服务器，以及结构化、半结构化和非结构化数据的数据库与物联网资源等基础支撑环境。一、大数据采集技术（回顾）

大数据采集是指通过射频识别（RadioFrequencyIdentification，RFID）数据、传感器数据、社交网络交互数据、移动互联网数据等渠道或方式，获得各种类型的结构化、半结构化（或称弱结构化）以及非结构化的海量数据的过程。大数据采集系统主要由大数据智能感知层、基础支撑层等组成。（1）大数据智能感知层：在该层必须着重攻克大数据源的智能识别、感知、适配、传输、接入等技术。（2）基础支撑层：在该层需要重点攻克分布式虚拟存储技术，大数据获取、存储、组织、分析和决策操作的可视化接口技术，大数据的网络传输与压缩技术，大数据隐私保护技术等。主要包括数据传感体系、网络通信体系、传感适配体系、智能识别体系及软硬件资源接入系统，实现对结构化、半结构化、非结构化的海量数据的智能化识别、定位、跟踪、接入、传输以及信号转换、监控、初步处理和管理等。二、大数据预处理技术

大数据预处理技术主要完成对已接收数据的辨析、抽取、清洗等操作。

（1）抽取

（2）清洗因获取的数据可能具有多种结构和类型，数据抽取过程可以帮助人们将这些复杂的数据转化为单一的或者便于处理的结构和类型，以达到快速分析处理的目的。大数据并不全都是有价值的，有些数据并不是人们所关心的内容，而另一些数据则可能是完全错误的干扰项，因此，要对数据进行过滤“去噪”从而提取出有效数据。三、大数据挖掘分析技术

从挖掘任务和挖掘方法的角度，大数据挖掘分析的关键技术如下：

（1）可视化分析

（2）数据挖掘分析

（3）预测性分析

（4）语义引擎

（5）数据质量和数据管理数据图像化是将机器语言以人类能够理解的形式呈现出来，让用户直观地看到结果。数据挖掘采用机器语言，通过分割、集群、孤立点分析等算法精练数据、挖掘价值。要求这些算法既能够应付大量的数据，还要具有很高的处理速度。可以让数据分析师根据图像化分析和数据挖掘的结果做出一些前瞻性判断。语义引擎需要有足够的人工智能，以便它能从数据中主动提取信息。语义处理技术包括机器翻译、情感分析、舆情分析、智能输入、问答系统等。通过标准化流程和机器对数据进行处理，可以确保获得与预期质量相符合的分析结果。四、大数据展现与应用技术

大数据展现与应用技术能够将隐藏于海量数据中的信息和知识挖掘出来，为人类的社会经济活动提供依据，从而提高各个领域的运行效率，大大提高整个社会经济的集约化程度。

在我国，大数据重点应用于人工智能、政府决策、公共服务三大领域。五、大数据存储技术大数据存储与管理技术主要包括以下几方面的技术。（1）复杂结构化、半结构化和非结构化大数据管理与处理技术。（2）开发新型数据库技术。（3）高效、低成本的大数据存储技术。（4）大数据可视化技术。（5）大数据安全技术。此类技术包括改进数据销毁、透明加解密、分布式访问控制、数据审计技术等，以及突破隐私保护和推理控制、数据真伪识别和取证、数据持有完整性验证等技术。此类技术主要解决大数据的可存储、可表示、可处理、可靠性及有效传输等关键问题。此类技术包括分布式非关系型大数据管理与处理技术、异构数据的数据融合技术、数据组织技术、大数据建模技术、大数据索引技术等。此类技术包括开发可靠的分布式文件系统，实现存储、计算融入存储、大数据的去冗余等，以及大数据移动、备份、复制等技术。数据库分为关系型数据库、非关系型数据库等。大数据存储的关键技术①数据库技术

数据库技术是一种常见的大数据存储技术，它在数据的组织存储和管理中具有重要作用。数据库技术包括了传统的关系型数据库和分布式数据库、NoSQL数据库等新兴技术。其中，NoSQL数据库因为具有更好的可扩展性、高可用性和高性能等特点，已经成为大数据存储领域的热门技术。②分布式存储技术

分布式存储技术与数据库技术紧密联系在一起。它是指将数据存储在多台计算机上，从而达到数据备份和共享的目的。这种技术主要包括了分布式文件存储、分布式对象存储和分布式块存储等。③存储虚拟化技术

存储虚拟化技术是一种将存储设备和存储资源进行虚拟化的技术。它可以将存储设备的物理存储资源抽象成为虚拟的存储池，从而提高整个存储系统的效率。工业大数据平台架构03工业大数据参考架构工业大数据参考架构以工业过程的业务需求为导向，基于工业系统的业务架构，规划工业大数据的数据、技术和应用（平台）架构，以搭建面向多业务领域、贯通多组织和应用层次的工业大数据IT架构。工业大数据的架构方法模型数据参考架构数据参考架构数据参考架构包括数据源、数据收集与集成、数据处理与数据管理、典型应用场景等四个层次。数据收集与集成层主要实现工业各环节数据的收集与集成，打通现有信息系统的数据连接，包括企业资源计划（ERP）、制造执行系统（MES）、供应链管理（SCM）、产品生命周期管理（PLM）、客户关系管理（CRM）、过程控制系统等。数据处理和数据管理层是工业大数据的核心环节，其关键目标是实现工业大数据面向生产过程智能化、产品智能化、新业态新模式智能化、管理智能化以及服务智能化等领域的数据处理和数据管理。据处理和数据管理。通过数据建模、数据处理、数据分析，实现数据结果和3D工业场景的可视化，对数据质量、能力成熟度、数据资产管理、数据开放共享和交易等进行数据管理。应用场景层主要是基于数据处理和数据管理结果，生成可视化描述、控制、决策等不同应用，从而实现智能化设计、智能化生产、网络化协同制造、智能化服务和个性化定制等典型的智能制造模式，并将结果以规范化数据形式存储下来，最终构成从生产物联设备层级到控制系统层级、车间生产管理层级、企业经营层级、产业链上企业协同运营管理的持续优化闭环。技术参考架构技术参考架构数据采集。以传感器为主要采集工具，结合RFID、条码扫描器、生产和监测设备、PDA、人机交互、智能终端等手段采集制造领域多源、异构数据信息，并通过互联网或现场总线等技术实现源数据的实时准确传输。数据存储与集成。包括分布式存储技术、元数据技术、标识技术、数据集成技术。存储技术主要采用大数据分布式云存储的技术；元数据技术包括对订单元数据、产品元数据、供应商能力等进行定义和规范的本体技术；标识技术包括分配与注册、编码分发与测试管理、存储与编码规范、解析机制等；数据集成技术，主要指面向工业数据的集成。数据建模。包括对设备物联数据、生产经营过程数据、外部互联网相关数据的建模方法和技术，采用聚类、分类、规则挖掘等数据挖掘方法及预测机制建立多类基于数据的工业过程优化特征模型。数据处理。在传统数据挖掘的基础上，结合新兴的云计算、Hadoop、专家系统等对同构数据执行高效准确地分析运算，包括大数据处理技术、通用处理算法和工业领域专用算法。数据交互应用。对经处理、分析运算后的数据，通过可视化技术，包括大数据可视化技术和3D工业场景可视化技术。结合智能决策技术，进而实现数据辅助生产制造决策的价值。平台参考架构平台参考架构工业大数据平台涵盖了IT网络架构和云计算基础架构等基础设施，专家库、知识库、业务需求库等资源，及安全、隐私等管理功能，除此之外，还包含关联工业大数据实际应用的三方面角色，即数据提供方、数据服务消费方、数据服务合作方。数据提供方是能提供三大类主要数据来源的角色，包括各类人员、工业软件、生产设备装备、产品、物联网、互联网、其它软件等等多类对象，以及企业活动、人员行为、装备设备运行、物联网和互联网运行等多种活动，多类对象的多种活动产生的数据都将通过工业大数据平台直接或间接地提供给数据消