1.2采集数据的类型和方式

EMPOWERFORINDUSTRYGROWWITHPARTNERS采集数据的类型和方式学习目标

能够认知工业互联网采集什么数据能够认知各类数据之间的关系能够掌握协议数据、传感数据等数据的采集方式采集数据的类型和方式1.采集什么数据工业数据采集的类型不仅要涵盖基础的结构化数据，还要包括如工程图纸这类非结构化数据，甚至未来还有半结构化的用户行为数据、设备和传感器采集的周期性数据、网络爬虫获取的互联网数据，以及越来越多的有潜在意义的各种各样的数据。不过就目前来说，常用的工业数据采集类型主要包括海量的Key-Value数据、文档数据、信息化数据、接口数据、现场多媒体数据。采集数据的类型和方式1.采集什么数据1.1海量key-value数据key和value的本意是钥匙和值的意思，在计算机应用中通常被用作键值对，例如：在map、json中等。在键值对中，key是关键字，value是值，例如：{"firstName":"Brett","lastName":"McLaughlin"}在这个json中，firstName和lastName是key，分别对应的value是Brett和McLaughlin。Key对应的Value可以分为两种情况：如果传感器在某一时刻采集的数据量小，可以将原始数据作为Value；如果传感器数据在某时刻采集的数据量大，可以将原始数据存储在分布式文件系统中的文件路径信息作为Value。采集数据的类型和方式1.采集什么数据1.2文档数据工业产品在其全生命周期中，会涉及或产生大量的文档数据。例如，在需求分析阶段会产生产品需求文档等。在设计阶段，会产生设计文档、CAD（计算机辅助设计）图纸等。在产品的生产制造阶段，会涉及工艺文档、生产管理手册等。在销售阶段，会涉及合同、销售方案等。在使用阶段，会涉及产品使用说明书等。在维修阶段，会涉及维修手册等。在报废阶段，会涉及产品报废分析报告等。在回收再生阶段，会涉及再生资源回收实施方案等。采集数据的类型和方式1.采集什么数据1.3信息化数据信息化数据是由工业信息系统产生的数据，一般是通过数据库形式存储，这部分数据是最好采集的。智能工厂信息化系统需要将现代管理理论、智能制造理论与最新信息化技术、自动化技术、网络通信技术、信息物理系统、大数据技术、云计算技术深度融合，通过科学规划和全面集成企业设备单元、生产监控、制造执行、企业管理、设计研发等各类系统，最终构建由智能设计、智能经营、智能生产、智能决策组成的智能工厂。采集数据的类型和方式1.采集什么数据1.3信息化数据常用的信息化子系统有：OMS（OrderManagementSystem，订单管理系统）WMS（WarehouseManagementSystem，仓库管理系统）SRM（SupplierRelationshipManagement，供应商关系管理）ERP（EnterpriseResourcePlanning，企业资源计划）CRM（CustomerRelationshipManagement，客户关系管理）MES（ManufacturingExecutionSystem，制造企业生产过程执行管理系统）SAP（systemsapplicationsandproductsindataprocessing，企业管理解决方案）等企业信息化系统采集数据的类型和方式1.采集什么数据1.4接口数据在工业企业内部存在多种信息系统，例如客户关系管理系统、生产管理系统。为了充分利用不同类型数据库的优势，不同的信息系统使用不同数据库的情况十分常见，这些数据库中的数据存储方式可能不同，从而会造成系统间的数据交互困难。并且工业在向智能化转型的过程中，不同类型信息系统之间的数据交互需求也日益强烈，例如，为了实现个性化定制，生产管理系统需要使用销售管理系统中的用户定制数据，两个系统一般不在同一个内存空间，因此会涉及远程过程调用（RemoteProcedureCall,RPC）的概念。其中，XML-RPC和SOAP都是基于XML格式的消息交换，而JSON-RPC是基于JSON格式的消息交换。有效数据交换的过程中就产生了大量的接口数据。采集数据的类型和方式1.采集什么数据1.4接口数据在XML语言中，它允许用户自定义标签。一个标签用于描述一段数据；一个标签可以分为开始标签和结束标签，在开始标签和结束标签之间，又可以使用其他标签描述其他数据，以此来实现数据关系的描述。主要的应用有1）XML的出现解决了程序间数据传输的问题2）XML可以做配置文件3）XML可以充当小型的数据库XML格式数据：数据交互的核心问题是信息描述的标准化，XML提供了可用于数据交换的通用标记语言，与具体的平台无关。如右图所示，用XML来表示中国部分省市信息。采集数据的类型和方式1.采集什么数据1.4接口数据JSON格式数据：JSON（JavaScriptObjectNotation,JS对象简谱）是一种轻量级的数据交换格式。它基于ECMAScript（欧洲计算机协会制定的js规范）的一个子集，采用完全独立于编程语言的文本格式来存储和表示数据。简洁和清晰的层次结构使得JSON成为理想的数据交换语言。易于人阅读和编写，同时也易于机器解析和生成，并有效地提升网络传输效率。高兼容性的JSON也非常适合工业中异构平台间数据交互的中间数据格式，如右图所示，JSON数据的书写格式为键值对。中国部分省市JSON数据示例采集数据的类型和方式1.采集什么数据1.4接口数据JSON与XML的相同之处：JSON和XML数据都是“自我描述”，都易于理解。JSON和XML数据都是有层次的结构。JSON和XML数据可以被大多数编程语言使用。JSON与XML的不同之处：JSON不需要结束标签。JSON更加简短。JSON读写速度更快。JSON可以使用数组。最大的不同是：XML需要使用XML解析器来解析，JSON可以使用标准的JavaScript函数来解析。采集数据的类型和方式1.采集什么数据1.5多媒体数据工业现场会有大量的视频监控设备，这些设备会产生大量的视频数据。图像数据主要是工业现场各类图像设备拍摄的图片（如巡检人员用手持设备拍摄的设备、环境信息图片）。音频数据主要是语音及声音信息（如操作人员的通话、设备运转的音量等）。采集数据的类型和方式2.如何采集数据2.1人工录入手动数据采集指通过人工方式进行原始数据的录入，再通过工控终端或其他可操作采集设备上传数据。手动输入的数据采集往往对其时间戳属性要求不好，多针对单一设备或产品的标记数据。在该项目中，手工输入数据采集多集中在现场操作人员通过工位旁的工控机进行来料呼叫、对未编码的原材料进行编码和属性录入、通过手持工业PDA下载和查看电子工艺指导文件及报工等相应人工操作环节。人工输入的数据通过工控终端机等设备，采用以太网接口，通过工业局域网上传至实时数据库内。MES及WMS等相关系统通过WebService或调用API接口等方式读取数据库内数据，实现数据的系统间传输。采集数据的类型和方式2.如何采集数据2.2半自动数据采集半自动数据采集主要指采集设备需要人工辅助或采集后需要人工校验的数据采集形式。在数字化工厂中，半自动采集方式多体现在质量数据的采集，例如：人工通过游标卡尺采集端盖尺寸数据，再通过蓝牙传输到对应终端上；电机装配线螺丝组装工位，通过电子扭矩枪人工对螺丝扭矩进行扭矩采集；原材料到货入库，人工通过扫码枪读取货物二维码信息，通过工控终端录入WMS系统等。在半自动采集方式中，往往数据的采集及传输都是自动完成，但是采集的方式需要人工进行辅助。采集数据的类型和方式2.如何采集数据2.3全自动数据采集全自动数据采集主要是针对自动设备端的生产或状态数据进行全自动的采集、上传、分析等，是数据采集系统中最主要的一类数据采集形式。（1）通过传感器采集传感器是一种检测装置，能感受到被测量的信息，并能将检测感受到的信息，按一定规律变换成为电信号或其他所需形式的信息输出，以满足信息的传输、处理、存储、显示、记录和控制等要求。在生产车间中一般存在许多的传感节点，24小时监控着整个生产过程，当发现异常时可迅速反馈至上位机，可以算得上是数据采集的感官接受系统，属于数据采集的底层环节。传感器布置举例采集数据的类型和方式2.如何采集数据2.3全自动数据采集（2）协议数据采集全自动数据采集还包括针对生产设备内PLC的控制信号及部分传感器信号。很多关键设备均采用PLC控制。针对这些设备，数据采集是通过采集PLC控制信号来实现的。PLC控制信号主要包括校拟量信号和开关量信号。校拟量主要是指生产设备在设备各种状态下的实时瞬态值，例如开机、关机、待机、报警等状态。还有一部分是设备在生产过程中产生的实时状态值，例如电机加工中的浸漆绝缘设备需采集的参数包括电流、电压、功率等，以及加工工艺中的温度、负压、时间等工艺参数。PLC控制信号