船舶大数据物联网数据挖掘研究

1、船舶大数据物联网数据挖掘研究 摘要:海上监测平台通过传感器网络获取大量的海洋环境数据和船舶航行数据，由于作业平台的网络不稳定，数据来源广、类型多，不便于管理，因此，设计合理的船舶数据平台管理系统有重要意义。本研究充分结合物联网技术和传感器融合技术，对船舶大数据平台的数据管理和数据挖掘进行了系统的研究，并设计了一种聚类数据挖掘算法和数据挖掘引擎。 关键词：大数据台；物联网；传感器融合；数据挖掘 海上船舶监测平台通过采集海域内船舶航行信息和海上气象信息，为海上交通管理和船舶导航提供关键信息。由于海上监测平台的工作环境恶劣，易受到台风、海浪等气象环境的影响，且监测平台的数据采集量大，网络传输不稳定。

2、因此，海上船舶监测平台的数据管理系统必须具有稳定的网络传输性能和数据存储能力1。本文详细介绍了海上船舶监测平台的数据采集网络和数据管理系统，并基于物联网技术设计了一种数据挖掘算法和数据挖掘引擎。 1船舶大数据平台的数据采集网络研究 近年来，随着计算机技术和信息技术的高速发展，智能化设备、物联网等技术在船舶工业的应用越来越广泛，船舶监测平台采集、分析和处理数据的能力越来越强，数据的规模和类型也呈指数式增长。在海上船舶监测平台上，为了获得全面的海域内船舶和航线信息，必须建立覆盖范围大的数据采集网络，如图1所示。数据采集网络的节点分为传感器节点、汇聚节点、管理节点等不同类型，信息的传输基于IEEE8

3、02.11协议。该数据采集网络具有组网方便、功率损耗小、成本低等优点，在该网络的覆盖范围内可以实现船舶航行速度、位置、气象条件等信息的准确采集。 2基于船舶大数据平台的物联网数据挖掘研究 2.1船舶大数据平台的数据管理系统。海上船舶监测平台的数据管理方案为：基于IEEE802.11协议建立数据传输通道，使多个船舶监测平台与数据服务器之间实现数据的快速传输，并将监测平台的多元异构数据流2自动处理和保存。此外，船舶大数据平台充分结合云计算和物联网技术，设计了数据平台监测系统，提高了数据传输和数据处理的效率。图2为船舶大数据平台的数据管理系统结构与组成。船舶大数据平台的数据管理系统包括以下几个单元：

4、1）硬件管理单元数据管理系统的硬件管理单元主要功能为采集和分析海洋平台的相关运行参数、传感器网络的类别与型号、数据传输网络的协议管理等，保障船舶大数据平台的硬件正常运行。2）用户管理单元用户管理单元主要负责对大数据平台终端的用户进行管理与协调，并根据不同用户的分类级别授予不同的数据库访问权限，同时，用户管理单元还可以针对某些特定用户组进行数据库的访问限制，提高数据库系统的安全性。3）监测与维护单元数据库管理系统的监测与维护模块可以调整平台的监测方案和内容，审查和修改用户访问数据库的权限。4）数据传输管理单元数据传输管理单元主要负责管理数据平台的信号传输过程，对数据采集网络中的传感器节点进行数据

5、格式的升级。此外，传输管理单元还可以通过压缩数据，提高数据传输的效率。5）输入、输出管理单元该单元的功能包括输入数据的格式解析、关键信息提取、数据储存路径选择等，对传感器网络的数据融合有重要意义。2.2数据挖掘算法。数据挖掘是发现新知识的重要环节，通过建立合理的挖掘模型和算法，数据挖掘技术可以进一步提取数据库中的有用信息。常见的数据挖掘模型包括分类挖掘、聚类挖掘、决策树挖掘等，不同的数据挖掘算法侧重的数据挖掘类型各不相同。本文针对船舶大数据平台的特点，采用了经典的EM算法进行数据挖掘3，具体如下：首先，假定EM算法含有m条d维的数据集合，数据挖掘的终止阈值为。第1步，对于每条数据记录x，计算x

6、从属于h聚类概率如下式：p(x)=p(x)fv(xx=Dh)ni=1p(x)fv(x)。第2步，根据聚类概率更新混合模型如下式：P(x)=x=Dp(x)xx=Dp(x)，h=x=Dp(x)(xh)x=Dp(x)，h=1，2，.n。|L(p)L(p第3步，计算终止条件)|，（L（t）为阈值函数）如果符合，则算法结束。EM数据挖掘算法的迭代过程可用图3表示。2.3船舶大数据平台的数据挖掘系统引擎设计。为了提高船舶大数据平台的数据挖掘水平，本文一方面改进了基于物联网的数据管理系统，另一方面设计了新型的数据挖掘引擎。引擎是数据挖掘技术的核心，良好的数据挖掘引擎有助于改善数据挖掘的效率，快速完成数据的集

7、群配置、分析等工作。本文在设计数据挖掘引擎时，主要考虑两部分设计要求：其一，数据挖掘引擎必须具有优异的数据处理能力；其二，挖掘引擎具有友好、易用的用户接口。本文设计的数据挖掘引擎层次结构主要包括引擎层、用户层和中间层3部分。1）引擎层本文基于Linux开发环境下的Spark集群，设计了数据挖掘的引擎层，并通过Zookeeper配置集群的项目管理，对Kalfka、Flume等数据格式有良好的输入输出接口4。2）中间层中间层的功能包括远程数据调用管理、RPC管理等。中间层节省了大数据平台的数据挖掘任务远程提交过程，可实现任务的本地调用，提高了大数据平台的工作效率。3）用户层用户层位于数据挖掘引擎的最上层，直接与用户进行交互。本文在设计用户层时，采用Python编程语言和HTML插件，设计了一种人机交互性良好的用户界面。 3结语 随着计算机技术和物联网技术的迅速发展，海上船舶监测平台的数据管理系统迎来了重要的技术革新。本文针对海上监测平台的网络不稳定、数据来源广、数据类型多等问题，设计了一种基于物联网的数据管理系统