毕业论文（设计）-物联网数据挖掘模型的研究

1、物联网数据挖掘模型的研究摘耍在这篇论文中，我们提到了四种物联网数据挖掘模型，分别是多层数据挖掘模 熨、分布式数据挖掘模型、基于网格的数据挖掘模型和多层技术集成角度的数据挖掘模型。 其中，多层数据挖掘模型包含四层：1）数据收集层，2）数据管理层，3）事件处理层，4） 数据挖掘服务层。分布式数据挖掘模型可以解决数据存放存不同地点的问题。棊于网格的数 据挖掘模型使网格框架实现数据挖掘功能多层技术集成角度的数据挖掘模型描述了未来网 络的相应框架。并口讨论了一些iot数据挖掘的重要问题。关键词物联网，数据挖掘模型，rfid技术一、介绍物联网（iot）是下一代网络，包含上万亿节点来代表各种对象，从无所不在

2、的小型传 感器设备，掌上的到人型网络的服务器和超级计算机集群23o它是继电脑和网络革命z后 的乂一场科技革命。它集成了新的计算和通讯技术（如传感器网络，rfid技术，移动技术, 实时定位，普遍存在计算和ipv6等）和建立下一代互联网的发展方向。iotibm公司提 出的智能星球的核心。物联网的智能对象（如传感器输入、制动器等）可以通过基于新信息 和通讯技术的网络来通信。s. haller等人提出了如下的定义：“它是这样的一个世界，物理对象可以无缝集成到 信息网络，并h-可以成为业务流程的积极参与者。服务可以在网络屮影响到这些'智能对象'， 找到他们的国家以及与他们向关联的任何问题

3、，并能考虑到安全和隐私问题。”刘教授从技术和经济的角度提出了对于iot的想法：“从技术的角度上讲，iot是传 感器网络的集成，包括rfid和无所不在的网络。从经济的角度來看，这是一个开放的观念, 集成了新的相关科技和应用，产品和服务，生产和市场。”物联网将会产生人量的信息。让我们举一个例子，将超市引入一个采用rfid技术的供 应链。rfid数据的原始形态是这样的形式：epc,地点，时间。epc代表了一个rfid读者阅 读的唯一标识；地点是读者的位置；时间是阅读发牛的时刻。这需要18个字节來储存一个 rfid记录。一个超帀，大约有700000个rfid记录。所以如杲这个超帀每秒都有读者在浏览,

4、那么每秒大约产生12.6gbrfid数据流，每天将达到544tb的数据。因此，发展有效的思想 去管理、分析、挖掘rfid数据是非常必要的。物联网数据可以分成儿种类型：rfid数据流、 地址/唯一标识、描述数据、位置数据、环境数据和传感器网络数据等1。它将给物联网的 管理、分析、挖掘数据带来冃人的挑战。二、相关研究作为互联网的全新范例，对丁物联网的研究还处于初级阶段。1=1前，有些物联网数据 挖掘的研究，主要包括以下三个方而：一些研究集中于管理和挖掘rfid数据流。例如，hector gonzalez等人提出一个存储 rfid数据的新奇模型，能保护对彖转变同时提供重耍的压缩和路径依赖总量。rfi

5、d立方体 保持了三个表：（1）信息表，能储存产品的路径依赖信息，（2）停留表，保存了数据所在位 置信息，（3）地图表，存储川于结构分析的路径信息。hector gonzalez等人采川流程图去 表示商品的运输，并且还可以用它來多维分析商晶流。在参考文献6, hector gonzalez等人 提出种压缩概率工作流，可以捕捉运动和重要的rfid流动异常。elio masciari研究rfid 数据流的孤立点挖掘。一些研究偏好于提问、分析和挖掘山各种iot服务产生的对象数据运动，例如，gps装 置,rfid传感器网络,网络雷达或卫星等。比如说,xiaolei li等人提出一个新的框架,称 为漫游，

6、川于移动物体的异常检测。在文献10, jae-gil lee等人对运动目标的轨迹孤立点 检测开发了一种分割检测框架。jae-gil lee等人也提岀了名为traclass的新的轨迹分类思 想，利用基于地区的和基于轨迹的分层聚集。在文献11,对于运动目标的轨迹聚集提出了 一个划分聚集框架。其他研究是传感器数据的知识发现。传感器网络有几个特征，例如，有限的资源，容易 调配的传感器，免维护，多层跳跃和人量数据等。所以传感器网络的数据挖掘有的特 征。joydeep ghosh12提出了一个一般的概率框架，在计算/记忆/电力限制约束下的监督性 学习。betsy george等人13提出时空传感器模型（s

7、tsg）去模拟和挖掘传感器数据。stsg 模型能够发现不同类型的模式：位置异常模式，在每个时段集屮定位和节点的未来热点。 parisa rashidi等人14开放了一种对于传感器数据类型挖掘的新奇的口适应挖掘框架，以适 应数据的变化。尽管i0t对于数据挖掘的很多贡献，但都主要集屮于i0t的基本内容，如传感器网络、 rfid等。作为一个全新的网络范例，i0t仍然缺乏模型和理论来指导其进行数据挖掘。三、物联网数据挖掘模型1、i0t多层数据挖掘模型根据i0t式样和rfid数据挖掘框架15,我们提出了下面的i0t多层数据挖掘模型，如 图1,将其分为四层：数据收集层、数据管理层、事件处理层和数据挖掘服务

8、层。其中，数据收集层采用一些设备，例如rfid阅读器和接收器等，來收集各种智能对象 的数据，分别是rfid流数据、gps数据、卫星数据、位置数据和传感器数据等。不同类型 的数据需要不同的收集策略。在数据采集过程中，一系列问题如节能、误读、重复读取、容 错、数据过滤和通讯等，都应被妥善解决。数据管理层适用丁集中或分布式的数据库或数据仓库区管理收集的数据。在廿标识别、 数据抽象和压缩后，一系列数据被保存在相应数据库或数据仓库。例如rfid数据，原始的 数据流格式是epc、位置、吋间，epc被标记为智能对象的id。数据清洁后，我们能获得包 含记录停留表有这样的形式（epc、位置、进入吋间、离开吋间）

9、。之后我们利用数据仓库去 储存和管理相关数据，包括信息表、停留表和地图表，称作rfid体。基t rfid体，用户可 以方便的在线分析处理rfid数据。另外，也可以采jij xml语言去表述i0t数据。智能对象 可以通过物联网数据管理层相互连接。事件是数据、时间和其他因素的整合，所以它提供高水平的i0t处理机制。事件处理层 有效地川于分析i0t事件。因此我们可以在事件处理层实现基于事件的提问分析。将观察到 的原始时间过滤后，就可获得复杂事件或用户关注的事件。然后我们可以根据事件集合、组 织和分析数据。数据挖掘服务层建立在数据管理和事件处理的棊础上。各种基于对象或基于事件的数据 挖掘服务，分类、预

10、测、聚类、孤立点检测、关联分析或类型挖掘，都提供给应用。比如: 供应链管理、库存管理和优化等。这一层的建立模式是服务至上。数据挖掘服务层ii数据数据挖掘v7数据管理层知识初级事件事件检测4事件过滤数据收集层ii2、iot分布式数据挖掘模型跟一般的数据相比，iot数据有自己的特色。例如，iot数据总是大规模的、分布式的、 吋间相关的和位置相关的。同吋，数据的来源是各异的，节点的资源是有限的。这些特征带 来了很多集中数据挖掘式样的问题。起初，大量的iot数据储存在不同的地点。因此，通过 中央模式很难让我们挖掘分布式数据。第二，iot数据很庞大需要实时处理。所以如果我们 采用中央结构，硬件中央节点的

11、要求非常高。第三，考虑到数据安全性、数据隐私、容错、 商业竞争、法律约束和其他方面，将所有和关数据放在一起的战略通常是不可行的。第四， 节点的资源是有限的。将数据放在屮心节点的策略没有优化昂贵资源传输。在人多数情况下, 中心节点不需要所有的数据，但是需要估计一些参数。所以我们可以在分布式节点屮预处理 原始数据，再将必要信息传送给接收者。iot分布式数据挖掘模型不仅可以解决分布式存储节点带來的问题，也将复杂的问题分 解成简单的问题。因此，高性能需求、高存储能力和计算能力都降低。在木文中，我们提出 了 iot分布式数据挖掘模型，见图2。triana数据流编辑器和管理人|基于网络的客户数据挖掘网格

12、客户纽件资源 代理信息服务数据 服务数据挖掘网格高水平服务数据仓库，数据挖掘应用（系统、工具、算法）软件和硬件资源传感器网络、无线传感网络rdif标签.rdif wsan.阅读器等图2： iot分布式数据挖掘模型在该模型中，全局控制节点是整个数据挖掘系统的核心。它选择数据挖掘算法和挖掘数 据集合，之后引导包含这些数据集合的辅助节点。这些辅助节点从各种智能对象收到原始数 据。这些原始数据通过数据过滤、数据抽象和斥缩进行预处理，然后保存在局部数据仓库。 事件过滤，复杂事件检测和局部节点数据挖掘获得局部模型。根据全局控制节点的需要，这 些局部模型受控于全局控制节点并.聚集起来形成全局模型。辅助节点互

13、相交换对象数据、 处理数据利信息。基丁联合管理机制的多层代理控制着整个过程。3、iot基于网格的数据挖掘模型网格计算是新型的计算设备，能够实现异构、大规模和高性能应用。同iot,网格计算 受到来自工业和研究机构的关注。网格的棊本理念就是同电力资源一样利用网格计算资源。 各种计算资源、数据资源和服务资源都可以被存取或便捷使用。iot的基本理念是通过互联 网连接到各种御能对彖。如此解能对彖变得聪明、环境敏感且远程合用。所以我们对以认为 智能对象是一种网格计算资源，使用网格数据挖掘服务去实现iot数据挖掘操作。p. brezany等人19提出-种叫做gridminer的基础设施，它支持分散式的在线分

14、析处理 和数据挖掘。在文献中20, a. congiusta讨论了设计方而和服从wsrf网格服务的实施选择。 在木文中，根据stankovski, v.等人提出的数据挖掘网格21,我们提出了基于网格的i0t数据挖掘模型,如图3。问答器nid标签传感器标签gpsid标签传感器标签 gps图3：基于网擀的iot数据挖掘模型基于网格的iot数据挖掘模型为网格数据挖掘的不同是硬件和软件资源的一部分。iot 提供多种类型的硬件，如rfid标签、rfid阅读器、wsm. wsan和传感器网络筹。它也提 供了多种软件资源，如事件处理算法、数据仓炸和数据挖掘应川等。我们可以充分利用网格 数据挖掘的髙水平服务，

15、和iot数据挖掘客户。4、iot多层技术集成角度的数据挖掘模型物联网是下一代互联网发展的重要方向。同时，还有很多新的方向，例如可信网络、无 所不在的网络、网格计算和云计算等。因此，从多层次技术集成的角度出发，提出了相应的 iot数据挖掘模型，如图4。在该模型中，数据来口环境敏感的个人、智能对象或环境。采用128位的ipv6地址， 并且提供各种无所不在的方式去访问未来网络。例如：内部网/互联网、fttx/xdsl、传感器 设备、rfid、2.5朋g移动访问等。信赖控制平台保证数据传输的信誉和可控性。在此基础 上，我们完成了数据挖掘工具和算法，并提交了各种知识服务型的应用，如智能交通、只能 物流等

16、。丰富的服务型应用图4： iot多层技术集成角度的数据挖掘模型四、iot数据挖掘模型关键问题1、从iot押能对彖收集数据当我们从御能对彖进行数据收集时，需耍考虑御能对彖的特殊耍求。例如，如果我们想 从分布式传感器网络收集数据，就应考虑网络效率、可扩展性和容错性。一系列策略，如区域数据集合可以采川。因此，传输数据的数量会减少，利川能源的传感器节点将提升。在文 献12,为了调节传感器网络数据挖掘过程中目标和冲突，joydeep ghosh在计算、电力、记 忆的限制之下，提出了一个一般概率框架。2、数据抽象、压缩、索引、聚集和多维查询物联网将会产生大最的智能对象数据。因此，有必要考虑如何有效地管理i

17、ot数据以及 如何便捷执行在线分析和处理。智能对象数据都有口己的特点：（1）iot环境中，rfid和传 感器等设备会产牛大量数据流；（2）智能对象数据可能是不准确的，而且通常是时间相关和 地点和关。（3）智能対象数据往往有自己的隐含语义。这些特点提出了对于iot数据管理和 挖掘的新要求。关键问题包括：（1）智能对象识别和寻址：在iot中，会有成千上万的智能对象实体。为了查找和连接这些智能对象，实现对智能对象的识别和寻址是很有必要的。（2）数据抽彖和压缩°应开发有效的方法过滤冗余数据。（3）iot数据存档、索引、对扩展性和访问控制。（4）数据仓库和查询语言的多维分析。（5）互连性和io

18、t异构数据的语义理解。（6）时序水平和事件级数据集合。（7）管理iot数据的隐私和保护问题。3、事件过滤、聚集和检测事件过滤和复杂性事件处理川来处理数据屮的简单事件。整个处理过程包括以下步骤。 首先，根据事件聚集数据。原始事件被过滤，有价值事件被保超。z后，这些简单的核心事 件都被纳入复杂事件。因此，我们町以通过检测复杂爭件來检测相应业务逻辑。例如tai ku 等人17提出了一种新的事件挖掘网络來检测rfid应用，并且运用rfid技术定义了供应链 事件管理的基木概念。4、集中式数据处理和挖掘与分布式数据处理和挖掘的比较在不同的场合，要灵活运用集中或分布式数据处理和挖掘模型。让我们以分布式传感网

19、 络为例，在有限节点的计算、存储、电力限制下，将全部数据传送给汇点的策略并没有优化 昂贵能源的传输。事实上，大多数情况下不需要所有的原始数据，而是着重于一些参数的价 值。5、iot数据挖掘算法的研究基于iot数据管理和事件处理，关键问题是学习新的iot数据挖掘算法。主要工作包括 分类、预测、聚类、孤立点检测、关系分析、空间和时间模型挖掘。例如，chen zhuxi等人 16提出了 rfid应用的频繁闭合冋路挖掘算法。elio masciari研究了从rfid数据流进行孤 立点检测。6、下一代互联网数据挖掘下一代互联网有很多潜在的发展方向:ipv6技术、无所不在的网络、可信网络、语义 网、网格的

20、（语义网格、数据网格和知识网格）、而向服务的应用、光传输和云计算等。下 一-代耳联网，新技术将融入iot。因此，很多新的数据挖掘问题需要深入研究。例如，从iot 基于语义的数据挖掘，基于网格的数据挖掘和服务型数据挖掘等。五、总结及今后的研究作为下一代互联网的重要发展方向，物联网吸引了工业和学术界的关注。iot数据有很 多特征，例如分布式存储，大量时间相关和地点相关数据以及有限节点资源等。这些都使iot 数据挖掘成为一项极具挑战性的任务。在木文屮，我们提出了四种物联网数据挖掘模型，分别是多层数据挖掘模型、分布式数 据挖掘模型、基于网格的数据挖掘模型和多层技术集成角度的数据挖掘模型。其屮，多层数

21、据挖掘模型包含四层（数据收集层，数据管理层，事件处理层和数据挖掘服务层）。分布式 数据挖掘模型可以较好的解决数据出现在不同地点的问题。同时，通过复杂问题被分解，中 央节点的高性能要求、高存储能力和高运算能力会随z降低。基丁网格的数据挖掘模型采川 网格框架去实现数据挖掘功能。多层技术集成角度的数据挖掘模型描述了未来网络的相应框 架。并且讨论了一些iot数据挖掘的重要问题。未来研究工作的可行性包括：a）研究各种数据挖掘算法；b）完善基于网格的数据挖掘系 统和相应的算法。致谢本文部分受到中国国家自然科学基金批准号10876036和70871111下的支持。此外， 亦某种程度上也受到浙江大学宁波理工学

22、院基础科学研究的支持。参考文献1 cooper j, james "a. challe nges for database man ageme nt in the inter net of things/ iete tech rev. 2009. 26:320-9.2 s haller; s. kar no uskos, and c schroth, "the in ter net of thi ngs in an en terprise context/ future internet systems (fis), lcns, vol. 5468. springer; 2

23、008, pp. 14-8.3 zhang lin. "school of management, zhejiang university, prof. liu yuan: the business scale of communications between smart objects is tens of times the scale of communications between persons/ scienee times 2009.11.16. (in chinese)4 hector gonzale乙 jiawei han, xiaolei u, diego kl

24、abjan. “ warehousing and analyzing massive rfid data sets/ icde 2006: 83.5 hector gonzalez, jiawei han, xiaolei li. "flowcube: constructuing rfid flowcubes for multi-dimensional analysis of commodity flows/ vldb 2006: 834-8456 hector gonzalez, jiawei han, xiaolei li. "mining compressed com

25、modity workflows from massive rfid data sets/ cikm 2006: 162-171.7 xiaolei li, jiawei han, sangkyum kim, hector gonzalez. “ roam: rule- and motif-based anomaly detection in massive moving object data sets/ sdm 2007.8 elio masciari. "a framework for outlier mining in rfid data/ 11th internationa

26、l database engineering and applications symposium (ideas 2007), pp.263-267, 20079 jae-gil lee, jiawei han, xiaolei li, hector gonzalez: z/traclass: trajectory classification using hierarchical region-based and trajectory-based clustering/ pvldb 1(1): 1081-1094 (2008)10 j.-g. lee, j. han, and x li. &

27、quot;'trajectory outlier detection: a partitiod-detect framework/ proc. 24th int'l conf, on data engineering, pagesl40-149, cancun, mexico, apr. 2008.11 jae-gil lee, jiawei han, kyu-young whang. "trajectory clustering: a partition-and-group framework/ sigmod 2007: 593-604.12 joydeep gho

28、sh"a probabilistic framework for mining distributed sensory data un der data shari ng con strai ntsfirst in ter natio nal workshop on kno wledge discovery from sensor data. 2007.13 betsy george, james m kang, shashi shekhar. "spatio-temporal sensor graphs (stsg): a data model for the disco

29、very of spatio-temporal patter ns/ i ntell data anal. 13(3): 457-475 (2009).14 parisa rashidi and diane j cook. "an adaptive sensor mining framework for pervasive computing applications/ 2nd international workshop on knowledge discovery from sensor data, 2008.15 joshua huang. (2009) "rfid

30、data mining: opportunities and challenges/ online. available: .c n/wdzhao/rfid.html.16 chen zhu-xi, hu kong-fa, et al. ,zfrequency mining closed path algorithm based in the modern logistic management system/ computer integrated manufacturing systems, 15(4) 2009 (in chinese)17 tai ku, yunlong zhu, kun yua n hu. "a no vel complex eve nt mining n etwork for monitoring rfid-enable application/ 2008 ieee pacific-asia workshop on computational in telligence and in dustrial applicatio n. 2008.18 ju chunhua"research on distributed data mining model for data stream of