(计算机软件与理论专业论文)应急案例多维时空分析与挖掘平台研究及应用.pdf_第1页
(计算机软件与理论专业论文)应急案例多维时空分析与挖掘平台研究及应用.pdf_第2页
(计算机软件与理论专业论文)应急案例多维时空分析与挖掘平台研究及应用.pdf_第3页
(计算机软件与理论专业论文)应急案例多维时空分析与挖掘平台研究及应用.pdf_第4页
(计算机软件与理论专业论文)应急案例多维时空分析与挖掘平台研究及应用.pdf_第5页
已阅读5页,还剩53页未读 继续免费阅读

(计算机软件与理论专业论文)应急案例多维时空分析与挖掘平台研究及应用.pdf.pdf 免费下载

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

中文摘要 近年来,随着应急领域信息化的不断发展,应急部门积累了大量突发事件信 息资源。但是,很多应急部门对信息的处理还基本停留在增删改查、统计等传统 功能上,对数据的智能化分析能力极其有限,使得隐藏在数据背后的规律和知识 不能被有效识别,影响了应急资源配置、应急业务执行的效率和效果。如何有效 的实现突发事件大量数据的深层次分析是应急部门面临的很大挑战。本文围绕天 津市消防局应用项目展开,针对应急案例信息资源中所面临的数据挖掘和知识发 现问题提出一套解决方案。 首先,本文设计了一个基于g o o g l e g i s 和l i f e r a y 的突发事件多维分析与挖 掘平台架构。架构采用层次结构设计,从上至下依次分为表示层、应用和算法层、 核心服务层、数据标准化层以及事件资源层五个层次。表示层是使用、访问平台, 开发业务应用功能的窗口;应用和算法层包含标准应用模块和基础算法模块;核 心服务层通过抽象出与资源管理相关的功能模块,提供与应用无关的各种服务; 数据标准化层为整个平台提供标准统一的数据环境;事件资源层作为整个平台的 基础为上层提供所需的突发事件多维数据资源。这五个层次上下衔接,组成一个 不可分割的整体。 其次,构建突发事件多维时空分析与挖掘平台,并实现平台多维时空分析与 挖掘的主要功能,包括突发事件本体建模、数据访问应用开发,平台f - j p 实现, 异构数据标准化、集成函数开发,核心服务开发等。 最后,本文使用消防历史数据将平台模型转化为实际应用项目,并在天津消 防部门火灾案例分析与挖掘中投入使用,最终本文通过实例讲解方式,对平台的 运行效果进行描述。 关键词:突发事件数据库,数据挖掘,本体,g o o g l e g i s a b s t r a c t w i t ht h ec o n t i n u o u sd e v e l o p m e n to fi n f o r m a t i o nt e c h n o l o g y , t h ee m e r g e n c y d e p a r t m e n t sh a v ea c c u m u l a t e dal a r g en u m b e ro fe m e r g e n c yi n f o r m a t i o nr e s o u r c e s , b u tm a n ye m e r g e n c yd e p a r t m e n t ss t i l lr e m a i ni nt h et r a d i t i o n a lf u n c t i o n si nh a n d l i n g o fi n f o r m a t i o n ,s u c ha sa d d ,d e l e t e ,a n ds t a t i s t i c s a sar e s u l t ,t h eh i d d e nk n o w l e d g eo f t h ed a t ac a n n o tb ee f f e c t i v e l yf o u n d ,a n dt h ee m e r g e n c yo p e r a t i o ne f f i c i e n c yw a s a f f e c t e d h o wt oe f f e c t i v e l ya n a l y s i st h ee m e r g e n c yd a t ai sag r e a tc h a l l e n g et h a tt h e e m e r g e n c yd e p a r t m e n t sa r ef a c i n g i nt h i sp a p e r , w ew o r kf o rt h ep r o j e c to ft i a n j i n f i r ef i g h t i n g a g e n c y , a n dp r e s e n tas o l u t i o n t om e e tt h er e q u i r e m e n t so ft h e s p a t i a l t i m ed a t am i n i n g a tf i r s t ,w e p r o p o s e d as p a t i a l t i m ed a t a m i n i n g a r c h i t e c t u r eb a s e do n g o o g l e g i sa n dl i f e r a y t h e r ea r ef i v el a y e r s ,w h i c ha r ee x p r e s s i o nl a y e r , a p p l i c a t i o n a n da l g o r i t h ml a y e r , c o r es e r v i c el a y e r , d a t as t a n d a r d i z a t i o nl a y e ra n dr e s o u r c el a y e r , a c c o r d i n gt ot h ea r c h i t e c t u r et or e a l i z et h ed e s i g n e x p r e s s i o nl a y e ri sap o r t a l ,w h i c h a l l o w su s e r st oe x p e r i e n c ep o w e r f u li n t e r o p e r a b i l i t yw i t ht h es p a t i a l - t i m ed a t am i n i n g p l a t f o r m ,a n dd e v e l o pn e wa p p l i c a t i o n s a p p l i c a t i o na n da l g o r i t h ml a y e rd e p l o y sa l l k i n d so fa p p l i c a t i o nt o o l sa n da l g o r i t h m sp r o v i d e db yp l a t f o r m c o r es e r v i c el a y e r e x t r a c t sv a r i o u ss e r v i c e sb e i n gi n d e p e n d e n to fm i x e da p p l i c a t i o n sf r o mf u n c t i o n m o d e l s d a t as t a n d a r d i z a t i o nl a y e rp r o v i d e sau n i f i e dd a t ae n v i r o n m e n tf o rt h ee n t i r e p l a t f o r m a st h eb a s eo fw h o l ep l a t f o r m ,r e s o u r c el a y e rp r o v i d e sn e e d e dr e s o u r c et o t h ea b o v el a y e r s s e c o n d l y , t h i sp a p e r i n t r o d u c e st h ee s t a b li s h m e n to fam u l t i - d i m e n s i o n a l s p a t i a l t i m ed a t am i n i n gp l a t f o r m ,a n dt h ei m p l e m e n t a t i o np r o c e s st ot h i sm o d e l , i n c l u d e st h ea p p l i c a t i o n so fe m e r g e n c yc a s ea c c e s sa n do b s e r v i n gd a t aa c c e s s ,t h e d e v e l o p m e n to fp l a t f o r mp o r t a la n di n t e g r a t e ds e r v i c e sf u n c t i o n s ,s t a n d a r d i z a t i o no f h e t e r o g e n e o u sd a t a ,t h ed e v e l o p m e n to fc o r es e r v i c e s f i n a l l y ,b a s e do nt h ew o r ka b o v e ,t h i sp a p e ri n t r o d u c e sa l la p p l i c a t i o nw i t ht h e e m e r g e n c yd a t af r o mt i a n j i nf i r ef i g h ta g e n c y ,a n dw eu s ean u m b e ro fi n s t a n c e st o d e s c r i b et h er u n n i n gr e s u l t s k e yw o r d s :e m e r g e n c yi n f o r m a t i o nr e s o u r c e s ,d a t am i n i n g ,o n t o l o g y , g o o g l e g i s i l - 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果,除了文中特别加以标注和致谢之处外,论文中不包含其他人已经发表 或撰写过的研究成果,也不包含为获得苤壅盘鲎或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 k - , 学位论文作者签名:罕卞磊 签字同i i -弦,甲 年月,同 学位论文版权使用授权书 本学位论文作者完全了解鑫鲞盘鲎有关保留、使用学位论文的规定。 特授权苤鲞盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索,并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名: 车吝磊 导师签名: 签字日期:? r 年歹月,日签字同期:日 第一章绪论 1 1 问题的提出 第一章绪论 1 1 1 突发事件应急案例面i 临的挑战 随着我国对应急领域探索的不断深入,应急案例深层次的数据挖掘和知识发 现,曰益成为人们关注的焦点。近年来,我国不断完善信息技术在应急领域的应 用,先后建成了很多应急应用系统,并在突发事件应急处置过程中起到巨大的辅 助作用。这些应用系统实现的一些重要功能就是对应急案例信息资源共享、分析 与挖掘。 公共突发事件的应急案例资源丰富,这些信息通过遍布在全国的应急指挥部 f - j ( 如:1 l o 、l1 9 、1 2 0 ) 进行收集,由各个应急指挥中心通过分析与处理,并 将得到的结果用于辅助以后的突发事件指挥。但是,很多应急部门对信息的处理 还基本停留在增删改查、统计等传统功能上,对数据的智能化分析能力及其有限, 使得隐藏在数据背后的规律性不能被有效识别,影响了应急资源配置、应急业务 执行的效率和效果。如何有效的实现突发事件大量数据的深层次分析的是应急部 门面临的很大挑战。 1 1 2 互操作的多维层面 应急指挥调度系统需要处理多个相互操作的层面,包括:时间模式、空间模 式、类型模式等互操作。 应急案例信息中数据格式异构现象普遍存在。以现有的数据为例,天津市 1 1 0 、1 1 9 、1 2 0 突发事件数据的存储格式包括文本文件格式、x m l 文件格式、 数据库( 数据库也各不相同) 格式等,这给应急案例数据共享带来很大的困难, 也使得各模式之间的数据分析与挖掘很难深入进行。为了解决这一问题,必须采 用标准的数据转换机制。 软件平台异构现象是应急指挥系统所面临的另一个困难。在过去几十年中,应 急部门的指挥调度系统基本上是独立开发,部门之间服务相关性不高,导致整个 体系的互操作性不能充分体现,系统之间的综合效益不能充分发挥。如何建立一 个应急案例集成平台,进而集成时间、空间等模式的互操作分析与挖掘功能,是 第一章绪论 迫切需要解决的问题。 1 1 3 天津市应急案例需要解决的问题 天津应急案例多维时空分析与挖掘平台是构建在天津1 10 、1 l9 、1 2 0 应急指 挥中心之上的一套以突发事件案例展示、分析与挖掘为主的业务应用平台。在平 台设计与构建过程中,面临如下问题: 首先,天津应急案例多维时空分析与挖掘平台需要共享的数据包括天津1 1 0 、 119 、1 2 0 应急指挥中心的应急案例数据资源。这些来源于不同应急部门的数据 资源间具有很大的异构性,因此对异构数据的处理和转换必不可少。通过建立一 种数据转换与共享机制,实现对所需数据格式上的统一,平台才能进行下一步的 分析与挖掘。 其次,该平台需要对不同的应急指挥部门现有的数据进行整合,才能发挥整 体服务和互操作的优势。因此平台必须具有开放性,按照使用者的需求集成新的 应急案例数据。在添加新数据的同时,对以往的数据具有很好的兼容性。 再次,目前天津应急指挥中心的应用系统大多独立开发,其与g i s 之间的结 合并不是很完善,不能及时跟新g i s 地图与相应的功能模块,例如天津消防历史 数据分析与挖掘系统,这些应用中重复开发了许多相同的功能模块,并且缺少高 效的多维时空分析与挖掘算法。如何将高效的挖掘功能模块封装为服务,并平台 的环境中实现服务的发现、整合与调用,是平台开发的重点。 最后;天津应急部门需要一个开放的应急案例多维时空分析与挖掘平台,不 同的部门用户对平台的功能具有不同的要求,如何根据用户权限提供个性化的服 务业是平台需要考虑的问题。 1 2 研究内容与贡献 通过广泛的调研,本文将时空数据挖掘与应急案例数据库结合研究,从大量 突发事件的时间与空间方面分析,采用时空数据挖掘的方法,在参考大量国内外 资料的基础上,对应急案例时空数据的多维模式进行深入的研究、分析。 本文提出了一个应急案例多维时空分析与挖掘平台框架,该框架采用层次结 构划分,通过服务衔接的方式实现应急案例信息资源共享与数据挖掘业务的协同 操作,并通过标准应用模块和基础算法模块的整合与调用,完成某项业务功能。 本文的重点是平台的设计,平台按照层次由下至上依次为:事件资源层、数 据标准化层、核心服务层、应用和算法层、表示层。其中数据标准化层通过研究 应急案例的时间与空间模型,定义其元数据实现不同部门间时空多维数据的共享 第一章绪论 与交互。应用和算法层研究包括标准应用模块和基础算法模块,通过模块的设计 实现数据和服务的规范化调用和整合,这也是本文的主要贡献。 以应急案例多维时空分析与挖掘平台设计为基础,本文实现平台框架的主要 功能,并结合天津市消防历史数据进行平台的部署。 1 3 文章结构 本文的主要内容结构安排如下: 第一章绪论。概括文章研究的背景,实验室现有的技术基础,应急领域所面 临的问题以及本文的主要工作。 第二章 相关研究现状。介绍相关的时间与空间数据挖掘研究方向与进展,己 取得的研究成果与不足。 第三章应急案例多维时空分析与挖掘平台架构。描述了一个针对应急案例多 维时空分析与挖掘平台框架的模型,以及相关分层的主要应用和特点。 第四章 平台关键技术研究与实现。介绍应急案例的本体建模过程,以及平台 所涉及的关键技术的研究与实现。 第五章天津应急案例多维时空分析与挖掘平台。介绍平台的实现思想,各模 块之间协调工作,并以天津消防数据为例,实现了平台的应用。 第六章总结和展望。总结全文的工作,对下一步的工作进行展望。 第二章相关研究现状 2 1 数据共享技术 2 1 1 数据集成 第二章相关研究现状 随着信息技术的不断应用,数据获取能力的提高,在应急领域中突发事件的 数据量日益庞大,对于数据共享的要求与日俱增。能否将各种异构数据科学、 高效、合理的集成与共享,已经成为当前应急领域的关键问题【2 】。在应急领域异 构的数据源于各种应用程序、数据容器以及历史系统,这些数据分散的存储在不 同的应急部门与应急指挥系统中。 数据集成是实现数据共享的_ 种经典方式,其主要的方法是建立一种可以描 述各种异构数据源的概念模型,当用户对某种数据进行查询时,首先对该数据所 属的概念模型进行查找,然后根据其所属的概念模型将查找映射到具体的数据源 1 3 】。例如在应用领域中建设统一的数据模型以消除数据间的分歧,也就说用领域 中所有数据参与者达成共识的词汇对数据进行描述,从而实现与平台、开发语言 无关的数据共享。 2 1 2 本体( o n t o l o g y ) 本体论( o n t o l o g y ) 源于西方哲学,其原本是一个哲学概念,指关于存在及 其本质和规律的学说。1 9 9 1 年n e c h e s 等人把本体论引入人工智能领域,并定义 为“给出构成相关领域词汇的基本术语和关系,以及利用这些术语和关系构成的 规定这些词汇外延的规则的定义【4 j 。”1 9 9 8 年,s t u d e r 等人对本体做了深入研究, 并将本体的定义扩展为“本体是共享概念模型的明确的形式化规范说明( a n o n t o l o g yi saf o r m a l ,e x p l i c i ts p e c i f i c a t i o no fas h a r e dc o n c e p t u a l i z a t i o n ) p j ,。该定 义体现四层含义: 概念模型( c o n c e p t u a l i z a t i o n ) ,指从客观世界的概念中抽象得到的模型, 本体来源于客观世界中相互关联的概念,却又独立于具体的客观存在; 明确性( e x p l i c i t ) ,指本体所使用的概念及与概念相关的约束具有明确 的定义,而不是模糊的定义; 形式化( f o r m a l ) ,指可以被计算机识别并处理的; 共享( s h a r e d ) ,指本体体现的知识是共同认可的,是相关领域中公认的 第二章相关研究现状 概念集合,它所针对的是普遍性而不是特殊性。 在蒂姆伯纳斯李提出的语义网( s e m a n t i cw e b ) 七层模型中,本体位于第四层 的位置1 6 儿7 1 。其目标是捕获相关领域的知识,提供对该领域知识的共同理解,确 定该领域内共同认可的词汇,并给出这些词汇( 术语) 和词汇间相互关系的明确定 义【8 】。一个典型的本体定义了类( c l a s s ) 、类之间的关系( r e l a t i o n ) 及具有推理能力 的一组推理规则( 1 1 j l e s ) i 引。 2 1 3 元数据与f g d c 元数据是关于数据的数据( d a t aa b o u td a t a ) 。定义元数据的目的是为了便于 阅读数据库,理解数据库中记录的含义。本章节基于数据仓库对元数据进行定义, 用来描述数据及其环境,其相应的作用主要包括两个方面:首先,提供基于用户 的信息,例如业务描述信息的元数据能够帮助用户提供相应的数据记录信息。其 次,支持系统对数据的管理和维护,例如关于数据项存储方法的元数据可以为系 统有效的访问数据提供相应的方法i j 。 在数据仓库系统中,元数据主要支持的系统管理功能主要包括: 描述数据仓库中的数据; 定义进出数据仓库的数据; 根据业务事件抽取数据; 检测系统数据的一致性; 衡量数据质量; 可见,元数据已经成为资源发现与管理的基础。 元数据是按照一定的标准定义的,不同的类型资源所依据的标准也不相同。 例如,与地理信息有关的元数据应能够明确的描述地理图层属性的关键信息。在 各种不同的地理信息元数据标准中,比较有影响力的是美国联邦地理数据委员会 ( f e d e r a lg e o g r a p h i c a ld a t ac o m m i t t e e ) ,简称f g d c 1 1 j 。 1 9 9 0 年,美国联邦地理数据委员会( f g d c ) 成立,当时主要由1 7 为专家组成。 1 9 9 4 年8 月,该组织发布了第一版地理空间数据1 1 2 1 3 】的元数据内容标准 c s d g m ,1 9 9 7 年发布了第二版c s d g m 。c s d g m 主要是针对地理信息资源所 定义的元数据标准,其规定了三种性质的子集、实体和元素,分别是:必需的, 即必不可少的信息;一定条件下必需的,即如果当前构建的元数据包含某子集实 体或元素说明的特征,则必须具备的信息;非必须的,即可有可无的信息,由用 户决定是否将这些信息包含在元数据文件中的信息。 第二章相关研究现状 2 1 4s o a 与w e bs e r v i c e ( w e b 服务) s o a ( s e r v i c e o r i e n t e da r c h i t e c t u r e ) ,面向服务的体系架构,提供了一种标 准的编程模型,它将应用系统中的不同功能单元称为服务,并在这些服务之间定 义良好的接口,通过接口将功能模块联系起来。接口的定义独立于实现服务的硬 件平台、操作系统和编程语言,最终使得构建在不同系统中的服务可以以一种统 一和通用的方式进行交互【1 4 】【1 5 】。s o a n 艮务采用消息的机制进行通讯,并且提供 平台独立的自描述x m l 文档。 w e b 服务是s o a 架构中的基本组成单元,它是一种部署在网络上的对象,通 过消息传递的机制,w e b 服务可以被动态的发现、组织和重用。w e b 服务的调用 通过定义统一的接口来完成,接口定义所用的描述语言w s d l 是一种通过x m l 进行自描述的语言。w 曲服务实现一个中立统一的平台,由平台提供相应的服务。 具有相应权限的客户端根据服务接口描述,就能够方便的对服务进行调用l l6 j i 】7 | 。 目前,w e b f l 艮务在跨平台、跨语言的服务调用方面已经是成熟的技术,下一步它 将致力于向跨越时区和语言障碍的服务调用发展。w e b 服务的这些特点便于解决 突发事件新旧数据衔接与统一的问题。 2 2 公共突发事件的可视化表达 地理信息系统( g e o g r a p h i ci n f o r m a t i o ns y s t e m ,g i s ) 是随着地理科学、计算机 技术、遥感技术和信息科学的发展而发展起来的一个学科l l 引。g i s 以地理空间数 据库为基础,在计算机与信息科学技术支持下,对与空间相关的地理信息数据进 行采集、存储、操作、模拟和显示,同时采用地理模型分析方法,将地理位置和 相关属性有机的结合起来。进而为地理研究、综合评价和决策服务建立起一套计 算机辅助应用系统1 19 1 。g i s 的两个主要功能:显示地图或地理特征;融合空间数 据和属性数据。 由于g i s 具有交互定位,地理信息查询、统计与分析功能,g i s 被越来越多 地应用到公共突发事件可视化表达与分析中,并为公共突发事件指挥与调度提供 了强有力的可视化支持。 突发事件制图( m a p p i n g ) 是g i s 在应急领域的一个典型应用,是一种以空间 地理信息为参照,根据突发事件相关数据,以可视化形式显示、输出特定用户需 求的信息。目前,制图技术在公共突发事件分析中的研究和应用主要有: 犯罪制图( c r i m em a p p i n g ) 。例如将公安辖区内各方面的社会信息( 包含人 口密度、劣迹人员和犯罪场所等) 与地理信息结合,以数据地图为背景显示 第二章相关研究现状 1 1 0 报警点、警力分布、警卫路线部署和巡逻覆盖区域等,可以进行警力资 源指挥调度、处理各种警情。 火灾制图( f i r em a p p i n g ) 。例如将消防有关的消防场所、消防设施、消防 部门等以“点”的形式绘制消防力量分布图,在灾情出现时准确定位,调度 最合理的消防力量,并制定出到达现场的最佳路径。 疾病制图( d i s e a s em a p p i n g ) 。例如流行疾病趋势分析、医院和诊所定位、 可用医疗设施分析、疾病管理规划、传染病分布图生成,以及健康统计图的 生成等。 2 3 空间数据挖掘 空间数据挖掘( s p a t i a ld a t am i n i n g ,s d m ) 是以传统的数据挖掘为基础,结合 地理信息系统( g i s ) 、遥感图像处理、可视化技术等相关的研究领域而形成的一 个基于空间数据进行知识发现与提取学科。空间数据具有其自身本质属性,与其 他类型数据相比,空间数据属性包括位置、距离、形状、大小等内容,并且可引 申为空间个体之间的相互关系。同时空间数据具有高维数特点,使得空间数据的 比其他数据类型更为复杂1 2 0 l 。 空间数据挖掘( s p a t i a ld a t am i n i n g ,s d m ) 指的是从空间数据库中抽取隐含 的空间关系和规律,揭示空间数据库中非显式地存储的空间特征和模式,从而对 空间数据进行知识发现【2 1 1 。目前常用的空间数据挖掘方法主要有: 空间概率论方法。指通过计算空间不确定属性的概率进行挖掘空间知识的方 法。 空间统计分析方法,指对空间属性的不确定性信息进行统计分析,进而预测 空间对象属性的特征、规律等知识。例如使用空间按密度分析方法寻找空间 热点。 空间关联规则方法。指在空间数据库中挖掘空间数据属性之间的主要关联关 系,并统计分析出有用的属性关联规则。其中比较著名的是a p r i o r i 算法。 空间聚类分析方法。根据空间实体的特征进行聚类,进而发现空间属性的分 布规律和典型空间模式。例如k m e a n s 算法。 空间可视化方法。通过g i s 等制图工具将空间数据显示出来,进而帮组人们 寻找空间数据中的模式、趋势、热点现象等。 国内外空间数据挖掘所取得的成果主要有:加拿大西蒙法拉色大学计算机 系h a nj i a w e i 教授领导的研究小组,以m a p l n f o 为平台建立了空间数据挖掘的原 型系统g e o m i n e r ,实现了空间数据特征描述、空间比较、空间关联、空间聚类 第二章相关研究现状 和空间分类等空间数据挖掘方法【2 2 1 。w a n gl i z h e n 等人提出了利用划分来挖掘多 层空间关联规则的算法,并且提出空间数据挖掘等价划分树的概念,使得多层空 间关联规则的挖掘具有很大进步【2 3 1 。1 9 9 4 年,在加拿大第五届g i s 年会上,国 内武汉大学李德仁教授首次提出了“k n o w l e d g ed i s c o v e r yf r o mg i s ”,提出从 g i s 数据库可以发现包括几何信息、空间关系、几何性质与属性关系以及面向对 象知识等的多种知识。空间数据挖掘使得g i s 的有限数据变成无限的知识,能够 进行g i s 的数据精炼和数据更新,使g i s 成为智能的信息系统1 2 4 1 。 2 4 时空数据挖掘 随着时间的推移,地理现象的特征会发生不断的变化,也就是空间数据在不 同的时间表现为动态特征,如何处理g i s 中的时态信息,是目前空间数据挖掘的 研究热点。在与空间有关的过程和事件中时间和空间都是很重要的因素,分析时 间因素有利于更好地对空间的过程和事件做出预测。相对于传统数据而言,时空 数据具有高层次的二义性、自相关性、模式多样性等特点1 2 副。 时空数据挖掘是对空间数据挖掘的延伸和拓展,用来发现空间数据在空间和 时间两个方面的模式【2 6 1 。目前学术界如德国的慕尼黑大学、美国的明尼苏达大学 和伊利诺伊大学、加拿大的西蒙法拉色大学、芬兰的都赫尔辛基大学等,业界 如o r a c l e 公司等,都积极地展开了对空间和时空数据挖掘的理论、方法和工具 的研发。 时空数据模型是时空数据库和时空数据挖掘的基础。但是由于空间、时间、 属性三者之间的关系和结构组织非常复杂,比较成熟的时空数据库还没有出现, 目前研究比较有影响的时空数据模型有:时空复合模型、连续快照模型、基态修 正模型、时空立方体模型、时空对象模型和面向对象的时空数据模型【27 1 。 时空数据挖掘在突发事件应用中的研究现状主要表现为以下几点: 利用时空数据挖掘制作公共突发事件地图,分析突发事件“热点”,追溯 突发事件发生的原因1 2 8 j 。 在g i s 中增加时间信息,形成时态g i s ,及时准确地了解突发事件的特征, 为公共突发事件的分析与预测提供技术支持1 2 9 】。 采用空间数据挖掘辅助公共突发事件的调查分析【3 0 1 。 时空数据挖掘在在理论研究和应用上都有广泛的关注与尝试,并取得了一些 研究成果。但是,从总体上来说,国内外的时空数据挖掘研究还处于起步阶段, 存在许多尚未解决的难题,特别是针对大量突发事件的时空数据挖掘方面存在一 些尚待解决的问题。例如无法处理基于g i s 的突发事件分析的空间数据,突发事 第二章相关研究现状 件时空信息的可视化规范表达,针对突发事件的高效数据挖掘算法等。 2 5 本章小结 本章对应急案例多维时空分析与挖掘的发展现状进行了分析,列举了时空数 据挖掘所应用的主要技术,比较了时空数据挖掘与传统的空间数据挖掘技术的差 异与发展。本章是应急案例多维时空分析与挖掘平台设计、实现的理论基础。 第三章应急案例多维时空分析与挖掘甲台桨构 第三章应急案例多维时空分析与挖掘平台架构 本论文基于平台的思想,对应急案例进行充分调研,并结合g o o g l e g i s 、时 空数据挖掘、a j a x 等新理论和新方法,措建起一个应急案例多维时空分析与挖 掘平台,包括为新的应用提供运行环境支撑、业务框架、标准应用模块、基础算 法模块以及平台标准和规范。 3 1 平台总体架构 应急案例多维时空分析与挖掘平台内部总体架构的建立以面向服务的架构 体系( s o a ,s e r v i c e o r i e n t e d a r c h i t e c t u r e ) 为基础,结合国内外平台建设的思想, 总体架构分层模式设计如图3 - 】所示: 表小层 再磊磊尹= _ 阵蠹鬲亍2 离焉 鬻巫 一挞 = 彳i f i 一一毛芋一 格准应用蕞靛 譬# 基矗l i t 法棋婕 威j h 和 一# 。= :,# 4 一:g l 一 掉注层 * _ _ = ! 。 _e ;$ !_ e ;t = k e - 目一- t 核也 甩备崖 i 聂i 万陌葡磊面孬i 丽i 两甄 煎据杯 准化崖 萼州蚤辩层 图3 - 】应急案例多维时空分析与挖掘平台总体框架示意图 甄一 雷 甄一 窝 第三章应急案例多维时空分析与挖掘平台架构 平台从上至下各层分别为:表示层、应用和算法层、核心服务层、数据标准 化层和事件资源层。表示层是用来开发应急业务应用程序的容器,同时也是使用 和访问平台的窗口;应用和算法层集成了平台提供的标准应用模块和基础算法模 块,为平台应用程序的开发提供所需的标准函数接口;核心服务层抽象与资源管 理相关的功能模块,并提供与应用无关的各种核心服务:数据标准化层对异构数 据进行标准化处理,为平台提供统一的数据环境;事件资源层容纳了平台各种数 据信息,向上层提供所需的数据资源,是所有服务于应用的基础。 在平台的五层架构中,每一个层次都是建立在其下层所提供的服务基础之 上,上层对下层服务的调用通过平台中定义的接口实现,其并不需要知道下层服 务的具体实现细节。这种分层的设计方式,便于上层应用的开发,具有相对的独 立性,同时也是的各个层的维护与更新更加容易。 3 2 表示层 表示层是平台用户与平台交互的窗口,平台所提供的所有应用与服务均通过 表示层完成。随着平台用户的增加,其访问量将会很大,因此要求其具有较强的 并发处理能力,并能有效的解决负载均衡问题。提供一个稳定、高效、安全的表 示层( 门户) 是平台所必需的。 3 2 1 功能与应用 一、图形统计分析 图形统计分析由饼图、柱状图与函数曲线图三种图形的统计分析组成。统计 分析制图是以突发事件数据库为基础,按照预先设置的统计分析条件,采用多维 度时空分析算法对突发事件数据集进行分析、统计、分类等,然后提取制图结果。 针对突发事件,可以按照类型、区域、时间、分布等多维信息综合分析,进而发 现突发事件的时空规律,为应急指挥提供辅助决策和预测。 饼图具有一维性,将突发事件按照百分比表示出来,可以按照时间、地点、 类型等属性分别制图。柱状图具有多维性,可以按照时间、区域、类型等多维属 性制图;柱状图有横纵坐标之分,纵轴主要表示数量值,横轴属性可以时间、区 域或类型,根据平台用户的选择制作柱状图,在突发事件各种属性之间进行数量 增减和发展趋势的比较。函数曲线图同样具有多维性,纵轴表示数量,横轴可以 选取时间、区域或类型;与柱状图相比,函数曲线图可以画出多条曲线,并给每 个曲线赋予不同的颜色,进行属性间的发展趋势比较与预测。柱状图以多个柱图 的形式在突发事件属性之间进行比较,函数曲线图是属性内部发展趋势的比较。 第三章应急案例多维时空分析与挖掘平台架构 二、g i s 统计分析 g i g 统计分析包括基于“点”的统计分析和基于“区域”的统计分析,与图 形统计分析相比,g i s 统计分析完全建立在可视化数字地图之上。 “点 统计分析,将每个事件发生的时间、地点、类型等作为多维坐标系下 一个孤立的样本点。通过突发事件地址信息对点进行定位,进一步查询每个“点” 所代表突发事件的各种属性,例如发生时间、地点、事件类型、处置过程等。根 据各种要素操作点的形状及其显示与隐藏状态,可以针对数据集进行综合多维分 析。 “区域”统计分析,以区域为基本单位,每个突发事件有其相应的所属区域, 区域是事先划分好的应急部门辖区。突发事件以点的形式定位在地图上,对数据 库中的突发事件集按照区域进行批量显示。不同的区域以不同的颜色标记;同时 可以根据突发事件类型的不同,使用不同的图标标记。不同区域、类型、时间段 之间均可以制定出相互依赖的区域显示关系。利用s o l 在属性数据库中实现属性 信息的复合条件统计分析,然后将分类结果进行区域标识。 三、热点分析 所谓“热点”指的是突发事件的集中区域,热点分析的主要算法包括:区域 密度分析、k m e a n s 聚类分析等; 区域密度分析:将特定的分析区域按照网格进行覆盖,网格尺度可以人工设 定,建立突发事件到网格之间的映射,并统计不同网格单元中的事件数量,计算 各个区域中突发事件的发生频率,然后对其排序,以不同的颜色样式显示出频率 高的“热点”区域。 k - m e a n s 聚类分析:该方法应用于时间、空间数据模式分析中,根据用户指 定聚类的簇数目,计算指定时间段内事件空间区域分布情况,并按照用户指定的 阈值作为输出条件,图形化显示输出分析结果。 四、功能与数据更新 平台的更新包括平台数据更新和平台功能更新,主要通过数据更新人员和功 能开发人员完成,更新人员通过客户端浏览器,将新数据和功能上传到平台的数 据中心和功能模块,实现对数据和功能的更新。 平台数据更新是指平台管理者可以对平台中的数据进行添加、删除、修改等 操作。平台使用者将预处理之后的数据提交到平台数据中心,审核人员对新数据 的标准化、可靠性等进行审核,并将通过审核的数据在平台中予以发布,进而完 成新数据的添加。 平台功能更新是指对平台中的基础算法模块、标准应用模块以及业务功能的 更新。功能开发人员根据平台新的功能需求,调用已有的基础算法模块和标准应 第三章应急案例多维时空分析与挖掘平台架构 用模块组成新的业务功能;同时功能开发人员可以修改、添加平台的基础算法模 块中的算法,不断扩充平台的算法库。 五、平台维护 平台维护功能包括平台用户权限维护和日志维护。用户权限维护可以有管理 员设定和更改;日志维护主要通过监测与维护模块,生成系统运行监测报告,平 台更新或运行失败时,平台管理员可以选择性的还原到相对稳定的状态,从而确 保平台平稳过渡、提高使用效率。 3 2 2 平台门户 平台门户是整个平台架构的重要组成部分,直接与平台终端使用者交互,是 访问平台应用与服务的窗口。通过门户可以方便实现用户管理、数据与功能更新、 平台维护等操作。门户集成了平台的各种应用,共有四个部分组成:平台使用门 户、功能开发门户、平台审核门户、以及平台维护门户。 一、平台使用门户 平台使用门户是指为平台的分析与挖掘功能使用者所提供的界面,主要包括 数据预处理、数据提交、图形统计分析、g i s 统计分析、热点分析等。用户可以 在平台现有数据中选择所需要的数据,进行分析与挖掘。同时用户可以上传平台 中所没有的数据( 预处理之后的标准数据) ,必须通过审核人员审核与发布之后, 才能对新数据进行分析与挖掘处理。 二、功能开发门户 平台功能开发门户包括平台功能查询、新功能提交、标准应用模块调用和基 础算法模块调用,是平台提供给功能开发者的界面。平台功能开发者根据新的功 能需求,调用平台现有的标准应用和算法模块所提供的函数接口和a p i ,完成新 功能的开发;然后通过本界面将开发好的j s p 页面、功能函数和网络服务等进行 提交。 三、平台审核门户 平台审核门户包括:数据审核、功能审核、信息发布。审核人员对用户上传 的新数据、开发者提交的新功能按照其格式、可靠性进行审核与试运行,然后将 通过审核的数据与功能进行确认与发布,并对没有通过审核的给予相应的反馈信 息。 四、平台维护门户 平台维护门户由用户权限维护和日志维护界面组成,用户权限界面可以修改 用户的权限、删除特殊用户;日志维护界面可以查看平台日志信息,删除过期的 日志等。 第三章应急案例多维时空分析与挖掘平台架构 3 3 应用和算法层 应用和算法层是突发事件多维时空分析与挖掘的基础,实现算法和基础功 能,为表示层提供支撑,由标准应用模块和基础算法模块组成。基础算法模块可 以在平台新功能开发时动态调用,实现了软件的复用,用户个性化需求与功能的 快速开发。 3 3 1 标准应用模块 标准应用模块主要包括:数据预处理模块、g i s 控制模块、事务管理模块。 各模块独立存在,按照需要能够被灵活的组合,使功能得到扩展。 一、数据预处理模块 利用g e o c o d i n g 算法,实现应急案例库与g i s 系统无缝融合,将时空信息 映射到g i s 系统显示。根据用户挖掘目标的差异,允许用户选择特定区域、类型、 时间段等相关属性进行预处理,其主要实现: 与g i s 系统的数据融合,实现事件空间数据到g i s 坐标系的精确定位与 映射。 辖区自定义与选择,按照使用者的需要定义辖区和选择辖区。 时间段自定义与选择,按照用户需要定义时间段和选择时间段。 事件类型选择,根据需用户要选择事件类型,如火灾、急救、抢劫、偷 盗等。 属性字段选择,选择需要分析的相关属性字段。 此外,还完成预处理数据库中的数据异常、数据残缺等,主要包括: 数据清洗,进行数据库扫描,忽略、更正、补充相关数据。 数据规范化,按照所设定的最小、最大值规范数据。 二、基础事务管理模块 实现平台的基础事务管理,包括: 用户管理,用户注册、验证、删除、权限分配等。 日志管理,日志登陆、查看、汇总、存储等。 配置管理,支持用户的个性化设置,实现配置文件的存储、导入、编辑、 删除等操作。 三、g i s 控制模块 建立g i s 显示控制模块,集成平台各个模块所需要的地图显示基本功能,并 进行统一管理,主要包括t 图层的建立、叠加、删除等功能。 第三章应急案例多维时空分析与挖掘平台架构 图层的查看、漫游、打印等功能。 图层的颜色、纹理、样式等接口的规范化,实现对不同图层要素的设置、 编辑、修改等功能。 与用户需求相匹配的可视化扩展管理,定义地图显示模式,并根据用户 指定进行动态扩充。 3 3 2 基础算法模块 基础算法模块主要包括:g e o c o d i n g 算法、图形统计分析算法、g i s 统计分 析算法、区域密度算法、热点分析算法。一 一、g e o c o d i n g 算法 完成从应急案例数据库中自动分析、提取时间、地点信息,并将这些信息转 化为g i s 系统的精确地理坐标。另外,将其它属性按照平台标准格式进行转化, 并通过特定的颜色与形状在g i s 地图上可视化加载。g e o c o d i n g 算法还将实现高 维属性数据的显示模式控制,并提供接口,便于调用。 二、多模式时空数据统计 对用户选择的突发事件集进行基础数据的多模式统计分析,主要包括: 事件的分类统计,按照事件的所属类型进行统计,并生成事件分类报表。 事件的区域统计,按照预定义的区域( 如辖区或者街道等) 进行统计, 并生成事件区域报表。 事件的时间段统计,根据设定的时间段进行统计,生成时间段统计报表。 事件分布的平均值和偏差计算,在预设的事件类型、区域、时间段的基 础上,根据事件的空间、时间信息,分别计算指定类型的事件在空间上 与时间上分布的中心值和偏差,并输出。 带权重的事件分布平均值和偏差计算,按照用户指定的相关权重信息, 进行时空均值的计算,并输出。 最小最大值计算,根据事件发生的时空信息,计算在时间、空间上分布 的最小值、最大值,并输出。 事件发生频次计算,统计同类型事件在指定时空范围内发生的频次情况, 绘制发生频次随时间变化的关系曲线,生成统计报表。 三、热点分析算法。 该算法完成指定时间段内事件空间分布的热点分析功能,并为上层调用提供 规范接口,主要包括: 点分析模式:将每个事件发生的时间、空间、地点作为三维坐标系下的 一个孤立样本点进行分析,查找在同一时间段内在同一区域发生的事 第三章应急案例多维时空分析与挖掘平台架构 件,并根

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论