（信息与通信工程专业论文）基于复杂事件处理的rfid物品分拣系统研究与实现.pdf

摘要 摘要 在全球化进程的影响下，不同商业之间的业务活动变得越来越紧密。在现代 物流领域中，客户不仅提高了对货物运输速度的要求，也增加了服务质量的要求。 因此，商业用户对相关软件系统的要求也随之增加，主要表现在：一方面系统需 要更加迅速的事件处理能力来提高业务效率，以满足用户对响应速度的要求；另 一方面，系统需要具有分析大规模事件间复杂关系的能力，协助用户完成复杂的 业务流程。 r f i d 物品分拣系统是现代物流中一个重要组成部分，面临着同样的挑战。无 线射频识别技术的使用不仅让事件输入变得非常迅速，还大大增加了信息量，用 户进而提出了更为复杂的业务要求来处理大量信息。软件系统承受着大规模事件 输入和快速响应两个方面的巨大压力。目前采用传统技术实现的系统对数据问复 杂关系的处理能力和进行大规模数据实时处理方面十分薄弱，此外系统还存在高 耦合、低扩展和使用不灵活等不可避免的问题。 复杂事件处理是一种专门处理事件( 消息) 间关系的技术，它具有对大规模 复杂事件关系进行实时处理的能力。复杂事件处理平台有专门的事件关系建模工 具和复杂事件处理引擎。开发人员可以快速建立复杂事件间的关系模型，并付诸 实施。复杂事件处理引擎能够独立完成大规模数据的接收、存储和处理，能够以 组件的形式灵活集成到现有系统中。因此，采用复杂事件处理技术，软件系统可 以轻松实现复杂业务逻辑处理，同时系统还具有低耦合、高扩展和使用灵活等特 性。 本文在分析研究复杂事件处理技术和总结目前已有技术产品的基础上，采用 e s p e r 复杂事件处理平台，设计并实现了一个基于复杂事件处理的r f i d 物品分拣 系统。通过和原有系统的对比测试，验证肯定了复杂事件处理技术在r f i d 物品分 拣系统中的实用性。结合测试结果和实际应用需求，对系统做出改进并提出了分 布式复杂事件处理技术的应用方案。 关键词：复杂事件处理，事件处理语言，物品分拣，无线射频识别 a b s t r a c t u n d e rt h ei n f l u e n c eo fg l o b a l i z a t i o n ，d i f f e r e n tc o m m e r c i a la c t i v i t i e s b e c o m i n g m o r ea n dm o r ec l o s e l y i nt h ef i e l do fm o d e m l o 西s t i c s ，c u s t o m e r sn o to n l yr e q u i r ea h i g hs p e e do ft h ec a r r i a g eo fg o o d sb u ta l s oh i g hq u a l i t yo fs e r v i c e t h e r e f o r e , c o m m e r c i a lu s e r sm c r e a s et h er e q u i r e m e n t so fs 0 1 a r es y s t e m s ah i 曲a v a i l a b l e s y s t e mm u s tr e a c ht w og o a l s ：o n ei st h a ts y s t e mn e e d st od e a lw i t he v e n t sm o r eq u i c k l y t oi m p r o v et h eo p e r a t i o n a le f f i c i e n c yt om e e tt h en e e d so fu s e r si nr e s p o n s e s p e e d a n o t h e ri st h a ts y s t e mh a v eaa b i l i t yt oa n a l y s i sc o m p l e xr e l a t i o n s h i po fl a r g e - s c a l e e v e n t st oh e l pu s e r si m p l e m e n tc o m p l e xb u s i n e s sp r o c e s s i n g r f i d ( r a d i of r e q u e n c yi d e n t i f i c a t i o n ) i t e md i s t r i b u t es y s t e mi sa n i m p o r t a n t c o m p o n e n to ft h em o d e r nl o g i s t i c s i ta l s of a c e st h es r m ec h a l l e n g e t h eu s eo fr f i d t e c h n o l o g ya l l o wm o r er a p i d l yd a t a - i n p u ta n di n , e a s et h ea m o u n to fi n f o r m a t i o n g r e a t l y u s e r sp u tf o r w a r dm o r ec o m p l e xb u s i n e s sr e q u i r e m e n t st od e a lw i t hal a r g e a m o u n to fi n f o r m a t i o n s o f t w a r es y s t e m sa r ef a c i n gt h e s t r o n gp r e s s u r eo fb o t h l a r g e - s c a l ee v e n t - i m p u ta n dr a p i dr e s p o n s e s y s t e m sb a s e do nt r a d i t i o n a lt e c h n o l o g i e s a r en o ts og o o da tc o m p l e xa n dl a r g e - s c a l er e a l - t i m ed a t ap r o c e s s i n g m o r e o v e r , t h e r e a l es o m em 嘶t a b l e p r o b l e m sr e l a t e dt ot h es y s t e m , s u c ha s t i g h t l yc o u p l e ， l o w - e x p a n s i o na n dl e s s - f l e x i b l e , a n ds o0 1 1 c o m p l e xe v e n tp r o c e s s i n gi sas p e c i a l i z e d t e c h n o l o g yf o rp r o c e s s i n gt h e r e l a t i o n s h i pb e t w e e ne v e n t s ( m e s s a g e s ) i th a sas t r o n gc a p a c i t yo fr e a l - t i m ep r o c e s s i n g w i t hc o m p l e xr e l a t i o n s h i pb e t w e e nl a r g e - s c a l ee v e n t s i tc o n t a i n sac o m p l e xe v e n t p r o c e s s i n ge n g i n ea n ds p e c i a lm o d e l i n gt o o l sf o re v e n tr e l a t i o n s h i p d e v e l o p e r sc a n q u i c k l ys e tu pr e l a t i o n s h i pm o d e lf o rc o m p l e xe v e n t s ，a n dt h e ni m p l e m e n ti t c o m p l e x e v e n tp r o c e s s i n ge n g i n ec a nr e c e i v e , s t o r ea n dp r o c e s sl a r g e - s c a l ed a t ai n d e p e n d e n t l y , a n di m e g r a t ei n t ot h ee x i s t i n gs y s t e m si nt h ef o r mo ff l e x i b l ec o m p o n e n t s s o f t w a r e s y s t et h e r e f o r ec a ne a s i l ya c h i e v ec o m p l e xr e l a t i o n s h i pp r o c e s s i n gw i t hc o m p l e xe v e n t p r o c e s s i n gt e c h n o l o g y , w h i l et h es y s t e mw i t hl o wc o u p l i n g , h i g h e x p a n s i o na n dt h eu s e o ff l e x i b l ef e a t u r e s b a s e do nt h ea n a l y s i so fc o m p l e xe v e n tp r o c e s s i n gt e c h n o l o g ya n dc u r r e n tr e l a t e d 一 丝墨堡垒曼! _ - - 一。 s v s t 锄s ，t h ea r t i c l ed e s i g na n di m p l e m e n ta r f i di t e md i s t r i b u t es y s t e mw i t he s p e r a c o m p l e xe v e n tp r o c e s s i n gp l a t f o r m c o m p a r ew i t h t h et r a d i t i o n a ls y s t e mf r o mt e s t s u l t t h ec o m p l e xe v e n tp r o c e s s i n gt e c h n o l o g ys h o w e dah i g h e rp e r f o r m a n c e a c c o r d i n g t o t h et e s tr e s u l t sa n dr e a lr e q u i r e m e n t s ，t h ea u t h o rm a d ea ni m p r o v e m e n to ft h i ss y s t e m a n d p r o p o s e dad i s t r i b u t e dc o m p l e x e v e n tp r o c e s s i n gs y s t e m k e y w o r d s ：c o m p l e xe v e n tp r o c e s s i n g , e v e n tp r o c e s s i n gl a n g u a g e s ，i t e ms o n i r 哆 r a d i of r e q u e n c yi d e n t i f i c a t i o n i i i 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 躲逝嗍切7 年歹月) 日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：蛳导师签名： 日期：矽，j 7 年彭月e l 第一章引言 1 1 课题的背景与意义 第一章引言 本课题来源于某国际机场的航空物流自动化项目中的子项目r f i d 物品分 拣系统项目。 物流业是国民经济体系中的支柱产业，对企业的竞争力与营运成本具有至关 重要的影响，而现代航空物流信息管理系统中，最重要的问题就是如何使物流与 信息流能够同步，即数据的及时更新与反馈，例如：物品的快速自动分拣、货物 的动态库存、货柜定位以及追踪管理和库存区动态盘点等。航空物流作为物流业 中的重要组成部分，近几年的业务量不断攀升，面临着巨大的物流和信息流处理 的挑战【1 1 。 我国从上世纪7 0 年代后期开始发展航运业，n 8 0 年代末已取得巨大的发展。近 年来，航空物流持续增长，发展更加迅猛。随着经济繁荣和消费升级，我国航空 业步入了新一轮的上升周期，航空需求出现加速的增长势头。根据统计数据显示， 在1 9 8 0 年，中国航空货邮总运输量仅为8 8 万吨，而2 0 0 3 年已经达至1 2 1 9 万吨，2 0 0 4 年2 7 4 万吨，平均年增幅为1 0 ；国际航线的货邮运输量也从1 9 8 0 年的1 4 万吨增 长至1 j 2 0 0 3 年的5 1 4 万吨。2 0 0 5 年l n 月，我国民航全行业累计完成运输总周转 量2 3 7 亿吨公里、旅客运输量1 2 6 7 5 9 万人、货邮运输量2 7 4 7 万吨，分别比2 0 0 4 年 同期增长1 1 4 、1 2 7 和8 8 。据预测，全球航空货运量在未来2 0 年中的速度增 长将达到年均6 4 。亚太地区等新兴航空货运市场的增长速度将更快，根据空中 客车公司的一项调查，2 0 1 5 年亚太地区航空货运量将占全球货运量的一半以上。 据波音公司中国市场预测报告指出，中国航空运输市场将以每年7 6 的速度 增长，成为仅次于美国的世界第二大民用航空市场f 2 】。 航空物流作为现代物流业的一个关键组成部分，与各行业的发展息息相关，密 不可分。航空物流以快速、安全、方便和优质的服务及与其它交通运输方式衔接 组合为优势，正好符合现代化物流服务的基本要求，同时，现代物流服务的发展 也为航空物流提供了巨大的市场空间。 物品分拣系统是航空物流系统中最重要的环节之一。它的主要任务是把要分拣 的物品按照业务品种、种类或地址等信息进行分离，使同种类或同目的地址的物 电子科技大学硕士学位论文 品进入同一存储位置。物品分拣系统的实施目标是尽可能实现快速、高效的自动 分拣过程。其中，物品的识别方式对设备的工作效率、业务流程的复杂程度、运 营成本和业务的柔性拓展具有重要意义【引。 无线射频识别( r a d i of r e q u e n c yi d e n t i f i c a t i o n ，r f i d ) 技术是非接触式识 别技术，能够在无须人工干预的情况下自动完成对标签的识别工作，并且可同时 识别多个标签和高速运动的物体。标签具有防潮、防腐、不易损坏等特点，还能 够重复使用。射频技术由于在信息获取方面具有快速、准确和非接触的特点，在 广大的领域内具有巨大的发展潜力【4 1 。r f i d 技术最开始的应用就产生于物流领域， 如在沃尔玛超市中的运用。沃尔玛为了提高物流效率，实现商品流和信息流的同 步，在货物运输的环节中应用了r f i d 技术。r f i d 技术在物流中使用的主要特点在 于：快速识别、非接触性和数据存储容量大等方面。同时，在日本成田机场、美 国拉斯维加斯机场，已经把r f i d 应用到旅客的行李分拣领域，用于提高行李分拣 的效率和准确度。在物品分拣系统中使用r f i d 技术，可以充分发挥技术的性能特 点，实现了物品的自动化分拣作业，大大提高分拣效率和分拣过程的“可视性 ， 明显改善物流绩效和满足现代物流管理的要求【5 1 。使用r f i d 技术进行管理将为商 业用户带来以下两方面的优势：一是在物流过程中实现物流和信息流的同步；二 是r f i d 技术的采用能够推动物流的全球化整合。 目前，r f i d 技术广泛用于物流行业中，随着信息化的规模和深度逐渐扩展加 深，同时还有大量传感器网络的使用，使得物流行业的现代信息系统处理的数据 日益剧增。传统上的信息系统是把数据作为静态对象来处理，只专注于数据库技 术方面。过去的处理方式是在所有相关数据都被采集后，才进行分析工作。这种 方法已经远远不能满足实时处理的需求。架构在传统数据库的数据采集、存储和 查询方法上的信息系统，只有当信息被存入数据库，索引被建立以后，数据才能 通过查询操作进行处理，才可以根据特定的数据模式获取想要的查询信息。这样 一来，当数据量达到每秒上千条的时候，数据库将忙于存储数据和建立索引而无 法及时响应查询请求。为了克服这种瓶颈，数据库系统被迫对数据进行批量存储 的操作，但这又会导致失去实时性，无法对发生的事件尽快做出响应。这里问题 的根源就在于数据库是设计用来对数据进行历史存储，是“过去式 ，而和现在 系统的实时性需求相矛盾。同时，大规模的数据间也不是独立存在的，在应用环 境中，复杂的业务操作都是基于这些数据完成的【6 】。因此，人们提出了即能实时处 理这些大规模数据，又能同时处理数据间复杂关系的研究课题。在相关研究的推 动下，出现了复杂事件处理技术( c o m p l e xe v e n tp r o c e s s i n g ，c e p ) i t l 。该技术 2 第一章引言 把数据还原为基本的事件，以动态的方式处理事件的发生，并在事件间建立关联 模型。复杂事件处理技术采用以数据库相反的处理过程，首先储存并索引查询条 件，然后让事件流经查询条件，检测数据是否满足查询条件，并作出响应。这样 的事件检测过程是连续不问断的，和数据库的一次性查询有很大的区别。复杂事 件处理技术的使用，使应用系统具有了实时处理大规模数据间复杂关系的能力【3 】。 基于r f i d 技术的现代信息系统环境中，信息量的规模和复杂度已经不可同日 而语，依靠现有的数据库技术和数据管理技术很难实现高效的r f i d 事件检测和处 理。因此，把复杂事件处理技术运用到现代物流系统中，通过对r f i d 信息的事件 化处理，可以实现简洁、高效的业务处理，通过对事件间复杂关系建模，还能有 效地支持事件监控、事件预警等先进应用【9 】。 1 2 国内外研究现状 物品分拣技术随着物流业的发展，大致经历了以下几个阶段： ( 1 ) 人工分拣阶段。早期因为技术落后，物品的分拣基本上是靠人工实现的。 人工方式需要使用大量的劳动力，同时效率很低，很难满足大规模生产的要求。 ( 2 ) 机械化分拣阶段。随着科学技术的发展，大量传输装置和机械设备出现， 并应用到了物品管理及分拣过程中。物品分拣系统中通过传送带系统进行物品的 运输，利用各种电器装置实现设备间的相互控制。 ( 3 ) 自动化分拣阶段。计算机技术的引入使分拣系统进入到自动化控制阶段。 通过计算机、数据采集设备、机械设备的控制器和服务器之间的连通，产生了自 动化的管理系统。通过该系统，大大减少了人工的参与度，实现了物品分拣过程 的自动完成，极大提高了生产效率。 ( 4 ) 网络化阶段。跨行业的物流过程开始使用统一的物品识别标准，所以信息 系统能够对每个物品的状况、位置等信息进行实时的监控，实现物品的追踪和溯 源。物品分拣系统逐渐融入到物流网络化的过程中。在这个阶段中，物品的识别 技术起到了至关重要的作用。 目前世界上的自动分拣系统普遍采用二维条码和三维条码作为物品信息的载 体，通过对条码的识别获取物品的相关信息【1 0 1 。以条码作为信息载体的物品分拣 作业流程复杂，需逐件扫描才能进行信息获取，因此工作效率低。r f i d 技术的出 现后，由于其快速的非接触式识别特性，在现代物流系统中被广泛的应用【l i 】【1 2 】。 物流行业的快速发展，对信息化技术的要求也越来越高，特别是提高了对信 3 电子科技大学硕士学位论文 息系统的要求。随着信息技术的发展，物流自动化领域的工作重点转向了物品的 控制和管理。信息自动化技术逐渐成为物流自动化技术的核心。如何实现在计算 机之间、数据采集设备之间、机械控制器之间以及它们与上层应用系统之间进行 及时有效的信息沟通成为重点解决的问题。 信息自动化服务已经在电子政务、金融、零售、能源、交通、电子制造、地 理信息服务等行业和领域广泛应用。以i b m ，m i c r o s o f t ，o r a c l e 和b e a 等为首的计 算机业巨头们，都推出了各种各样的技术，如面向对象的框架设计、中间件、面 向服务的体系结构( s e r v i c e - o r i e n t e da r c h i t e c t u r e ，s o a ) 和事件驱动架构 ( e v e n t - d r i v e na r c h i t e c t u r e ，e d a ) 等。 s o a 是一个组件模型，它将应用程序的不同功能单元( 称为服务) 通过良好的 接口和契约联系起来。接口是采用中立的方式进行定义的，它应该独立于实现服 务的硬件平台、操作系统和编程语言。这使得构建在框架之上的服务可以一种统 一、通用的方式进行交互。s o a 的应用使软件系统变得更加灵活，具有运行过程 中改变业务的能力。s o a 凭借其松耦合的特性，使得企业可以按照模块化的方式来 添加新服务或更新现有服务，以解决新的业务需型b 】。 e d a 允许将系统中的所有事件发布到一个中央事件处理服务器上，然后由感兴 趣的应用从此处进行订阅。产生事件的过程或服务本身无需考虑各方应用的接口， 否则，会给该特定应用的执行带来压力。各种应用系统只要遵循e d a 的接口标准， 就能实现对事件的发布和订阅。它为实现更灵活的业务组合方式提供了基础【1 4 1 。 e d a 可以看做是对s o a 功能的扩展。e d a 系统在具体实现上基本依靠w e b s e r v i c e 技术，实现各个模块之间的通信和交互。各w e b s e r v i c e 通过s o a 的u d d i 进行统一管 理，展现出s o a 对e d a 的基础性作用。e d a 以事件管理中心为枢纽，把事件作为模块 之间的联系的纽带。e d a 的各模块之间具有非常松散的耦合性，是对s o a 特性的进 一步深化引。 但是随着信息系统应用的规模越来越大，以及网络和分布式系统的发展，系 统面临着越来越多的挑战。一方面，系统中产生和输入的事件数量、种类和速度 都在急剧增加，同时又要求系统对各种事件做出及时的响应。另一方面，系统如 何在大量的输入事件中，抽取出各个应用层次所需要的有意义的事件，协助用户 更好的做出判断和决策，成为了急需解决的技术难点。这些需求促使了复杂事件 处理技术的产生。 现代事件处理技术起源于上世纪9 0 年代初期，当时加利福尼亚州科技学院的 m a n ic h a n d y ，剑桥大学的j o h nb a t e s 和斯坦福大学的d a v i dl u c k h a m 都在分别进 4 第一章引言 行独立的学术研究【l6 】。这些研究起初的重点是开发一种处理事件流的方法，检测 在时间或空间上存在限制的复杂事件序列，进一步挖掘出事件间所蕴含的内在意 义。随着研究的不断深入和外部应用需求的出现，2 0 0 0 年，发布了最早的两个可 商业运用的复杂事件处理技术的产品：i s p h e r e s 和a p a m a 。在此之后，大量的商业 和学术成果涌现出来。复杂事件处理技术包括事件模式的识别【1 1 7 1 、事件过滤【l 引、 事件流处理，事件层次和事件间的关系处理等等。 复杂事件处理技术出现后，与中间件、s o a 和e d a 等技术相结合，为已有技术 带来了强大的复杂事件处理的能力。同时，也迅速的开始了在实际应用中的使用。 1 3 本文要解决的问题及主要工作 r f i d 物品分拣系统已经在一定范围内开始实施，其应用正随着全球物流的网 络化而逐渐扩张。r f i d 物品分拣系统是整个物流过程中的一个重要环节，在物流 集散过程起到了核心的支撑作用。所以该系统的执行效率和性能对物流的影响至 关重要。目前已有的系统大部分都基于传统技术实现，如面向对象的设计方法、 中间件技术和数据库技术等。但由于传统技术的不足，使得系统存在一些无法克 服的困难： ( 1 ) 处理数据间复杂关系困难 r f i d 物品分拣系统中需要处理大量汇聚的r f i d 数据，并从这些数据中检测出 用户关系的事件，如业务监控、异常监控等。原有的r f i d 物品分拣系统在处理复 杂业务逻辑方面显得非常力不从心。每个复杂关系处理的功能模块都要进行程序 的编写。复杂的业务逻辑处理过程直接转化为核心代码的运行逻辑，很难满足业 务的增长需求。随着数据量和用户需求的增长，系统中处理的复杂业务逻辑也会 随之改变或增加。原有系统的实现方式缺少足够的灵活性来满足未来的需求变化。 ( 2 ) 大规模数据处理困难 如果采用数据库系统进行数据的维护和处理，那么数据的操作过程中将存在大 量的i o 操作，导致无法满足一些实时性很强的应用环境中。目前，在一部分系 统的实施过程中，为满足实时性的要求，没有采用数据库系统，而是直接把数据 缓存在内存中进行处理。这种方式虽然能够满足快速的响应要求，但需要由开发 人员编写专用的数据操作、管理和维护功能，大大增加了开发的难度。 ( 3 ) 系统扩展性不高，开发代价大 采用传统技术实现的r f i d 物品分拣系统的设计和开发过程相当复杂，功能模 5 电子科技大学硕士学位论文 块间的耦合性很高。当需求变化时，功能模块的修改或增加就会影响到核心的代 码，不仅造成了程序的维护困难，同时也影响到已有模块的稳定性。代码的修改 困难，导致了系统在需要扩展新的功能时，存在较大的阻碍。 复杂事件处理技术的出现，为解决上述困难带来了新的思路和方法。它不仅 把复杂关系处理和实时大规模数据处理两大功能集于一身，而且还以更加简单和 灵活的方式实现了复杂业务逻辑的处理。复杂事件处理技术采用以数据库相反的 处理过程，首先储存并索引查询条件，然后让事件流经查询条件，检测数据是否 满足查询条件，并作出响应。复杂事件处理技术的使用，使应用系统具有了大规 模数据实时处理的能力。 本文在此背景下，开展了基于复杂事件处理的r f i d 物品分拣技术研究与应用 工作，主要内容如下： ( 1 ) 对r f i d 物品分拣系统进行了分析，讨论了传统技术实现的系统中的缺点 与不足。 ( 2 ) 对复杂事件处理技术进行了研究，分析了该技术的特点和优势。根据传 统技术实现的r f i d 物品分拣系统的不足，讨论了复杂事件处理技术在r f i d 物品分 拣系统中的适用性。 ( 3 ) 结合复杂事件处理技术的特点，设计并开发了基于复杂事件处理的r f i d 物品分拣系统。 ( 4 ) 设计了测试方案，对基于复杂事件处理的r f i d 物品分拣系统进行了功能 和性能两方面的测试，验证了该系统的适用性。同时，和传统技术实现的系统进 行了性能的比较，并讨论了实验结果。 ( 5 ) 依据测试结果，讨论了基于复杂事件处理的r f i d 物品分拣系统的改进和 分布式应用的方法。 课题的创新点是复杂事件处理技术在r f i d 物品分拣系统中的应用研究。 1 4 本文组织结构 第一章引言。主要介绍本文所研究课题的相关背景、意义和研究现状等。 第二章复杂事件处理技术分析。分析和总结了复杂事件处理技术的原理、应 用特性和优点。 第三章基于复杂事件处理的r f i d 物品分拣系统设计与开发。根据传统技术实 现的r f i d 物品分拣系统的不足，讨论了复杂事件处理技术在r f i d 物品分拣系统中 6 第一章引 言 的适用性。结合复杂事件处理技术特点，设计和开发了基于复杂事件处理的r f i d 物品分拣系统。 第四章基于复杂事件处理的r f i d 物品分拣系统测试。设计了系统测试方案， 对基于复杂事件处理的r f i d 物品分拣系统进行了功能和性能两方面的测试，验证 了该系统的适用性。同时，和传统技术实现的系统进行了性能的比较，并讨论了 实验结果。 第五章系统改进与分布式运用研究。讨论了基于复杂事件处理的r f i d 物品分 拣系统的改进和分布式应用的方法。 第六章总结。总结了本文的研究成果，阐述了本文的创新点以及以后还需要 改进的工作。 7 电子科技大学硕士学位论文 第二章复杂事件处理技术分析 随着信息化的规模和深度逐渐扩展加深，尤其是r f i d 技术、传感器网络技术 的大量使用，现代信息系统处理的数据量日益剧增。传统的把数据作为静态对象 的处理方式已经远远不能满足高速处理网络的需求。大规模的数据间蕴含的意义 正受到广泛的关注。因此，人们开始把数据还原为基本的事件，以动态的方式处 理事件的发生，并在事件间建立关联。复杂事件处理技术的使用，使应用系统具 有了大规模数据处理的能力。 2 1 复杂事件处理技术 复杂事件处理技术是一种处理信息的新技术。它把处理的基本信息定义为事 件，允许用户指定自己所关心的事件，例如底层网络数据传输的事件，或者上层 企业管理系统的操作事件。这些都取决于用户的角色和观察点。事件间还具有各 种各样的关系，多个简单事件可以组成复杂事件，多个复杂事件又能组成“更 复杂的事件。复杂事件处理技术能够灵活的检测事件间复杂的关系，为不同的用 户需求实现不同事件意义的挖掘【1 9 】。 2 1 1 历史发展 现代事件处理技术起源于上世纪9 0 年代初期，当时加利福尼亚州科技学院的 m a n ic h a n d y ，剑桥大学的j o h nb a t e s 和斯坦福大学的d a v i dl u c k h a m 都在分别 进行独立的学术研究。这些研究的焦点是开发一种处理事件流的方法，检测在时 间或空间上存在限制的复杂事件序列。例如，在2 0 分钟内，事件a 后发生了事件 b ，紧接又发生事件c ，并且任意两个事件的发生地的距离不超过五公里。系统可 以检测到这些复杂模式的结果，并做出响应，如发出警告，直到检测到另一个事 件d 在5 秒内发生。 2 0 0 0 年，发布了最早的两个可商业运用的复杂事件处理技术的产品：由c h a n d y 领导开发的i s p h e r e s 2 0 】( 后被a v a y a 收购) 和b a t e s 与g i l e sn e l s o n 共同开发的 a p a m a 引】。与此同时，学术机构也在积极开展广泛的研究。斯坦福大学成立了 s t r e a m 2 2 】项目组，麻省理工学院、布朗大学、布兰迪斯大学合作成立a u r o r a 2 3 1 研 8 第二章复杂事件处理技术分析 究团队。 2 0 0 2 年，l u c k h a m 发布了第一本关于事件处理的书籍：t h ep o w e ro fe v e n t s ： a ni n t r o d u c t i o nt oc o m p l e xe v e n tp r o c e s s i n gi nd i s t r i b u t e de n t e r p r i s e s y s t e m s 。该书全面系统的介绍了复杂事件处理的技术。2 0 0 3 年，另外两令商业化 的产品诞生，即分别来自于s t r e a m 项目和a u r o r a 项目的c o r a l 8 2 4 1 和 s t r e a m b a s e 2 5 1 。 之后，无论是在学术研究领域还是商业领域又相继涌现出大量的技术产品。 大学研究中比较具有代表性的有加州大学伯克利分校的t e l e g r a p h c o 2 6 1 。商业产品 有a p t s o f t 2 7 1 ， b e as y s t e m s 和e s p e r t e c h 2 8 1 。目前，复杂事件处理技术已经进 入到蓬勃发展的阶段。复杂事件处理技术的研究目的，也即该技术的特点是： ( 1 ) 大规模数据间复杂关系的处理； ( 2 ) 具有实时处理的能力。 2 1 2 事件的定义 事件可以认为是实际生活中发生的一件事情，包括事物状态和事物之间的某 些动作。事件是一个很广泛的概念，在通常意义上指那些值得注意的事的发生。 比如物品位置的改变，r f i d 读写器扫描到一个标签的信息，货物到达港口，自然 界中发生的事件比如一个闪电的产生，或者是社会上发生的一件事比如一场战争 的爆发等。在计算机系统的范畴内，事件被定义成“状态的一次有意义的改变一【2 9 】。 比如当一个客户购买了一辆汽车之后，汽车的状态从“待售变成了“售出 。汽 车经销商的软件系统会把这个状态的改变当成事件输入，去侦测、产生、发布并 由软件系统中的各种应用程序根据需求处理这个事件。 事件对象指用来表示、编码或记录一个事件的对象，通常是为计算机处理的 目的而定义【3 0 j 。事件对象是对事件的一种表达；计算机系统正是通过处理事件对 象这种事件的表达形式来处理事件的。事件本身是唯一且不可变的，而多个事件 对象却可以记录同一个事件。事件对象的例子有股票报价信息用来汇报一次股票 的交易，如：“b u y1 0 ，0 0 0s h a r e so fi b ma t $ 8 0 4 5 ”和一条r f i d 读写器读入 的汇报消息，如：“r f i dt a g1 2 1 1 9 1 8 1 8w a ss c a n n e da t1 ：3 9 p ma td o c kd o o r 1 0 一等等。 在复杂事件处理过程中，“事件通常用来指代“事件对象”，即它不仅具有 日常生活中广义的事件的内涵，也同时代表计算机系统中处理的事件对象( 或消 9 电子科技大学硕士学位论文 息) 。因此，在本文后续的章节中将直接使用“事件 这一名词，用于业务描述和 系统设计过程。 2 1 3 事件的关系 事件之间存在着各种各样的相互关系，这些关系使事件相互联系在一起，包 括时间关系、因果关系、层次关系、聚合( 组合) 关系等。时间关系和因果关系可 以决定事件之间的偏序。聚合关系也叫组合关系，它是一个事件对一个事件集合 的总结、代表或指示关系。通过聚合后，事件间就产生了聚合的层次关系。 简单事件( 或基本事件) 指的是那些不能再分割的事件，不能由其他事件抽象 而成的事件。相对应的，复杂事件( 或组合事件) 就是由两个或多个事件抽象而得 到的事件，那些被聚合的事件被称为成员事件，如图2 - 1 所示： 二级复杂事件 一级复杂事件 简单事件层 回 t 7 i 困 厂 曰曰曰回 图2 - 1 事件聚合示意图 事件之间存在以下几种基本关系： 1 0 第二章复杂事件处理技术分析 时间顺序关系 事件之间，依据发生时间的不同，而具有时间顺序的关系。 因果关系 对于完整的过程，初始状态的事件都视为原因，结果状态的事件视为果。由 于一个事件的发生，决定了另一个事件的产生，二者之间就存在了因果关系。 层次关系 事件和事件之间存在层次关系，视具体的应用情况所决定，例如浏览器的运 行中，网络中数据包的传输是底层事件，网页中文字的显示是上层事件。事件的 层次关系都具有相对性。 聚合( 组合) 关系 事件和事件之间，都存在聚合关系，即简单的事件聚合形成复杂的事件。同 一个简单事件有可能是多个复杂事件的共同的成员事件。 2 1 4 事件处理语言 目前，很多应用系统都推出了自己的事件处理语言( e v e n tp r o c e s s i n g l a n g u a g e s ，e p l ) 3 1 1 。事件处理语言是复杂事件处理技术的重要组成部分，它主 要任务是协助用户定义事件间的关系和对事件的处理行为。当用户使用e p l 完成 对业务中所有事件的处理模型后，就由复杂事件处理平台的核心事件处理引 擎，根据e p l 实例进行事件的检测和处理。 用户能够方便的使用e p l 语言定义自己所感兴趣的事件处理方式。目前已开发 的e p l 语言的研究方向都不尽相同，一个主流的方向是修改传统数据库中使用的 s q l 语言。传统的s q l 语句操作的对象是数据表，通过s e l e c t ，f r o m 和w h e r e 等 子旬，能够实现相关的不同表格中数据的查询。类s q l 的e p l 语言，基本借用了 s q l 语句描述形式，只是处理的对象不再是数据表格，而是一个个发生的事件。每 一个事件都具有不同的属性，就和数据表中的列相似，不同的是一个数据表中存 在多行的数据，而事件只有一个。采用这种e p l 语言的c e p 系统工作方式和传统 关系数据库相反，它先储存并索引查询条件，然后让事件流经过查询条件，自动 检测数据是否满足查询条件。如果满足条件的事件发生，就作出响应。这样的事 件检测过程是连续不间断的，和数据库的一次性查询正好相反。另外的一些e p l 则使用了全新的语法进行描述。各种事件处理语言都具有一些共同的特点：支持 事件的处理方式，能够检测事件的时间顺序、因果关系、聚合等复杂关系，并且 电子科技大学硕士学位论文 支持事件模式的处理。 2 1 5 应用领域 在大多数存在数据流的领域都可以使用事件处理技术，或者用于改进原有的 处理方式。例如金融系统、网络管理、传感器环境等方面。只有计算机专家和各 个领域的专家一起努力，才能使复杂事件处理技术更好的运用于实践中。 复杂事件处理在众多领域中得到应用。最主要的应用是业务活动监控，让用 户实时地获得并分析重要的业务指标。金融系统中可以实时的对金融数据进行模 式分析和检测，自动的完成特定复杂业务的处理。网络监控中可以随时跟踪网络 的运行状态，检测各种正常与恶意的行为。当网络发生故障时，能够快速的定位 到最初发生错误的原子事件。随着技术的发展，复杂事件处理的应用开始涉及到 更多的行业。在供货链和零售自动化方面，它能够帮助人们快速简单的实现供货 链问题，比如“当商品订单下达时，货物没有在l 小时内发出，则通知管理人员 。 或更复杂的问题，如“当某种货物单日库存减少幅度超过一定数量时，根据其最 近一段时间内的消耗量和未来的需求，调整该种物品的采购量并通知发货。 同时， 随着r f i d 技术和传感器技术的大量使用，现代计算机系统处理大量甚至海量数据 的情景越来越多，这也为复杂事件处理技术的使用创造了巨大的空间。 2 2 相关技术产品介绍 d a v i dl u c k h a m 在其研究工作中，曾开发过一个具有根据“检测表 进行事件 处理的工具。功能包括实时计算一个事件中包含的数据，对简单的事件模式进行 检测和反应，对事件数据流的处理，还能够检测和处理复杂的事件模式。之后， 这些特性就转变为一个复杂事件处理平台所应具有的特点，但并非所有这些功能 都必须实现。除了具有上述的功能外，一个成熟的平台还应该具备高可用性、优 化功能和可扩展性。 高可用性意味着该系统具有极高的正常运行时间，支持长时间持续性的数据 处理。提供高效的维护数据管理系统的方法，特别是事件处理系统。在大规模数 据处理过程中，需要处理快速，无数据丢失。 优化功能是事件处理系统中一个非常重要的功能。用户总是希望系统的响应 时间能达到实时或接近实时的标准。但系统资源有限，为达到响应迅速就必然会 影响到其它的功能。数据丢失是难于容忍的，但又不可避免。正因为如此，系统 1 2 第二章复杂事件处理技术分析 应该具有处理丢失数据和不完整数据的功能，同时还要有良好的q o s ( 服务质量) ， 以保证重要数据的完整性。优化功能应该能够根据用户的需求，在不同的性能等 级间进行选择，保障服务的质量。 可扩展性需要系统能够适应不同的应用环境，处理来自不同数据源的大规模 数据，并能保持高速的处理能力。有多种方法来处理可扩展性，最有效的是事件 转发器和事件处理器。 下面将介绍一下目前比较知名的复杂事件处理产品。 2 2 1c o r ai8 c o r a l 8 分为两个组成部分：服务器和工作台。服务器是核心部分，可以运行 于w i n d o w 、l i n u x 和u n i x 等多种操作系统之上。支持服务器的集成功能，以实现 更高性能的使用。另外一个特点是能够发布服务器活动状态信息，以供外部对服 务器的运行情况进行监控。同样支持通过工作台直接对服务器上的事件进行处理， 可以对进出的事件流进行查询、增加和删除等操作。管理员同样能够使用工作台 监控服务器和应用组件的运行情况。事件描述语言用的是连续计算语言 ( c o n t i n u o u sc o m p u t a t i o n a ll a n g u a g e ，c c l ) 。c c l 是c o r a l 8 系统开发的基于 s q l 的事件处理语言。c c l 除了具备基本事件的处理的能力外，还能实现过滤器、 模式匹配和聚合等复杂操作。对于事件复杂关系的处理，c c l 语言提供了窗口、时 间序列逻辑和事件连接等功能。另外，c c l 集成了基本的s q l 的功能，这样，c e p 系统就能通过标准的s q l 语句访问外部的数据库，实现对r d b m s 的无缝集成。工 作台提供用户界面直接使用c c l 语言进行事件操作。c o r a l 8 支持c c + +