轻松理解复合事件处理

1、轻松理解复合事件处理这篇文章希望用浅显易懂的方式，介绍一个最近曝光率开始增加的技术领域：复合事件处理（Complex Event Processing ，CEp。有人将它翻译成"复杂事件处理”，但我认 为“复合”或许比“复杂”更恰当一些。人肉CEP什么是复合事件处理？先看一些生活化的例子。其实你每天都在做人肉CEP只是你不知道而已。所谓人肉 CEP就是通过各种感知器官，将感觉汇集到大脑，经过综合判断得到 一个更具有意义的事件。在这个事件被判定出来之后，你可能会想要为此采取因应之道。为加强说明，我推出了三个人肉CEP范例：个人版、企业版、家庭版 。先看个人版！皮肤感觉温度下降是一个基础

2、事件（ Base Event）或称简单事件（Simple Eve nt）。耳朵听到远方传来的雷声、眼睛看到闪电，都是基础事件。集合以上 基础事件，得到一个复合事件：快要下雨了。于是，你的因应之道是：收衣服或者出门要带 伞。接着看企业版！身为公司领导，你看到员工经常有一堆事没做完， 居然还在上班时间上 网偷菜。于是你得到一个复合事件， 就是：这是一个不负责任的员工。 你的处理方式就是将 他辞退。最后看家庭版！这个版本有点儿童不宜。老公老说要加班，身为老婆的你心里狐疑：哪 有公司这么常加班的？回家后发现他在外面洗过澡，身上有肥皂味道，但他又否认。帮他整理衣服发现衣服上有一根长头发，而且不是你的。最

3、糟糕的是，他对你性趣缺缺。帮老公接手机时，电话那头神秘不出声。因为这种种迹象，你得到一个复合事件：老公有外遇了。不 过，CEP有误报警的可能。为了避免误报警导致夫妻间无谓的争端，你应该先找侦探跟踪老 公，求证外遇是否属实，再决定作何反应。看了这些例子，现在应该能了解 CEP系统的大致作用了：先捕获各种细微的事件 （基础 事件），然后通过分析整理，找出更有意义的事件（复合事件），最后决定采取什么行动。 其中事件的分析整理以找出更有意义的事件，正是CEP的核心，也是最困难的地方。IT-CEP下面我们来看看IT领域的CEP这是一个IT事件爆发的时代，各种IT系统之间或系统内部， 每天产生大量事件。

4、系统 在关键点打日志、系统之间交流信息，都是事件。但我们对这些事件往往视而不见，当成垃圾一股脑儿全扔了。其实只要处理得当，垃圾也可以变成资源。大致上，CEP可以帮助我们：? 了解趋势? 发现机会? 避免威胁业界普遍将CEP应用在：? 商业活动监控（BAM? 发掘群众智能? 避免网络攻击? 预防金融犯罪? 实施系统动态校验其他支付宝大量使用 CEP用于防止犯罪（如网络诈欺、网络攻击、洗钱）和资金损失，并了 解各种业务的现状、协助营销。支付宝使用外部厂商的CEP系统，也自行开发 CEP系统。目前知名的 CEP产品来自Tibco、IBM、Oracle、StreamBase、Sybase等。微软也即将

5、 推出名为 StreamInsight 的CEP产品。很有意思的是 StreamBase与StreamInsight 这两个CEP产品名称，刚好是 CEP的三个关键字：Stream、Base、In sight。同时具备这三点才能算是CEP这三个关键字的意义解释如下:Stream连续不间断 实时处理Base资料量大数据库In sight有用的信息 智能CEP关键技术CEP的关键过程包括：? 格式化：将外部事件转成内部能处理的格式；? 预处理：将事件依据字段内容进行处理；? 模式侦测：将数个事件之间关联起来，找出复合事件;? 事件发派：将复合事件发送到相应的处理模块；? 报警：对严重的事件进行处置

6、。dB 0图1 CEP关键模块如图1所示，CEP系统中比较关键的模块有八个，分别是：1. EPL解析器：在CEP系统中，描述如何将基础事件合成复合事件的语言，称为EPL（事件处理语言）。EPL需要被解析成 CEP引擎能理解的语言。2. 规则管理：管理 EPL。3. 事件接入：通过 SOA ESB MOM读取日志等方式将消息接入。4. 预处理：将事件依据字段内容进行处理。5. CEP引擎：找出事件关联。6. 数据模型：维护内部数据。7. 事件发派：将已经发现的复合事件发派到负责处理的行动模块中。8. 行动模块：对复合事件采取行动。此外，CEP系统的辅助工具有：? 规则制作工具? 报表输出工具?

7、实时仪表板上述的八个CEP关键模块中，有四个值得详细说明：EPL解析器、预处理模块、CEP规则引擎、数据模型。EPL是用来描述复合事件的语言，会被EPL解析器处理，成为内部可以使用的规则。EPL许多都扩展自SQL（微软的扩展自LINQ）,底层的数据模型都是数据库，所以EPL解析器做的就是将EPL转成SQL通常会使用到数据库的Trigger、Stored Procedure等机制。预处理模块会将事件送进 CEP引擎之前预先做处理， 包括字段过滤、字段填入、事件过 滤、事件分流、事件合流等。请注意：预处理过程一定需要读取事件内容，然后根据事件内 容做处理（但不会将事件关联起来，因为这是CEP引擎的

8、工作）。建议这个模块内部采用管线（pipeline ）的架构方式，使用上会更灵活。图2复合事件规则引擎表示例最后来看最重要的两个模块： 规则引擎与数据模型。 现在的CEP规则引擎几乎都采用数 据库表当做底层数据模型。事件会先进入数据库，一定时间（或数量）之后进行检查，若符 合规则，就找到了复合事件，将此复合事件放进另一个表中。以图2为例，外部事件根据类型的不同，分别被放进 A、B C三个表中。A与B表可以侦测出复合事件，放进 D中。C与 D表可以侦测出复合事件，放进 E表中。期贰分翳床上筝第忤爲广段現即图3规则分解示例图3所示，要找到一个有用的复合事件，必须把规则写成许多片段的规则， 像是河流的 上下游，渐渐汇集成最终有用的复合事件。 有些CEP系统允许事件逆流而上，更具有使用上 的弹性。何时扫描数据库表？ 一般支持定量扫描或定时扫描。扫描事件的方式分滑动或跳跃（也称为批处理）。滑动会连续进行，跳跃则是将事件分批处理。一般来说，滑动方式较耗费计 算资源。支付宝总督CEP总督系统是支付宝全新打造的一套CEP与一般CEP最大的差异是，底层不是数据库，而是状态机。其他CEP系统往往有这些缺点：无法（或难以）描述相当复杂的复合事件；事件格式受到资料库表schema的限制，无法自由扩展；需要大量的存储。总督CEP以状态机引擎为核心