实时流数据处理技术与应用_v0.3

实时流数据处理技术与应用 实时流处理技术概述普元CEPStorm相关案例介绍中国银联国家电网中国航信上海移动安徽电信 数据分析技术分类 实时数据流处理技术 通过主外键分多次查询 通过MapReduce和分布式并行处理 实时数据流分析技术定位 提取 状态的变化 避免时间处理平台 数据库化 与内存数据库 关系型数据库 HadoopMap Reduce的融合业务规则的拆分与级联 流数据处理技术对比传统规则引擎 概念 按时间区间 按长度区间 按时间与长度混合区间 按特有属性值等规则所建立起的对象集合 存放在内存中 若动画中 再对已分类的硬币进行自动打包 有两种方式 1 判断槽中的硬币数量 触发打包动作 2 判断槽中的硬币重量 触发打包动作 窗口模式 如动画中对硬币的分拣动作 可以根据硬币的物理属性设计不同的判断规则 轨道宽度 转角等 完成分类 决策判断 举例比较 反洗钱 化整为零 场景 一定时间区间内完成多笔转账交易 且单笔不超限额 但总数超过限额 场景描述 传统实现方式 流数据实现方式 关系型数据库 内存分析引擎 SQLselectaccount sum v astotalfromtwherebeginTime t andendTime m EPLselectaccount sum v astotalfroms win time nmin groupbyaccounthavingtotal m 非实时时间窗口滑动效率低 实时滑动窗口内存实现 数据载体 规则载体 时效 流数据处理技术对比传统规则引擎 规则语言 DroolsDRL EsperEPL DroolsExcel决策树 EventProcessLanguage 类SQL语法 事件处理窗口模型 1 4 7 长度窗口 事件处理窗口模型 2 4 8 长度窗口 条件 事件处理窗口模型 3 4 9 时间窗口 连续滑动 事件处理窗口模型 4 4 10 时间窗口 跳跃滑动 实时流数据技术关键问题 处理过程数据不落地 进程异常将导致的内存数据丢失 引擎管理 集群伸缩 规则实例的跨进程的迁移 事件动态路由 规则管理与开发 规则在线注册与自动化热部署 平台监控 集群拓扑管理 友好高效的规则开发语言 内存数据的状态控制 读写 代码热更新 配置热更新 实时流处理技术概述普元CEPStorm相关案例介绍中国银联国家电网中国航信上海移动安徽电信 普元CEP平台架构 事件采集层 Agent Agent Agent Agent 外部系统 系统A 系统B 系统C 系统D 接入层 InputCluster1 n 分析引擎平台 结果执行层 规则库 分析引擎OSGiBased 分析引擎OSGiBased 接入层 OutputCluster1 n 分析规则开发 离线开发 规则开发IDE EclipseBased Action Action Action Action 应用门户 功能松耦合 管理门户 规则模板生命周期管理 运维门户 引擎监控 全局配置 自动化部署 业务门户 规则实例业务参数配置 分析集群运行环境 管理控制环境 普元CEP平台特色 基于云计算PaaS架构分布式集群管控框架 系统级物理主机 虚拟机管理 进程级服务实例管理 集群配置分析规则热更新 热部署 与虚拟机镜像结合分析服务快速部署 与规则库结合规则插件快速部署 集群通知渠道规则实例快速应用 自动化 图形化运维 事件分析平台 面向数据流 基于内存 内存状态数据迁移 冷热数据分离与恢复 集群规模水平伸缩 事件动态路由 分析规则开发 管理与应用 规则模板开发IDE 事件元数据 类SQL规则语言 Action元数据 Web规则实例配置与热部署 Web规则模板管理 分布式集群管控框架 AnyOS 持久化集群 AMQPMQ集群 ZooKeeper集群 Web控制台 无状态 多实例 负载均衡 SessionSticky 物理 逻辑拓扑 规则模板模板 状态 规则实例 监控业务进程 过滤 聚合 SupportZKClient ZKClient OS SupportNodeJS 监控业务进程 过滤 聚合 unSupportZKClient ProcessDaemon NodeJS ZKClient OS unSupportNodeJS 监控业务进程 过滤 聚合 unSupportZKClient ProcessDaemon Java ZKClient OSAgent NodeJS ZKClient MQClient OSAgent NodeJS ZKClient MQClient OSAgent Java ZKClient MQClient 管控服务 ZK客户端 DB客户端 MQ客户端 规则部署与配置场景 运维人员 Repository 业务Console 业务人员 DB CEPEngine1 CEPEngine2 CEPEngine3 ZooKeeper 3 下载规则的表单页面 2 保存规则到仓库 运维Console 4 规则参数配置 5 保存规则参数配置 6 保存规则参数配置到ZooKeeper engine1 Rule1 Rule2 Rule3 engine2 Rule4 engines 7 通知Engine 1 上传规则部署包 8 下载规则 2 保存规则信息到DB 接出层 分析引擎 接入层 分析引擎A 规则实例A1 规则实例A2 规则实例An 规则实例A3 分析引擎B 事件路由1 事件路由p 事件路由 事件去重1 事件去重q 事件去重 NoSQL 负载均衡 可选 事件输入 事件输出 集群管理 MQ MQ 事件 分析规则 1 n 分析引擎实例 n 1 规则 规则实例B1 规则实例B2 规则实例Bn 规则实例B3 普元CEP关键技术 事件路由与去重 多副本冗余增强可靠性 分析引擎 实例3 实例4 实例2 普元CEP关键技术 实例状态复制 接出层 接入层 实例1 实例A1 实例A2异常 实例A3 事件路由 事件去重 事件输入 事件输出 实例A4新增 场景说明实例A2异常实例A4新增 Context Context Context Context包括最终接收事件号状态对象 关键步骤1从A1或A3中选择一个实例 如A3 关键步骤2将A3工作暂停 获得其Context此时A1正常工作 A2已经退出 A3暂停 关键步骤3创建新的实例A4 未启动状态 将Context复制到A4中恢复A3的工作状态 启动A4 关键点业务不中断事件去重完成对重复事件的过滤可靠性取决于集群内实例个数 C C C D 状态数据迁移与备份 JVM 普元CEP关键技术 规则实例水平迁移 内存 规则数 事件量 JVM1 分析引擎 事件大小 容量预估模型 规则实例m 事件 状态 分布式集群管理框架 规则实例n 事件 状态 规则实例x 事件 状态 NoSQL MongoDB JVM1 规则实例m 事件 状态 规则实例x 事件 状态 JVM2 规则实例x 事件 状态 运行期实时监控 系统容量扩展 普元CEP关键技术 基于OSGi的规则部署包 规则库目录结构和导出规则部署包的目录结构一致 方便部署和下载CEPEngine规则库的目录结构与console的规则库目录结构区别在于web目录 一个rule目录作为一个OSGi的bundle rules Javapackage classes rule1 rule eps eps1 eps lib 3rd1 jar Action1 class ExtFunc class rule1 eventSource event1 event event2 event web form1 jsp rule2 Listener1 class META INF MANIFEST MF ext extconfig1 OSGiBundle 规则库 部署包 规则模板热部署 普元CEP1 5平台 主机管理 普元CEP1 5平台 集群管理 普元CEP1 5平台 实例管理 普元CEP1 5平台 规则模板管理 普元CEP1 5平台 规则实例管理 普元CEP1 5平台 状态监控 普元CEP1 5平台 规则模板元数据 普元CEP1 5平台 规则实例业务参数配置 普元CEP1 5平台 规则包 实时流处理技术概述普元CEPStorm相关案例介绍中国银联国家电网中国航信上海移动安徽电信 Storm基本概念 Stream Spout Bolt StreamingGrouping Task Work 消息流 一个无尽的Tuple序列 Topology 规则拓扑 由多个Spout和Bolt组成 消息发送器 区分可靠与不可靠 消息处理器 业务逻辑载体 多入多出 消息分组方式 数据进入Blot的策略 工作任务 可以是Spout或Blot 工作进程 当JVM且执行Topology的一部分 Storm集群组件 主控节点 运行一个被称为Nimbus的后台程序 它负责在Storm集群内分发代码 分配任务给工作机器 并且负责监控集群运行状态 工作节点 运行一个被称为Supervisor的后台程序 Supervisor负责监听从Nimbus分配给它执行的任务 并启动或停止执行任务的工作进程 Worker 每一个工作进程 Worker 执行一个Topology的子集 Nimbus和Supervisor节点之间所有的协调工作是通过Zookeeper集群来实现的 此外 Nimbus和Supervisor进程都是无状态的 节点间信令ZooKeeper 用ZeroMQ作为底层消息队列 使消息能快速被处理 数据传递ZeroMQ Storm可靠性 原则 保证每个Tuple被Topology完整执行 每个Tuple经过Spout Blot后 形成一个消息树 消息树 Emit通知新Tuple生成 Ack通知Tuple处理完毕 生命周期 超时 每个Tuple都包含一个超时时间 超时后会进行重发 消息树跟踪 对Topology中每个Tuple的唯一ID进行异或计算 每个Blot Spout作为单独进程 内部包含状态数据 进程的异常退出将导致数据丢失 问题 Storm对比HadoopMR Storm对比普元CEP 实时流处理技术概述普元CEPStorm相关案例介绍中国银联国家电网中国航信上海移动安徽电信 中国银联欺诈侦测系统核心分析引擎 逻辑视图 中国银联信用卡风控 EPL 实时流处理技术概述普元CEPStorm相关案例介绍中国银联国家电网中国航信上海移动安徽电信 国家电网 业务监控平台 EnterpriseMessageSources ERP等套装软件数据源 监测 监控数据采集 分析 事件过滤 处理 分析 行动 告警 决策与执行 历史数据源 第三方 外部数据源 监控数据库 ESB 执行和修正 决策与管理团队 BAM平台 确定问题 抓住机会 实时预 告警 实时仪表板 报表 WS服务调用与流程执行 BPM系统数据源 BAM引擎 元数据 元模型库 BAM操作台 BAM监控台 控制台系统管理 国家电网 业务监控平台逻辑架构 监控服务器 事件集成服务 事件集成 JDBC集成器 JMS集成器 File集成器 WS集成器 事件处理服务 数据关联服务 流程还原服务 流程合规判定服务 业务活动指标监控服务 规则引擎 内存处理框架 分布式消息框架 数据分析服务 资源管理 超时管理 路由服务 心跳服务 通知服务 服务解析 OutReplyChannel InReqChannel OutErrorChannel InReplyChannel OutReqChannel InErrorChannel 多维分析服务 多维分析引擎 多维查询服务 分析数据库 规则编译 规则库 处理接口 数据分片 连接池 主从热备 在线扩容 数据同步 规则校验 规则执行 数据来源 财务系统 SoTowerBPM系统 数据采集 WS 第三方系统 B系统 A系统 展现平台 报表工具 监控工作台 标准流程管理 监控事件定义 监控上下文定义 事件关联定义 流程还原定义 KPI规则定义 流程监控展现组件 ARIS流程导入 监控流程图调整 监控图元编辑 KPI与图元关联 KPI数据来源定义 界面配置 实时流处理技术概述普元CEPStorm相关案例介绍中国银联国家电网中国航信上海移动安徽电信 规则管理 展现层 关联层 可级联 关联聚合引擎 过滤层 可级联 MQ事件过滤 Socket事件过滤 Mbean事件过滤 采集层 OS 中航信TAM应用监控 逻辑视图 物理资源 应用 中间件进程 采集进程 OS 应用 中间件进程 MQ客户端 MQ集群 Socket MBean 资源事件过滤 OS 应用 中间件进程 Socket OS 应用 中间件进程 MBean NetCool NetIQClient API 日志事件过滤 LogServer 规则引擎 过滤规则 规则更新通道 规则引擎 过滤规则 规则更新通道 规则引擎 过滤规则 规则更新通道 规则引擎 过滤规则 规则更新通道 规则引擎 过滤规则 规则更新通道 NetCool NetIQ 过滤规则管控服务 MQ集群 关联规则管控服务 CEP引擎 EPL规则A EPL更新通道 MQ客户端 关联聚合引擎 CEP引擎 EPL规则B EPL更新通道 MQ客户端 关联聚合引擎 CEP引擎 EPL规则C EPL更新通道 MQ客户端 关联过滤规则库 规则编辑 规则管理 MQ集群 推送服务 推送服务 推送服务 浏览器展示 关联聚合引擎 CEP引擎 EPL规则A EPL更新通道 MQ客户端 关联聚合引擎 CEP引擎 EPL规则A EPL更新通道 MQ客户端 浏览器 采集开关管控服务 中航信TAM应用监控 规则编辑 实时流处理技术概述普元CEPStorm相关案例介绍中国银联国家电网中国航信上海移动安徽电信 上海移动事件中心 经分实时营销 当用户漫出上海时并且是特定套餐用户推荐漫游包 用户漫出上海 用户所属套餐 推荐漫游包 事件分析过程 事件触发动作 状态1数据1 用户手机号 xxx2 前一位置 上海3 当前位置 上海 状态n数据1 用户手机号 xxx2 前一位置 上海3 当前位置 昆山 触发Action1 查询用户所属套餐2 调用推荐漫游包接口 位置事件1 用户手机号 xxx2 当前位置 昆山 用户所属套餐1 存储内存数据库中 Redis 2 通过事件中心维护数据一致性 套餐变更事件 事件处理原则1 高频变更数据驻留内存2 属性数据 摘要化 上海移动GPRS信令稽核 逻辑视图 交换机 交换机2 Mirror Mirror 交换机N Mirror In Out In Out I