流式分析计算技术概况v3

流式分析计算技术概况 1PrimetonCEP技术概述解决领域技术架构2Storm技术概述解决领域技术架构 PrimetonCEP 技术概述普元CEP产品 是专门针对于大数据实时分析处理所提供的高性能计算服务方案之一 目前公司的CEP产品是基于Esper进行开发 它是一个Java开发的事件流处理和复杂事件处理引擎 该引擎基于事件驱动架构 通过事件不断进入引擎来推动引擎的实时计算 其独有的EPL语句可快速实现复杂的实时计算策略 并且有着高吞吐量以及低延迟的特点 特别适合大量数据的实时计算 PrimetonCEP 解决问题的领域金融风险控制商业活动监控系统运维网络入侵探测系统动态校验 PrimetonCEP 技术架构 CEPIDE CEPManager CEPHA ZooKeeper JavaPlatform WebServer PrimetonStudio 开发期 运行期 CEPIDE 计算规则的集成开发工具 CEPManager 管理规则及CEP引擎实例 CEPHA 高可用CEP引擎 Zookeeper 协调CEPManager及CEPHA PrimetonCEP CEPIDE RuleDevelopTool Rule1 EventDef EPS Listener Extend Config RuleN EventDef EPS Listener Extend Config RuleTestTool Rule1 RuleN RuleDeployTool Rule1 RuleN CEPMonitor EsperTestEngine PrimetonStudio PrimetonCEP 规则库目录结构和导出规则部署包的目录结构一致 方便部署和下载CEPEngine规则库的目录结构与console的规则库目录结构区别在于web目录 一个rule目录作为一个OSGi的bundle rules Javapackage classes rule1 rule eps eps1 eps lib 3rd1 jar Action1 class ExtFunc class rule1 eventSource event1 event event2 event web form1 jsp rule2 Listener1 class META INF MANIFEST MF ext extconfig1 OSGiBundle 规则库 部署包 规则模板热部署 基于OSGi的规则部署包 PrimetonCEP CEPManager RuleManager DeployUnDeploy StartStop CEPInstanceManager AddDelete StartupShutdown SuspendResume InstancesStatus WebServer PrimetonCEP 运维人员 Repository 业务Console 业务人员 DB CEPEngine1 CEPEngine2 CEPEngine3 ZooKeeper 3 下载规则的表单页面 2 保存规则到仓库 运维Console 4 规则参数配置 5 保存规则参数配置 6 保存规则参数配置到ZooKeeper engine1 Rule1 Rule2 Rule3 engine2 Rule4 engines 7 通知Engine 1 上传规则部署包 8 下载规则 2 保存规则信息到DB 规则部署与配置场景 CEPManager PrimetonCEP CEPHA CEPCluster1 OSGiBundleManager CEPInst1 CEPInst2 CEPInst3 CEPCluster2 CEPInst1 CEPInst2 CEPInst3 CEPClusterN CEPInst1 CEPInst2 CEPInst3 InputData Dispatcher ConverttoEvent Funnel1 Funnel2 FunnelN DistributedDataStore Mongodb Rules1 OSGiBundleManager Rules2 OSGiBundleManager RulesN PrimetonCEP Dispatcher根据策略分发事件到不同的CEP集群中CEPCluster每个Cluster包含三个运行着同样规则的实例OSGiBundleManager用于管理引擎实例中的规则部署包 提供热插拔功能Mongodb暂存事件中的冷数据 待计算完毕再将冷数据还原Funnel合并三个运行着同样规则的实例输出的结果 PrimetonCEP CEPHA CEPInstance1 CEPInstance2 CEPInstance3 CEPInstance1 CEPInstance2 CEPInstance3 CEPInstance1 CEPInstance3 CEPInstance4 CEPInstance1 CEPInstance3 CEPInstance4 t1 t2 t3 t4 t0 normal Inst2down Suspendinst3Copyinst3statustoinst4 Resumeinst3Startinst4 Events buffer buffer 1PrimetonCEP技术概述解决领域技术架构2Storm技术概述解决领域技术架构 Storm 技术概述Storm是一个分布式的 容错的实时计算系统 可被用于 连续计算 对数据流做连续查询 在计算时就将结果以流的形式输出给用户 它还可被用于 分布式RPC 以并行的方式运行昂贵的运算 Storm可以方便地在一个计算机集群中编写与扩展复杂的实时计算 并且保证每个消息都会得到处理 而且它很快 在一个小集群中 每秒可以处理数以百万计的消息 他还有其他特点 容错性 水平扩展 可靠消息处理 本地模式等 Storm 解决问题的领域在线机器学习用户行为实时分析通信行业实时数据分析 Storm 技术架构 主控节点Nimbus Storm集群中运行的守护进程 用于分配代码 布置任务及故障检测 工作节点Supervisor Storm集群中工作节点运行一个守护进程 用于监听工作 开始并终止工作进程 Zookeeper Nimbus可通过Zookeeper监控工作节点的情况 Nimbus和Supervisor均为无状态 且状态都存于Zookeeper中 它是Storm中的数据源 通过接入外部的数据转为固定格式的流 然后发射出去 Storm 技术架构 Topology Spout Bolt消费Spout传入的流 也可以生成新的流发射出去 Bolt可订阅多个Spout和Bolt Bolt Topology部署图 Storm Nimbus TopologyA TopologyB TopologyC Deploy SupervisorA SpoutA SpoutB SpoutC BoltA1 BoltA2 BoltB1 BoltB2 BoltB3 BoltC1 SupervisorB SupervisorC Dispatcher 每个Tuple从Spout或者Bolt发出都会建立一个TupleTreeStorm会建立AckerTask跟踪TupleTreeEmit通知TupleTree有新的Tuple生成 Ack通知TupleTree有Tuple处理完毕若Tuple处理超时会重发重新处理每一个Tuple都会随机产生唯一的64位id 用于异或计算检测TupleTree结束 Storm 流处理的可靠性 Task Task StreamGroupings TupleTree Tuple StreamGroupings Storm BoltA BoltB Task Field b Field a Field a b FieldsGrouping ShuffleGrouping Tuple StreamGroupings Shuffle Fields All Global None Direct LocalorShuffle Storm 容