基于案例讲解Storm实时流计算

基于案例讲解Storm实时计算目录Storm的应用场景举例Storm简介Storm的主要特点Storm组件Storm编程模型Storm安装Storm实例讲解Storm的应用场景举例淘宝双十一实时销售额统计车辆7*24小时监控电信行业重大节假日实时保障监控电商实时推荐1.

Storm是一个分布式的、容错的实时计算系统,它采用Clojure编写的2.Storm可被用于“流处理”之中，实时处理消息并更新数据库3.Storm可以进行连续查询并把结果即时反馈给客户，比如将Twitter上的热门话题发送到客户端4.Storm可以用来并行处理密集查询，Storm的拓扑结构是一个等待调用信息的分布函数，当它收到一条调用信息后，会对查询进行计算，并返回查询结果。Storm简介Storm的主要特点1.简单的编程模型。类似于MapReduce降低了并行批处理复杂性，Storm降低了进行实时处理的复杂性。2.可以使用各种编程语言。你可以在Storm之上使用各种编程语言。默认支持Clojure、Java、Ruby和Python。3.水平扩展。计算是在多个线程、进程和服务器之间并行进行的。4.可靠的消息处理。Storm保证每个消息至少能得到一次完整处理。任务失败时，它会负责从消息源重试消息。5.快速。系统的设计保证了消息能得到快速的处理，使用ZeroMQ作为其底层消息队列。6.本地模式。Storm有一个“本地模式”，可以在处理过程中完全模拟Storm集群。这让你可以快速进行开发和单元测试。Storm组件首先我们通过一个storm和hadoop的对比来了解storm中的基本概念。hadoopstorm系统角色JobtrackerNimbusTasktrackerSupervisorChildWorker应用名称JobTopology组件接口M/RSpout/Bolt运行状态数据处理完就结束一旦运行，根本停不下来。。。Nimbus：负责资源分配和任务调度。Supervisor：负责接受nimbus分配的任务，启动和停止属于自己管理的worker进程。Worker：运行具体处理组件逻辑的进程。Task：worker中每一个spout/bolt的线程称为一个task.在storm0.8之后，task不再与物理线程对应，同一个spout/bolt的task可能会共享一个物理线程，该线程称为executor。Storm组件下面这个图描述了以上几个角色之间的关系。NimbuszookeeperzookeeperzookeeperSupervisorSupervisorSupervisorSupervisorSupervisorSupervisorWorkerWorkerWorker主控节点，用于提交任务，分配集群任务，监控集群状态协调，存放集群的公共数据(心跳，集群状态，配置信息),Nimbus分配给Supervisor的任务接受Nimbus分配的任务，管理自己的Worker进程具体的处理逻辑组件Storm组件在storm中，应用程序的实现实时处理的逻辑被封装在Topology中一个Topology是由Spout组件(数据源)和Bolt组件(数据操作)通过StreamGroupings进行连接的TopologySpout数据源是否在高速上在高速上，速度是否>120<=120>120存入超速数据库不在高速上，速度是否>80>80<=80实时监控超速车辆Storm组件简而言之，Spout从来源处读取数据并放入topology。Spout分成可靠和不可靠两种；当Storm接收失败时，可靠的Spout会对tuple（元组，数据项组成的列表）进行重发；而不可靠的Spout不会考虑接收成功与否只发射一次。而Spout中最主要的方法就是nextTuple（），该方法会发射一个新的tuple到topology，如果没有新tuple发射则会简单的返回一个Topology是由Spout组件(数据源)和Bolt组件(数据操作)通过StreamTopology中所有的处理都由Bolt完成。Bolt可以完成任何事，比如：连接的过滤、聚合、访问文件/数据库、等等。Bolt从Spout中接收数据并进行处理，如果遇到复杂流的处理也可能将tuple发送给另一个Bolt进行处理。而Bolt中最重要的