storm原理与实战

1、-数据中心日志解析（推荐的日志解析场景详解）网站指标的实时解析（PV、UV、等）增量处理从kafka读取app埋点日志解析日志，转换为用户访问房详情信息Mongo保存用户活跃更新通知推荐引擎重新推荐有哪些问题？流式计算日志解析增量更新Web服务http请求页面交互定时调度服务定时任务监控Storm是一个分布式的、可靠的、容错的数据流处理系统Storm与传统关系型数据库 传统关系型数据库是先存后计算，而storm则是先算后存，甚至不存 传统关系型数据库很难部署实时计算，只能部署定时任务统计分析窗口数据 关系型数据库重视事务，并发控制，相对来说Storm比较简陋原理URL：http:/www.op

2、en- void openpublic void open(); (); / spout/ spout初始化初始化public void closepublic void close() (); / / spoutspout结束前的收尾工作结束前的收尾工作public void public void nextTuplenextTuple() () / / 发射消息发射消息public void public void ackack(); (); / / 消息处理成功后的处理方案消息处理成功后的处理方案public void public void fail(); fail(); /消息处理失

3、败后的处理方案消息处理失败后的处理方案需要implements接口BaseBasicBolt或者IBoltpublicpublicvoidvoidexecute();/ / 执行消息处理逻辑执行消息处理逻辑public void public void declareOutputFields () (); / / 消消息发射息发射的格式声明的格式声明The stream is the core abstraction in Storm. A stream is an unbounded sequence of tuples that is processed and created in pa

4、rallel in a distributed fashion. Streams are defined with a schema that names the fields in the streams tuples. By default, tuples can contain integers, longs, shorts, bytes, strings, doubles, floats, booleans, and byte arrays. You can also define your own serializers so that custom types can be use

5、d natively within tuples.Shuffle Shuffle groupinggroupingFields Fields groupinggroupingPartial Key Partial Key groupinggroupingAll All groupinggroupingGlobal Global groupinggroupingNone None groupinggroupingDirect Direct groupinggroupingLocal or shuffle groupingLocal or shuffle groupinghttp:/storm.a

6、/releases/2.0.0-SNAPSHOT/Guaranteeing-message-processing.html/releases/2.0.0-SNAPSHOT/Understanding-the-parallelism-of-a-Storm-topology.htmlStorm集群中有两种节点，一种是控制节点(Nimbus节点)，另一种是工作节点(Supervisor节点)。所有Topology任务的 提交必须在Storm客户端节点上进行(需要配置 storm.yaml文件)，由Nimbus节点分配给其他Supervis

7、or节点进行处理。 Nimbus节点首先将提交的Topology进行分片，分成一个个的Task，并将Task和Supervisor相关的信息提交到 zookeeper集群上，Supervisor会去zookeeper集群上认领自己的Task，通知自己的Worker进程进行Task的处理。 和同样是计算框架的MapReduce相比，MapReduce集群上运行的是Job，而Storm集群上运行的是Topology。但是Job在运行结束之后会自行结束，Topology却只能被手动的kill掉，否则会一直运行下去 Storm不处理计算结果的保存，这是应用代码需要负责的事情，如果数据不大，你可以简单地

8、保存在内存里，也可以每次都更新数据库，也可以采用NoSQL存储。这部分事情完全交给用户。storm使用zookeeper来协调整个集群， 但是要注意的是storm并不用zookeeper来传递消息。所以zookeeper上的负载是非常低的，单个节点的zookeeper在大多数情况下 都已经足够了， 但是如果你要部署大一点的storm集群， 那么你需要的zookeeper也要大一点。关于如何部署zookeeper，可以看/doc /r3.3.3/zookeeperAdmin.html 部署zookeeper有些需要注意的地方： 1、对zooke

9、eper做好监控非常重要， zookeeper是fail-fast的系统，只要出现什么错误就会退出， 所以实际场景中要监控，更多细节看/doc/r3.3.3 /zookeeperAdmin.html#sc_supervision 2、实际场景中要配置一个cron job来压缩zookeeper的数据和业务日志。zookeeper自己是不会去压缩这些的，所以你如果不设置一个cron job, 那么你很快就会发现磁盘不够用了，更多细节可以查看/doc/r3.3.3 /zookeeperAdmin

10、.html#sc_maintenancestorm UI 只提供对topology的监控和统计。代码实例：http:/ patternsClojure DSLUsing non-JVM languages with StormDistributed RPCTransactional topologiesHooksMetricsState CheckpointingWindowingBlobstore(Distcahce)Apache Kafka Integration,New Kafka Consumer IntegrationApache HBase IntegrationApache HDFS IntegrationApache Hive IntegrationApache Solr IntegrationApache Cassandra IntegrationJDBC IntegrationJMS IntegrationRedis IntegrationEvent Hubs IntergrationElasticsearch IntegrationMQTT IntegrationMongodb IntegrationOpenTSDB IntegrationKinesis IntegrationDrui