storm项目实战教程 storm开发实例 7、实例讲解Grouping策略及并发度.ppt_第1页
storm项目实战教程 storm开发实例 7、实例讲解Grouping策略及并发度.ppt_第2页
storm项目实战教程 storm开发实例 7、实例讲解Grouping策略及并发度.ppt_第3页
storm项目实战教程 storm开发实例 7、实例讲解Grouping策略及并发度.ppt_第4页
storm项目实战教程 storm开发实例 7、实例讲解Grouping策略及并发度.ppt_第5页
免费预览已结束，剩余1页可下载查看

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1、Storm流计算从入门到精通 技术篇,讲师：Cloudy（北风网版权所有),7、实例讲解Grouping策略及并发度,读文件案例的问题思考,Spout数据源：Message queue MQ、Db、文件 直接流数据源：MQ 从db只能读配置文件 Log文件增量数据：1、读出内容写入MQ，2、Storm处理 Spout读文件：学习用，其他无用 读文件：1、分布式应用无法读；2、spout开并发会重复读,stream grouping就是用来定义一个stream应该如果分配给Bolts上面的多个 Executors(多线程，并发度) 注：不是一个spout或bolt emit到多个bolt（广播方

2、式）。 storm里面有6种类型的stream grouping。 单线程下均等同于All Grouping Shuffle Grouping 轮询，平均分配。随机派发stream里面的tuple，保证每个bolt接收到的tuple数目相同。 2. Non Grouping: 无分组， 这种分组和Shuffle grouping是一样的效果，多线程下不平均分配。 3. Fields Grouping：按Field分组，比如按word来分组， 具有同样word的tuple会被分到相同的Bolts， 而不同的word则会被分配到不同的Bolts。 作用：1、过滤，从源端（Spout或上一级Bolt

3、）多输出Fields中选择某些Field 2、相同的tuple会分发给同一个Executer或task处理 典型场景： 去重操作、Join,Stream grouping 策略,4. All Grouping： 广播发送， 对于每一个tuple， 所有的Bolts都会收到。 5. Global Grouping: 全局分组， 这个tuple被分配到storm中的一个bolt的其中一个task。再具体一点就是分配给id值最低的那个task。适合场景：想象不到。 6. Direct Grouping: 直接分组， 这是一种比较特别的分组方法，用这种分组意味着消息的发送者决定由消息接收者的哪个tas

4、k处理这个消息。 只有被声明为Direct Stream的消息流可以声明这种分组方法。而且这种消息tuple必须使用emitDirect方法来发射。消息处理者可以通过TopologyContext来或者处理它的消息的taskid (OutputCollector.emit方法也会返回taskid),Stream grouping 策略,并发度,场景分析： 单线程下：加减乘除，和任何处理类Operate，汇总 多线程下： 1、局部加减乘除 2、做处理类Operate，如split 3、持久化，如入DB 以WordCountTopology.java 为例讲解 思考题：如何计算：word总数和word个数 ？并且在高并发下完成 前者是总行数，

人人文库> 全部分类> 应用文书 > 技术指导

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论