mapreduce实例多表连接.ppt_第1页
mapreduce实例多表连接.ppt_第2页
mapreduce实例多表连接.ppt_第3页
mapreduce实例多表连接.ppt_第4页
mapreduce实例多表连接.ppt_第5页
已阅读5页，还剩4页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

mapreduce实例-多表连接,实例描述,输入是两个文件，一个为工厂表factory.txt，包含工厂名列factoryname和地址编号列addressID；另一个为地址表address.txt，包含地址编号列addressID和地址名列addressname。要求从输入数据中找出工厂名factoryname和地址名addressname的对应关系，输出“工厂名-地址名”表。,实例描述,输出表如下：,设计思路,多表关联和单表关联相似，都类似于数据库中的自然连接。相比单表关联，多表关联的左右表和连接列更加清楚。所以可以采用和单表关联的相同的处理方式，map识别出输入的行属于哪个表之后，对其进行分割，将连接的列值保存在key中，另一列和左右表标识保存在value中，然后输出。reduce拿到连接结果之后，解析value内容，根据标志将左右表内容分开存放，然后求笛卡尔积，最后直接输出。,左表map结果：mapkeyrelationtype+mapvalue11+BeijingRedStar31+ShenzhenThunder21+GuangzhouHonda11+BeijingRising21+GuangzhouDevelopmentBank31+Tencent11+BankofBeijing,设计思路,右表map结果：mapkeyrelationtype+mapvalue12+Beijing22+Guangzhou32+Shenzhen42+Xian,设计思路,Reduce过程：Reduce进行左右表连接，mapkey相同且relationtype不同的那些mapvalue进行笛卡尔积。BeijingRedStar1BeijingShenzhenThunder3ShenzhenGuangzhouHonda2GuangzhouBeijingRising1BeijingGuangzhouDevelopmentBank2GuangzhouTencent3ShenzhenBankofBeijing1Beijing,设计思路,代码结果,1.准备测试数据通过Eclipse下面的DFSLocations在/user/hadoop目录下创建输入文件input文件夹（备注：output不需要创建。）。如图1，已成功创建。图1图2然后在本地建立两个txt文件factory.txt和address.txt，通过Eclipse上传到/user/hadoop/input文件夹中，两个txt文件的内容如实例描述那两个文件一样。如图2所示，已成功上传。,2.查看运行结果运行后，我们右击Eclipse的DFSLocations中/user/had
人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论