大数据hadoop storm hive等系列教程

1、WARN util.NativeCoader: Unable to load native-hadoop library for your platform. using builtin-java classes where applicable主从机构主：jobtracker从：tasktracker四个阶段：1、 Split2、 Mapper：key-value（对象） 3、 Shufflea)分区（partition，HashPartition：根据 key 的 hashcode 值 和 Reduce 的数量 模运算），可以自定义分区，运算速度要快。一定要解决数据倾斜和 reduce 的

2、负载均衡。b)排序：默认按照字典排序。partor（比较）合并：减少当前 mapper 输出数据，根据 key 相同（比较），把分组（key 相同（比较），value 组成一个集合）（merge）4、 Reducea)输入数据：key + 迭代器value 进行合并。Hadoop2.5 HA 搭建四台机器：hadoop1，hadoop2，hadoop3，hadoop41.core-site.xmlfs.defaultFShdfs:/bjsxtha.zookeeper.quorumhadoop1:2181,hadoop2:2181,hadoop3:2181NNDNZKZKFCJNRMNM（任务管

3、理）Hadoop1YYYHadoop2YYYYYYYHadoop3YYYYHadoop4YYYhadoop.tmp.dir/op hdfs-site.xmldoop2.dameservibjsxtnodes.bjsxtnn1,nn2damenodc-address.bjsxt.nn1hadoop1:8020damenodc-address.bjsxt.nn2hadoop2:8020damenode.http-address.bjsxt.nn1hadoop1:50070damenode.http-address.bjsxt.nn2hadoop2:50070damenode.shared.edit

4、s.dirqjournal:/hadoop2:8485;hadoop3:8485;hadoop4:8485/t.failovvider.bjsxte.node.ha.ConfiguredFailovroxyProvider/valudfs.ha.fencing.methodssshfencedfs.ha.fencing.ssh.private-key-files/root/.ssh/id_dsadfs.journalnode.edits.dir/opdoop/datadfs.ha.automatic-failover.enabledtrue准备 zookeeper三台 zookeeper：ha

5、doop1，hadoop2，hadoop3编辑 zoo.cfg 配置文件3.修改 dataDir=/opt/zookeeper server.1=hadoop1:2888:3888 server.2=hadoop2:2888:3888server.3=hadoop3:2888:3888i.ii.c)在 dataDir 目录中创建一个 myid 的文件，文件内容为 1，2，3配置 hadoop 中的 slaves启动三个 zookeeper：./zkServer.sh start启动三个 JournalNode：./hadoop-daemon.sh start journalnode.8.在其中一个 namenode 上格式化：hdamenode -format把刚刚格式化之后的元数据拷贝到另外一个 namenode 上a)启动刚刚格式化的 namenode :hadoop-daemone.sh start namenode在没有格式化的 namenode 上执行：hd启动第二个 namenode在其中一个 namenode 上初始化 zkfc