python使用实现hadoop mapreduce程序计算一组数据均值和方差

15MapReduce”的内容，因为作者写作hadoopHadooppythonMapReduce程文章内容分为以下几个部分：（本文的代码和用到的数据集可以在这里）设有一组数字(x1,x2,xn)，这组数字的均值和方差如下：meanx1x2xnn(xn(x2n(x22meanxmean2 2varnnnisum1就是(xxx，sum2就是(x2x2x2map 每个部分的{count(元素个数)、sum1/count、sum2/count}reducemap端值mean的平方，就得到了方差var.importfromnumpyimportimportfromnumpyimportmat,mean,defforlineininputread_input(sys.stdin)#input[float(line)forlineininput#floatnumInputs=len(input)input=mat(input)print"%d\t%f\t%f"%(numInputs,mean(input),read()方法，会导致不可预测的内存占用。好的方法是利用固定长度的缓冲区来不断文件内容。通过yield，我们不再需要编写读文件的迭代类，就可mapperOut=[line.split('\t')forlineinmapperOut=[line.split('\t')forlinein#importfromnumpyimportmat,mean,defforlineinyieldinput=print"%d\t%f\t%f"%(cumN,mean,forinstanceincumN+=njPythonHadoop这里是桌面的文件夹：/home/hadoop/Desktop/python_doc中)2py文件要输入命令：od+x文件名，修改其权限变成可执行文件。启动HDFS，进入 （也就是hadoop的安装目录，我的/验证HDFS是否启动，在MasterNode上输入以下命令，将会出现：NameNode、SecondaryNameNode和DataNode 注意：在hadoop2.2.0的版本中，streaming.jar 发生了改变，保存在1）mapred.map.tasks：maptask数目2）mapred.reduce.tasks：reducetask数目Found2 2hadoop 02016-03-1616:45/user/hadoop/mr- 2hadoop [hadoop@hadoop1[hadoop@hadoop1Desktop]$hadoopfs-cat/user/hadoop/mr-ouput13/part-withcode1”的错误odxsudoyumsudoyum-yinstallgccgcc-c++numpypython-develPython2.6.6(r266:84292,Jul232015,[GCC (RedHat4.4.7-11)]onType"help","copyright","credits"or"license"formore>>>fromnumpyimport要确保jar文件的路径正确，hadoop2.2版本的该文件是保存在：$HADOOPHOME/share/hadoop/tools/lib/hadoop-streaming-2.2.0.jarHDFS中的输出文件夹（HDFS下的/user/hadoop/mr-ouput13，一定要是一个新的（之前不存在）的文件夹，因为即使上条HadoopStreaming命令没有执行成参数–file后面是map和reduce的，路径是详细的绝对路径（我这里/home/hadoop/Deskoppython_doc/Mappe