Hadoo项目实战教程Mahou数据挖掘工具3

Hadoop大数据解决方案进阶应用Hadoop讲师：迪伦（北风网版权所有）Mahout数据挖掘工具(3)数据分析工具常见算法的Map-Reduce化Mahout的起源和特点课程目标频繁模式挖掘数据分析工具常用传统数据分析工具排行传统数据分析工具的困境R，SAS，SPSS等典型应用场景为实验室工具处理数据量受限于内存，因此无法处理海量数据使用Oracle数据库等处理海量数据，但缺乏有效快速专业的分析功能可以采用抽样等方法，但有局限性，比如对于聚类，推荐系统则无法使用抽样解决方向：Hadoop集群和Map-Reduce并行计算常见算法的Map-Reduce化常见算法的Map-Reduce化Mahout起源ApacheMahout起源于2008年，当时是ApacheLucene的子项目使用Hadoop库，可以将其功能有效地扩展到ApacheHadoop云平台ApacheLucene是一个著名的开源搜索引擎，实现了先进的信息搜索、文本挖掘功能一些ApacheLucene的开发者最终转而开发机器学习算法，这些算法也就形成了最初的ApacheMahoutMahout不久又吸收了名为Taste的开源协同过滤算法的项目2010年4月ApacheMahout最终成为Apache的顶级项目Mahout特点Mahout的主要母的是实现针对大规模数据集的可伸缩的机器学习算法（就是算法的M-R化）Mahout的算法运行在Hadoop平台下，通过MapReduce模式实现。但并不严格要求算法的实现基于Hadoop平台，单个节点或非Hadoop平台也可以目标是帮助开发人员快速建立具有机器智能的应用程序目前比较成熟和活跃的主要包括聚类分类推荐引擎频繁项集的挖掘Mahout算法集算法类算法名中文名分类算法LogisticRegression逻辑回归

Bayesian贝叶斯

SVM支持向量机

Perceptron感知器算法

NeuralNetwork神经网络

RandomForests随机森林

RestrictedBoltzmannMachines有限波尔兹曼机聚类算法CanopyClusteringCanopy聚类

K-meansClusteringK均值算法

FuzzyK-means模糊K均值

ExpectationMaximizationEM聚类（期望最大化聚类）

MeanShiftClustering均值漂移聚类

HierarchicalClustering层次聚类

DirichletProcessClustering狄里克雷过程聚类

LatentDirichletAllocationLDA聚类

SpectralClustering谱聚类关联规则挖掘ParallelFPGrowthAlgorithm并行FPGrowth算法回归LocallyWeightedLinearRegression局部加权线性回归降维/维约简SingularValueDecomposition奇异值分解

PrincipalComponentsAnalysis主成分分析

IndependentComponentAnalysis独立成分分析

GaussianDiscriminativeAnalysis高斯判别分析进化算法并行化了Watchmaker框架

推荐/协同过滤Non-distributedrecommendersTaste(UserCF,ItemCF,SlopeOne）

DistributedRecommendersItemCF向量相似度计算RowSimilarityJob计算列间相似度

VectorDistanceJob计算向量间距离非Map-Re