Spark简介和Mllib库入门

Spark简介和Mllib机器学习库入门目录RDD特性前言示例Spark简介算子谢谢！目录RDD特性前言示例Spark简介算子谢谢！你能区分么？1数据挖掘数据分析数据研发？？？Hive、数据仓库、多维分析等Mapreduce离线处理、storm流处理等机器学习库〔sklearn、mahout、Mllib等〕和其他目录RDD特性前言示例Spark简介算子谢谢！目录RDD特性前言示例Spark简介算子谢谢！功能组件库：SparkStreamingDataFramesandSQLMllib〔MachineLearning〕GraphX〔GraphProcessing〕Bagel〔PregelonSpark〕SparkR〔RonSpark〕支持语言：ScalaJavaPythonRBDAS——伯克利数据分析协议栈可以直接读取hdfs等分布式文件系统上存储的数据Sparkvs.MapReduce迭代计算。在这个场景下，Hadoop需要屡次读写HDFS〔磁盘〕，造成了大量的IO和序列化、反序列化等额外开销。此外，每次写HDFS都需要备份，因此造成了备份方面的开销。HDFS同批数据的多维度查询。对HDFS同一批数据做成百或上千维度查询时，Hadoop每次做一个独立的query，也就是每次都要从磁盘读取这个数据。因为每次都从磁盘中读取同一组数据，效率显然可以继续提高。而在这两种场景中，Spark可以使用内存缓存中间/常用数据，从而在防止磁盘IO开销的同时，还将大幅度提高性能。Hadoop写数据时，默认备份几份？RDD特性示例Spark简介算子谢谢！前言目录目录RDD特性前言示例Spark简介算子谢谢！RDD的产生RDDscanonlybecreatedthroughdeterministicoperationsoneither(1)datainstablestorageor(2)otherRDDs.

例如：RDD：narrow/wide

dependenciesnarrowdependencies,whereeachpartitionoftheparentRDDisusedbyatmostonepartitionofthechildRDD;widedependencies,wheremultiplechildpartitionsmaydependonit.Question:NarrowWideRDD容错首先，narrowdependencies可以支持在同一个clusternode上以管道形式执行多条命令，例如在执行了map后，紧接着执行filter。相反，widedependencies需要所有的父分区都是可用的，可能还需要调用类似MapReduce之类的操作进行跨节点传递。其次，那么是从失败恢复的角度考虑。narrowdependencies的失败恢复更有效，因为它只需要重新计算丧失的parentpartition即可，而且可以并行地在不同节点进行重计算。而widedependencies牵涉到RDD各级的多个ParentPartitions。以下图说明了narrowdependencies与widedependencies之间的区别：RDD包含信息asetofpartitions,whichareatomicpiecesofthedatasetasetofdependenciesonparentRDDsafunctionforcomputingthedatasetbasedonitsparentsmetadataaboutitspartitioningschemeanddata

placement

目录前言示例Spark简介算子谢谢！RDD特性目录RDD特性前言示例Spark简介算子谢谢！transformationmapflatMapfilterreduceByKeyaction无输出：foreachHDFS：saveAsTextFile、saveAsObjectFileScala集合和数据类型：collect、count、reducereduce：reduce将RDD中元素两两传递给输入函数，同时产生一个新的值，新产生的值与RDD中下一个元素再被传递给输入函数直到最后只有一个值为止。例子：目录前言示例Spark简介算子谢谢！RDD特性目录RDD特性前言示例Spark简介算子谢谢！

Talkischeap,showmethecode.wordcountQuestion:Wordcount中首先要对每一行文字按照分隔符分开，根据前面讲的transform算子，需要用map还是flatMap？即：Vallines=sc.textFile(file://......)Valwords=lines.map(_.split(“”))还是Valwords=lines.flatMap(_.split(“”))？