一年大数据学习路的总结

⼀年⼤数据学习路的总结前⾔18年从天津来到上海读研，从⼀个Java连递归都写不好的⼩⽩，到⽬前的⼤数据开发菜鸡。我觉得我收获颇多，成长很多。17年在本科学习的时候，接触到Java这门编程语⾔然后就深深喜欢上了。然后当时就⽴志以后要从事Java语⾔的相关技术开发⼯作。18年到了上海，先是花了⼀年时间做了⽹页的开发以及数据分析的理论知识学习。从19年开始，正式踏上⼤数据学习之旅。本⼈在学习⼤数据阶段是带着强烈的找⼯作的⽬的去的，也就是以⼯作秋招为导向。所以有些知识的学习上，好多是为了找⼯作⾯试准备的。准备阶段1.学习整体体系刚开始准备学习⼤数据的时候，在⽹上找到了学学多多的学习路线，看的我眼花缭乱。最后从多个路线中结合⾃⼰的学习与⼯作，制定了⼀套适合⾃⼰的学习路线。这⾥我觉得，别⼈的总结肯定是最适合他的未必适合⾃⼰，取其精华才是硬道理。下⾯总结⼀下⽼⽣常谈的理论知识体系（这是按照我接触的时间顺序来的）：Linux命令、系统基本概念Java（这个本⼈认为⼀定要学，因为⼤数据的好多框架是基于Java写的）python（python可以做好多api的编写，sparkKafka都⽀持python语⾔，本⼈觉得⼯具语⾔，很棒的语⾔）Scala（因为spark在⼤数据⽣态⾥⾯举⾜轻重，没办法只能学它了。⽽且Scala语⾔写spark程序真的很简洁）Hadoop（这⾥指的是HDFS）MapReducehivekafkazookeeperyarnhbasespark(这⾥包括sparkcore、sparkstreaming、sparkSQL)其他例如sqoop、flume等技术栈。计算机⽹络、操作系统MySQL数据仓库理论分布式理论总结：上⾯的学习顺序是我结合个⼈实际情况安排的，另外⼤数据的技术栈很多很多，flink、kettle等都能学。2.书籍视频材料这⼀块是学习任何⼀门新知识的前期准备的核⼼部分，⼀本好的专业书和⼀些好的视频资料能够让⾃⼰受益匪浅。我分别从各个⽅⾯来讲⼀下我觉得还很不错的书籍。Linux部分⽹上⼤部分都推荐鸟叔的《Linux私房菜》这本书，我被这本书的厚度吓到了，所以只是简单的看了⼀些。Linux的学习我是在B站上看的，这⾥强烈推荐B站的学习视频，个⼈感觉不错。JavaJava这个庞⼤的知识体系，从基础到进阶有许多业内优质的书籍，这⾥挑出基本我看过的⽽且很不错的书。2.1基础部分：《Java核⼼技术》卷⼀卷⼆都⾮常好，⽽且讲的很专业。建议学Java基础的童鞋那这本书为主要参考，⽹上资料做辅助。2.2进阶部分：《EffectiveJava》这本书⽬前还在看，感觉很不错。让我了解了许多在开发过程中似懂⾮懂的知识；《Java并发编程实战》理论性很强，但是把并发这块讲的很透彻。《Java并发编程的艺术》理论性稍弱，通俗易懂，很棒《深⼊理解Java虚拟机》这本书不⽤多说了，必备Hadoop⽣态圈3.1书籍部分《Hadoop权威指南》这本书包罗万象，但是不要以为它都是简单叙述。⾥⾯讲mr和yarn还有hdfs章节都很棒，⽹上看到的⼤多数资料⽂章都能在这本书⾥找到原处。我还买了其他的关于spark、hive、hbase的，个⼈感觉提升不⼤，这⾥就不讲了。3.2视频B站尚硅⾕，这个相信学⼤数据的都知道了。⼊门很棒，⽽且⾥⾯的⼀些资料总结真的很有⽤，特别是那些⽼师的教案。MySQL《⾼性能MySQL》强烈推荐，⾯试好多东西都在⾥⾯。总结：视频资料以时间最新为准则，看新不看⽼。然后挑着看，有的视频没必要看的。开⼲我⼤概是从19年4⽉份开始学习⼤数据的，⽬前已经⼀年多了。下⾯总结⼀下整体的学习路线。JavaJava这个语⾔是贯彻始终的，是要不断学习实操的，所以没有学习计划可⾔。遇到好的书或者⾃⼰薄弱的地⽅就学，补充就完了。Hadoop⽣态圈因为尚硅⾕的视频都是有章节安排的，我⼀般是按照他们的视频章节顺序来学习的。我是先看视频，然后再看买的书籍。具体时间可根据个⼈⾃⾏安排，总⽽⾔之视频是⼊门，书籍是巩固，项⽬是提升。时间线：2018年9⽉-⾄今Java⼀直在学习中2019年4⽉-2019年9⽉把Linux、python、Hadoop中的hdfs、yarn、mr、hive、hbase全部学习完毕（包括视频书籍）2019年10⽉-2020年1⽉spark全部学习完毕2020年5⽉-⾄今计算机⽹络和操作系统以及MySQL依旧学习中项⽬部分跟着视频⾥做过⼀些简单的项⽬，然后实习公司⾥也有⼀些简单的项⽬。如果想要扩展项⽬，GitHub上⾯有很多不错的，可以跟着做⼀做。当然了，实习或者⼯作有好的项⽬那是最棒的。总结：我这⾥写的⾮常简洁，因为我认为只要前期把学习资料准备好，并且把学习的⼤致顺序设计好。然后直接开整就完了，这个过程中弯路肯定会⾛，也会遇到很多挫折，但是终会拨云见⽇的。最后的曙光上⾯就是本⼈⼀年的⼤数据学习