大数据开发工程师课程是怎样的

1、大数据开发工程师课程是怎样的Mprwt.j J f Tf H ja，- jr| F # j!jj片 T阳叫 h E. U； - L ；Lf：1 严 :和叫科 *呻： - 31 p 11 An I 镂a 4 if IL 0* 卿爲、？ !吕 l d a + a deveiopment e t g t n e e r大数据开发工程帰就业岗位：1.大数据开发工程师；2.大数据实施工程师；3.大数据运维工程师； 4.大数据分析工程师。核心技术：I.Hadoop ； 2.Spark ； 3.Hive ； 4.HBase ； 5.项目实战。入学要求：（1）、有其他学科专业基础、有一定学习能力、喜欢分析，对

2、大数据行业应用感兴趣（2）、计算机编程基础、有数学财经基础适合人群：在校学习的学生、准备入职的学生、想提升待遇的职场人士、想转行的职场人士、在职职场精英深造授课方式：线下集训课程学时：360注：每天 6学时，每学时 50分钟课程安排序号课程名称课程内容学时1Linux 基础1. Li nux 操作系统简介、安装及使用；2. Li nux 档案权限与目录配置、档案与目录管理、用户账号管理；3.文件操作、文本编辑、vim 程序编辑器；4.Bash简介及功能介绍、Shell Script编程；182数据库SQL基础1. 数据库概述、数据库系统、管理系统；2.MySQL安装配置、基本操作、MySQL连

3、接工具的使用；3.数据库基础知识概述：数据库、表结构、字段 及其数据类型、运算符；4.SQL概述，数据库及表的创建基本操作；5增删改查语句，使用Java程序进行 增删改查。123Java基础1.Java简介、环境搭建及第一个Java程序；2.Java基础程序设计：数据类型、运算符、表达式、判断循环语言；3.数组定义与使用、方法定义与重载；4.面向对象（基础）； 5.面向对象（咼级）； 6.异常概 念与编程；包概念与导入；泛型概念与编程应用；7.Java类集：Collection接口主要操作方法；8.Java类集：List、Set、Map常用子类与使用，集合操作 与遍历方法；9建立Java EE

4、项目；了解 Java EE 项目执行流程。304Hadoop 编程开发1. Hadoop简介、架构、原理；集群配置及安装（JDK、SSH ； 2. Hadoop IDE 开发环境配置（Eclips e 配置）；3. Hadoop Java API编程实例；Hadoop 第一个 MapReduce 程序；4. Hadoop 命令（hado op fs , hadoop job,Hadoop jar ） ； 5. Hadoop基础编程（Mapper、Reducer、Driver ）； 6. Hadoo p 高级编程（FileInputFormat、FileOutputFormat）；7.Hadoo

5、p 高级编程（Combiner、Partitioner）；8.Hadoop高级编程（自定义键值对）；9.Hadoo90p咼级编程（开发环境直接运行MapReduce程序）；10. Hadoop案例1:基于KNN的鸢尾花分类预测；11. Hadoop案例2：基于Kmeans的客户价值分析。5Hive大数据分析1. Hive产生背景、概念，Hive架构、原理； 2. Hive 安装、配置； 3.Hive 与 RDBMS区另Hive 应用 场景；4. Hive HQL命令，数据库，表创建；数据 导入、导出，HQL查询；5.Hive内置函数，自定义函数（UDF ； 6.Hive 与Java交互；7.基

6、于Hive的航 空公司客户价值分析项目案例。246HBase数据快速读写1.HBase简介、架构原理；2.HBase集群安装配置（Zookeeper 简介、Zookeeper 安装配置、配置文件解 读）；3.HBase架构与数据模型（组件原理功能、Rowkey 设计、Schema 设计）；4.HBas 命令行（hbase shell ）表操作；5.HBase开发环境配置；6.Java API操作 HBase删/建表、HBase增删改查；7.HBase与Hadoop Mapreduce 交互（HBase to HDFS ,HDFS to HBase , HBase to HBase ） ； 8.

7、基于 HBase 的冠字 号查询系统（案例背景、架构）；9.基于HBase的冠字号查询系统（数据处理、 建表、导入表数据实现）；10.基于 HBase的冠字号查询系统（Java Web连接 HBase ）;实现基于HBase的冠字号查询系统。247Spark大数据分析与编程1.Spark简介（Spark简介、应用场景）2.Spark 安装配置（如何兼容Hadoop、HBase集群）；3.原理与架构（组件功能、RDD原理）；4.Spark编程1 （ Scala 及编程简介）；5.Spark 编程 2 （RDD Transformation/Action）； 6.Spark Intellij ID

8、EA开发环境配置；7.基于Spark ALS算法的电影推荐系统（案例背 景、系统架构）；8.基于Spark ALS算法的电影推荐 系统（Spark Shell简单实现）；9.基于 Spark ALS48电影推荐系统（连接Spark集群）；10.实现基于 Spark ALS的电影推存系统。8实战案例一、基于 Hadoop、Spark的法律网智能推存1.法律网案例背景，架构设计；2.数据预处理：异常数据探索、数据剔除；3.系统数据预处理实现；4.推荐算法简介、评估与选型；5.系统模型建立、预研、调优；6.系统模型完整实现。一、基于 Spark FPGrowth 的餐饮智能采品推存1.餐饮案例背景、

9、架构设计；2.数据预处理：上传、数据探索、异常处理；3.推荐模型预研、评估与选型；4.MLlib FPGrowth 调用与编码实现；5.系统模型建立、评价、调优；6.系统模型完整实现。609项目实训项目实训54备注：大数据开发课程按照以上课程为准，项目实战按照个人实际情况为准。态度决定一切。有什么样的态度，就有什么样的未来；性格决定命运，有怎样的性格，就有怎样的人生。在现实生活中，你和谁在一起的确很重要，这或许能改变你的成长轨迹，决定你的人生成败。和什么样的人在一起，就会有什么样的人生。和勤奋的人在一起，你不会懒惰；和积极的人在一起，你不会消沉。与智者同行，你会不同凡响；与高人为伍，你能登上巅

10、峰。01科学家研究认为：人是唯一能接受暗示的动物。积极的暗示，会对人的情绪和生理状态产生良好影响，激发人的内在潜能，发挥人的超常水平，使人进取，催人奋进。远离消极的人吧！否则，他们会在不知不觉中偷走你的梦想，使你 渐渐颓废，变得平庸。积极的人像太阳，照到哪里哪里亮；消极的人像月亮，初一十五不一样。和不一样的人在一起，就会有不一样的人生。爱情如此，婚姻也如此；家庭如此，事业也如此。爱上羊”而丧失狼性，怎能叱咤风云,有人说，人生有三大幸运：上学时遇到好老师；工作时遇到一位好师傅，好老板；成家遇到一个好伴侣。有时他们一个甜美的笑容，一句温馨的问候，就能使你的人生与众不同，光彩照人。生活中最不幸的是：

11、由于你身边缺乏积极进取的人，缺少远见卓识的人，使你的人生变得平平庸庸，黯然失色。有句话说得好，你是谁并不重要，重要的是和谁在一起。02古有 孟母三迁”足以说明和谁在一起的确很重要。雄鹰在鸡窝里长大，就会失去飞翔的本领，怎能博击长空，翱翔蓝天；野狼在羊群里成长，也会驰骋大地。原本你很优秀，由于周围那些消极的人影响了你，使你缺乏向上的压力，丧失前进的动力，而变得俗不可耐，如此平庸。不是有这样的观念吗？“大多数人带着未演奏的乐曲走进了坟墓。如果你想像雄鹰一样翱翔天空，那你就要和群鹰一起飞翔，而不要与燕雀为伍；如果你想像野狼一样驰骋大地，那你就要和狼群一起奔跑，而不能与鹿羊同行。正所谓画眉麻雀不同嗓，金鸡鸟鸦不同窝。”这也许就是潜移默化的力量和耳濡目染的作用。03如果你想聪明，那你就要和聪明的人在一起，你才会更加睿智；如果你想优秀，那你就要和优秀的人在一起，你才会出类拔萃。俗话说：物以类聚，人以群分。之所以会出现一个宿舍都考上研究