大数据技术与应用专业培养方案

1、大数据技术与应用专业培养方案一、专业名称及代码专业名称：大数据技术与应用专业代码：610201二、教育类型及学历层次教育类型：高等职业教育学历层次：大专三、招生对象及学制招生对象：普通高中毕业生或同等学历者学制：三年四、就业范围及主要岗位就业范围：在各类企事业单位、政府机关以及IT行业从事大数据系统搭建、测试、管理、运维和大数据分析等相关工作。主要岗位：1、大数据架构工程师2、大数据开发工程师3、大数据分析工程师4、售前工程师5、销售支持工程师6、运维工程师7、售后技术工程师五、培养目标及规格（一）人才培养目标本专业以服务吕梁、山西省及周边省市经济社会发展为宗旨，面向大数据行业，培养德智体美全

2、面发展和身心健康，践行社会主义核心价值观，具备良好职业道德和诚信品质，掌握计算机技术、Java开发、Mysql数据库、Linux操作系统、数量统计等基础知识、会部署和使用Hadoop及Spark身体系统的常用组件，会使用网络信息采集和页面数据抓取工具，会使用SPSS等数据分析软件，具备对大数据下信息采集、预处理、储存、处理、分析、可视化等技术。本专业毕业生能胜任政府、企事业单位、社会组织等部门的大数据系统测试、管理运维、大数据分析、数据可视化等技术工作。（二人才培养规格1、工作岗位描述（见表1）2、能力结构与要求（见表2）3、职业能力证书（见表3）表1大数据技术与应用专业面向的工作岗位岗位类型

3、工作岗位类型工作任务职业技能要求大数据平台规则大数据架构工程师1、大数据核心产品设计规划，包括系统架构、技术选型、关键技术研发；2、大数据新计算框架的选型，技术难题攻关，系统重构优化，根据业务规划及技术制定设计方案3、大数据监控、运维系统等的构架设计，详细设计，核心功能代码编写，如Hadoop、Maperduce、Stirm等数据存储架构平台、计算框架、数据展示系统设计与搭建1、具有严密的数学思维、突出的分析归纳能力和数据分析能力；2、精通Linux操作系统，至少熟练使用Python、Scala、C+等语言中的一种编程；3、熟悉Hadoop、Hbase、Spark工作原理，熟悉分布式计算实施过

4、程中的问题；4、精通常见的数据存储相关技术，包括Hdfs、HBase、Hive、MySQL、Redis、Mongodb等；5、负责大数据平台的性能参数调整和优化；6、根据业务需求，编制各类分析图表、撰写项目分析文档和报告。大数据部署大数据平台开发工程师1、基于MySQL、Redis、Kafka、Hadoop、Hive搭建开发大数据分析平台的后台服务，支持数据接入、统计、分析业务；2、构建基于Spark/Storm的实时数据处理平台，支撑上层业务使用，如：数据监控、日报展现、统计分析、业务方调用等；3、构建基于Hive的即席查询数据统计分析平台；4、负责数据平台的设计、开发、维护与优化。1、熟悉

5、Linux的Shell命令，灵活运用Shell做文本处理和系统操作；2、熟悉分布式计算各种范式，分布式算法实现，有较好的分布式架构设计能力；3、能够使用SQL操作复杂的数据模型并有SQL优化的经验；4、熟练掌握Golang、Scala语言，至少精通Python、Perl、Bashshell脚本语言中的一种，并具有海量数据ETL加工处理经验，从事分布式数据存储与计算平台应用开发；5、熟练搭建Hadoop集群环境，熟悉Hdfs文件系统，熟练编写MapReduce程序；6、熟悉Hadoop、Hbase、Hive的原理，并能够管理、配置、运维。大数据运维工程师1、参与项目技术平台安装部署、日常运行维护

6、与故障处理、大数据组件补丁升级管理；2、平台的自动化部署、运维、监控、告警处理，收集Hadoop的各项metrics指标，确保集群的正常运行；3、针对Hadoop生态系统的批量部署场景进行运维调优；4、负责任务调度平台配置及运维管理。1、具有较强的数据仓库模型设计和ETL设计能力；2、熟悉Hadoop平台的运维、调优，保障线上集群的稳定可靠；3、熟练编写Linux下的Shell脚本，能开发相关安全管理工具；4、能够利用开源软件搭建云服务，并进行相关测试。大数据分析处理大数据分析工程师1、实现数据挖掘算法，并结合核心算法做程序开发；2、使用数据挖掘、统计分析工具，提供数据决策分析1、基于Hado

7、op、Spark的大数据分析和处理；2、熟悉Python、Scala、Java中的一门以上开发语言，熟悉MySQL、Oralce数据库，对主流分布式存储和运算有一定的了解；3、熟练使用SPSS、SAS或其它数据挖掘软件，具备数据建模和数据分析理论知识，熟悉常用数据结构和数据处理算法。大数据可视化工程师1、负责大数据系统设计和开发工作，如个性化推荐系统、精准营销、用户画像等数据产品的设计和开发工作；1、有较强编程能力，熟悉C/C+和Python，设计搭建大数据平台；2、较强逻辑思维能力及软件、算法实现能力，进行抽取、清洗、加工等数据处理；2、配合需求人员，完成功能模块，支撑日常业务数据需求，负责

8、系统优化、问题跟进并及时解决。3、能够设计基于云架构的数据仓库模型，基于大数据平台进行研发、运维、管理等；4、熟悉数据库、应用服务器和相关开发语言。良好的数据库设计能力和SQL编写能力。表2大数据技术与应用专业人才能力结构与要求职业能力项目职业能力要求专业课程通识能力计算机基础操作能力Windows操作系统、office办公软件应用能力计算机基本软件应用能力。计算机应用基础计算机网络组建能力理解网络的原理及基本组成；掌握如何构建简单的网络；学会分析网络地址；了解现实生活中使用的网络设备。计算机网络基础基础程序语言设计能力掌握C语言的基本语法。C语言程序设计大数据基础能力了解大数据技术的理论知识

9、、应用前景和最新发展动态；了解业内常用的大数据处理工具。大数据基础岗位能力面向对象编程能力掌握Java程序设计的基本语法、Java面向对象编程思想；运用Java平台开发Web应用程序；熟悉JSP，Servlet，JavaBean，JDBC等技术。Java程序设计Java程序设计实训JavaWeb程序设计Javaweb应用开发实训数据库管理能力使用MySQL创建、查询和管理数据库MySQL数据库原理及应用大数据系统开发能力大数据平台综合部署，包括业务需求分析、集群环境设置、框架选择、服务器环境部署等能力、性能测试、Hadoop与其他系统的集成等；Spark的部署，进行计算业务模块的开发；大数据系

10、统性能提升，包括数据读写优化、并发处理优化、数据存储优化、数据查询优化等，以及大数据系统安全维护。Linux操作系统云计算架构技术与实践Hadoop与大数据挖掘Spark大数据处理技术大数据系统开发实训大数据分析处理能力掌握数据采集、清洗、处理的原理和技能；熟练使用数据统计分析软件，进行数据分析利用可视化工具建立数据可视化方案。Python网络爬虫实战概率论与数理统计数据可视化技术表3大数据技术与应用专业职业能力证书考核安排序号证书名称备注1全国计算机等级考试选试2相关职业能力证书选试3英语应用能力考试选试六、课程设置、时间分配、教学进程及实践性教学（见表4、表5、表6）本专业总课时为2840

11、节，其中理论课时926节，占总课时的32.6%实践课时1914节，占总学时的67.4%。表4大数据技术与应用专业教学计划进程表序号课程类别课程名称学分总课时开课学期与课时第一学年第二学年第三学年合计理论实践一二三四五六1思想道德修养与法律基础3483216V2毛泽东思想和中国特色社会主义理论体系概论4644816V3高的数学36060V4大学英语81249430VV5公共必体育8126126VVVV6修课大学语文及应用文写作2321616V7大学生职业规划与就业指导2382216VV8形势与政策（讲座形式）18080VVVVV9大学生心理健康教育11616VVVV10安全教育11616VVVV

12、11健康教育11616VVVV公共必修课小计3462038423612计算机应用基础6909030V13大数据基础4603624V14专业基计算机网络基础4603624V15础课C语言程序设计6966432V16概率论与数理统计4643232V17Linux操作系统4643232V专业基础课小计2863426017418MySQL数据库原理及应用4643034V19云计算架构技术与实践4643034V20专业核心课Java程序设计6963858V21Python网络爬虫实践4642836V22JavaWeb程序设计6963858V23Spark大数据处理技术4642836V24Hadoop与大

13、数据挖掘71123082V25数据可视化技术4642836V专业核心课小计3962425037426大数据系统开发实例2525227专业技能实训大数据分析挖掘实训12626V28大数据综合项目实训12626VV29Java程序设计实训2525230JavaWeb应用开发实例12626V专业技能实例小计718218231IT认证IT认证25252V2525232军事教育37878V33综合实社会实践25252VV34践顶岗实习10520520V35毕业设计7182182V综合实践小计2283283236素质拓展课程拓展课一一2321616V37拓展课二2321616V38拓展课三23232V素质

14、拓展课程小计6963264合计13828409261914150578484538608182表5大数据技术与应用专业全学程时间安排学年军事教育教学顶岗实习复习考试社会实践学期周数合计一13152202182120二3182204182120三51822062020总计3872010假期进行120表6大数据主要实训课程教学环节一览表序号实训课程名称主要内容及要求1大数据系统开发技术实训（上）本课程详细讲解了大数据生态体系的各个模块的功能和开发技术。包括Hadoop体系中的HDFS,Hbase进行数据操作，MapReduce进行数据开发，YARN进行资源配置，Hive完成数据仓库，Pig进行数据

15、分析，理解其基本原理，并通过实验掌握其操作和编程开发。2大数据系统开发技术实训（下）本课程详细讲解了大数据生态体系的各个模块的功能和开发技术。包括Oozie完成工作流设计，Zookeeper完成分布式进程协调，Sqoop完成数据传输，Flume完成日志收集等模块，最后介绍Spark生态体系，及其Scala基础和SparkSQL开发。理解其基本原理，并通过实验掌握其操作和编程开发。3大数据采集实训课程包括网络爬虫基本理论知识的介绍，深入剖析网络爬虫进行数据采集的过程和策略，如何抓取不同类型的数据和文档内容，以及爬取过程中的优化。通过一种常见工具完成对指定任务的爬取，并存储本地系统中。4数据仓库实

16、训课程通过介绍数据ETL过程、数据汇总过程、关键绩效指标分析、报表与即席查询、OLAP分析、数据挖掘等方法，使学员学到数据处理的思路与能力方法；通过介绍数据质量及元数据管理，使学员了解数据应用的本质，并将其有效运用于数据集市及数据仓库解决方案中。5数据统计及分析掌握分析推断的统计技术，熟练使用数据软件（Python）来分析数据，利用Exce1制作分析图表，具备良好的数据呈现技能。对数据分析报告的撰写有一定程度的掌握，便于在工作中实际操作。6数据可视化本课程从数据可视化的发展，理解数据和可视化的作用入手，介绍可视化工具和设计的方法。具体结合Tableau和D3.js的工具，让学生掌握可视化的组件

17、，以及各种组合成为的可视化图表。并结合不同类型的数据和场景，介绍各中设计方法和最佳实践，学生如何产生的合适的可视化内容。最后结合案例，理解可视化在各个领域的实际应用。7企业大数据技术实训课程全面讲解代表性大数据平台的产品，包括大数据计算服务MaxCompute，分析型数据库AnalyticDB，表格存储TableStore和大数据开发平台DataIDE，以及典型的大数据应用产品。包括每个产品的使用场景，技术特点，以及实际操作实验。8大数据综合项目实训提供电商大数据、通信大数据、农业大数据、交通大数据、电力大数据、政务大数据、金融大数据、医疗大数据等八个完整的项目案例。还会不断更新引入新的实训案

18、例。七、课程主要内容简表课程课程名称课程性质主要内容计算机网络技术1/必修2/1、掌握计算机网络概念，网络四层结构与协议、设备与操作系统2、掌握局域网组网方法，互联网法律法规应用关系型数据库概论必修1、掌握关系型数据库概论的和基本操作2、掌握关系型数据库概论的基本方法和基本技能数据结构必修1、掌握常用的基本数据结构2、了解数据结构的逻辑思想和实现方法3、掌握程序设计方法、程序设计风格Linux操作系统应用必修1、掌握运用Linux安装、环境的配置2、掌握Linux系统管理，Linux网络管理网页设计（HTML/CSS）/必修21、掌握Web网站的基本知识2、掌握HTML/CSS的相关知识，并运用SQLServer数据库应用1、必修2/1、掌握SQLServer2005的基本操作2、运用SQL语言进行程序设计云存储技术必修1、掌握本课程主要讲解云存储基础知识2、掌握云存储整体架构的设计与搭建，通过集群应用、网格技术或分布式文件系统等功能，将网络中大量不同类型的