面向数据工程师培养的软件工程专业课程群建设

-精选财经经济类资料- -最新财经经济资料-感谢阅读- 1 面向数据工程师培养的软件工程专 业课程群建设 摘 要：大数据和云计算是当前 IT 行业两个最大的创新，新技术的高速 发展带动人才需求的高速增长。在分析 计算机专业人才培养现状的基础上，提 出在软件工程专业下设置数据工程方向； 对应用型数据工程师的能力培养进行剖 析，给出数据工程课程群的整体设计， 详述实验课和实验室建设的思路和方法。 中国论文网 /8/view-12937569.htm 关键词：大数据；云计算；软件 工程；数据工程；课程群设计 文章编号：1672-5913（2017） 05-0025-05 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 2 中图分类号：G642 1 背 景 近 10 年来，信息呈爆炸式增长。 据 EMC 公司的“Digital Universe”项目统 计，2011 年和 2012 年全球新增数据总 量分别为 1.8ZB 和 2.8ZB1-2，2013 年 数据总量高达 4.4ZB3。 Gartner 认为 “大数据是需要新的处理模式才能具有 更强的决策力、洞察发现力和流程优化 能力的海量、高增长率和多样化的信息 资产”。它已经成为一种重要的战略资 源，引起了各国政府、工业界和学术界 的高度关注。2012 年 3 月奥巴马政府宣 布启动“大数据研究与开发计划”4； 2015 年 8 月国务院通过关于促进大数 据发展的行动纲要5。 从 2009 年起，云计算技术开始 迅猛发展，它是一种基于互联网的、大 众参与的计算模式，其计算资源是动态、 可伸缩、被虚拟化的，且以服务的方式 提供。如今云计算已成为企业实力竞争 的核心以及国家竞争和战略发展的核心， -精选财经经济类资料- -最新财经经济资料-感谢阅读- 3 我国政府在国民经济和社会发展第十 二个五年规划纲要6中指出要大力发 展新一代信息技术，重点发展云计算、 物联网、高端软件等产业；美国政府也 于 2011 年出台联邦云计算战略7。 大数据和云计算是目前 IT 行业 两个最大的创新，它们将改变商业管理 的方式并从最重要的信息资产中获取相 应的价值，二者之间的相互需求与密切 关系已得到公认。传统的单机技术在处 理大数据时遇到了瓶颈，需要借助云计 算平台的大规模数据存储环境和并发计 算能力来破解。云计算通过整合软硬件 资源，使用负载均衡、虚拟化、并行计 算、网络存储、统一管理等技术手段， 实现了 IT 服务的无缝化、定制化和弹 性服务，可以使大数据平台的复杂性大 为降低，能方便地存储与处理异构系统 中的海量数据，提升资源的利用效率。 2 计算机专业人才培养现状 在大数据和云计算产业高速发展 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 4 的背景下，计算机专业的高等教育凸显 出以下两大问题。 （1）新技术人才需求缺口大。 麦肯锡全球研究院在 2011 年 5 月发表 的报告中指出，预计美国具备数据高级 分析技能的人才供给量，到 2018 年将 产生 1419 万人的缺口8。研究机构 IDC 在 2012 年的调查发现，亚太地区 的云计算相关人才年需求增长率为 32%，到 2015 年人才缺口将达到 230 万人9。中国软件开发联盟 CSDN 发 布的2014 年 IT 企业招聘趋势调研报 告10指出，大数据、云计算技术岗 位市场需求比例为 6.65%； 2015 年 IT 人才招聘趋势分析 11指出，该类 职位平均薪酬高达 33 万元/年，人才稀 缺且身价昂贵。 （2）技g 人才培养与社会需求 脱节。传统 IT 类专业学生就业越来越 困难。麦可思研究院在 2013 年发布的 中国大学生就业报告中指出，2012 届 IT 相关专业的本科毕业生半年后失业率 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 5 为 8.5%，计算机科学与技术、信息管 理与信息系统、电子信息科学与技术等 专业就业情况被亮黄牌12。 以上两个问题不仅造成计算机专 业毕业生就业压力加剧，也严重制约了 我国新技术产业的发展。 2011 年，软件工程被增设为一级 学科（专业代码为 0835） 。软件作为经 济建设、日常工作及社会生活中不可缺 少的重要工具，已渗透到各个应用领域， 在高等教育中也产生了许多专业方向， 如软件开发、软件测试、移动开发、服 务外包等。作为交叉性极强的学科，大 数据应用涉及数学、统计学、计算机技 术、经济学、行业知识等各个领域，与 传统的计算机科学与技术专业和当前的 软件工程专业差别较大，考虑到大数据 技术的重要性，可以将数据工程设置为 软件工程学科的一个专业方向，主动适 应经济社会发展需要，促进学生就业， 为大数据产业的发展奠定人才基础。 3 数据工程师的能力培养 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 6 大数据时代的到来，加剧了培养 相关专业人才的紧迫性。当前，国内外 部分高校已经开始进行大数据及云计算 专业人才的培养。美国有 60 多所大学、 欧洲有 30 多所大学、全球有近 170 所 大学开设了大数据相关专业，其中约 150 所大学开设了硕士研究生以上的学 位课程8。国内有少数重点院校，如上 海交通大学、浙江大学、中国人民大学 和北京航空航天大学，也开始尝试培养 大数据及云计算专业人才。然而，这些 知名高校绝大多数是在硕士研究生以上 层次，围绕商业数据分析和数据科学范 畴进行研究型人才的培养，应用型院校 开设相关专业进行工程人才的培养还非 常欠缺。新建本科院校应以服务区域经 济发展为主，着力培养能在生产和工程 第一线从事工程实施和管理的应用型工 程师，而软件工程专业数据工程方向所 培养的数据工程师就是能使用云计算平 台进行大数据分析和应用的新技术人才。 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 7 早期高校培养的是“I 型”专业人 才，注重知识和技术的深厚；之后，大 学强调培养“T 型” 通用人才，除加深专 业知识外，还强调知识面的扩展。在大 数据时代，数据处理将更为复杂，只有 那些具备统计分析、数据库、分布式计 算、编程技能和相关专业知识的人才， 才能把混乱庞杂的数据转化为有价值的 资源；也只有那些能够深刻理解大数据 并懂得如何利用和分析大数据的人，才 有更大的竞争优势。因此，当前更需要 的是具备多种能力的复合型人才，数据 工程专业方向要培养的是“技术+业务” 的“ 型”复合人才。 应用型工程师区别于研究型人才 的关键在于培养人才的工程能力，强调 动手能力和解决实际问题的能力。教师 可通过分布式存储和海量数据管理、并 行编程和大数据分析挖掘、PaaS 平台应 用 3 方面的能力训练，培养掌握设计、 开发和调优技能的数据分析工程师以及 掌握规划、安装和管理大数据环境的运 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 8 维工程师。 4 数据工程课程群 设计 课程群的建设不是简单的概念组 合和课程堆积，尤其是针对新技术方向， 须从实际应用角度系统地对教学内容进 行再设计，对相关课程的结构、关联性 和实践环节进行整体优化。数据工程是 一个典型的交叉学科，涉及众多领域， 如数学和统计学、数据库与数据挖掘、 分布式系统、计算机编程语言等，所以 它的人才培养体系较为复杂。根据“ 型”复合人才的培养要求，课程群以云 计算作为技术平台，以大数据应用作为 业务领域，对教学体系进行整体设计和 构建。 数据工程课程群划分为 4 条课程 主线，每条课程主线包含如下若干门专 业课。 （1）操作系统与网络：操作系 统原理、计算机网络和 Linux 操作系统； （2）云计算与并行编程：云计 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 9 算基础、云基础架构与虚拟化、Java 程 序设计以及 Hadoop 与分布式系统； （3）数据库与数据挖掘：数据 库原理、MySQL 与关系数据库、 NoSQL 与云数据库以及数据仓库与数 据挖掘； （4）大数据及其统计分析：统 计学原理、大数据概论、大数据分析与 挖掘以及 R 语言。 整个课程群还涉及几门平台基础 课，即计算机组成原理、数据结构和概 率论与数理统计，还包含少量选修课， 如商业智能和数据可视化。数据工程课 程群中课程设置的先后关系大致如图 1 所示。 由于计算机学科本身专业课程多、 课时量大，在课程总学时不变的情况下， 可能无法完成上述所有课程。为此，可 将数据工程专业的专业课分成云计算课 程模块、大数据课程模块以及技术要求 更高的选修课。教师可根据学生的具体 情况，选择一个课程模块进行培养，将 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 10 专业选修课提供给有兴趣和学有余力的 学生进阶学习。课程的模块划分见表 1。 应用型工程师的培养主要强调对 软件及工具的学习与掌握，教学设计方 面要强化实验及实践课程。作为 Google MapReduce 和 GFS 技术的开源实现， Apache Hadoop 集成了数据存储、数据 处理、系统管理等功能，提供了强大的 系统级解决方案，已经成为大数据领域 事实上的标准。数据工程的大部分课程 都围绕 Hadoop 生态圈中的软件或平台 开展实验教学活动，主要学习 Hadoop 的以下开源产品： HDFS、MapReduce 、HBase、Hive、Pi g、Spark 、Mahout 。各门课程的实验工 具见表 2。 5 大数据实验室建设 大数据主要来自于物理世界（如 科学实验数据和传感数据）和互联网 （如社交网站和电子商务） ，包括大量 的半结构化数据（如 HTML 和 XML） -精选财经经济类资料- -最新财经经济资料-感谢阅读- 11 和非结构化数据（如文本、图片、音频、 视频和 UGC） 。云计算则可以为大数据 处理提供强大的计算能力。作为技术平 台的云计算环境与以往高校计算机专业 的实验室环境完全不同，以往实验课的 计算机通常是 1：1 使用，即一名学生 使用一台计算机，如语言类课程和数据 库课程；或者是 N：1 使用，即多名学 生使用一台服务器，如软件工程和项目 管理课程。 云计算环境的计算机是 N：N 使 用，即一组学生使用一个集群并涉及多 种计算机技术，如 Linux 系统、Shell 命 令、虚拟化技术、分布式存储、并行计 算、Java 编程、数据挖掘算法等，这在 软硬件环境、实验管理、人员组织与搭 配等方面，对高校实验室建设是一个新 挑战。 每个云计算环境都由硬件和软件 两部分构成。硬件方面至少由 34 台 PC 组成，其中 1 台 Master、2 台以上 Slave 和 1 台监控机；软件方面， -精选财经经济类资料- -最新财经经济资料-感谢阅读- 12 Master/Slave 可以由物理机安装 CentOS 或者 VMware Workstation 安装 CentOS，之后安装 JDK 和 Hadoop、HBase、Spark 等软件工具， 监控机安装 Windows 系统，使用 SecureCRT、 CuteFTP、UltraEdit 对 Master/Slave 进行配置和管理，使用 Eclipse 作为开发工具。 35 名学生组成一个实验小组， 使用一个云计算环境，一个大数据实验 室包含 68 个云计算环境，可以支持 3040 名学生同时开展实验课；学生使 用 Java 语言，结合 MapReduce 编程框 架，完成数据挖掘和统计分析算法。这 样的大数据实验室能够支持 Hadoop 与