大数据实训室建设项目解决方案大数据实训室建设方案

1、大数据实训室建设项目 解决方案 目录 1.1. 大数据实训室建设背景 4 4 1.11.1 中国大数据产业空间高速增长 4 4 1.21.2 大数据人才紧缺 5 5 1.31.3 教学中存在的问题 7 7 1.41.4 大数据人才就业方向 8 8 2.2. H3cH3c 大数据解决方案简介 1414 3.3. H3cH3c 大数据实训室建设目标 1818 4.4. H3cH3c 大数据实训室总体设计 1919 4.14.1 培养方向及目标 1919 4.24.2 实训室方案设计 2020 4.34.3 大数据实训室建设思路 2222 4.44.4 实验平台建设原则 2323 4.54.5 实验

2、平台教材大纲 2626 4.64.6 实训室课程目标 2828 4.74.7 学员能力要求 2828 5.5. 实训室室的相关服务 2929 5.15.1 *培训中心介绍 2929 5.25.2 师资培训 3131 5.35.3 新技术、新应用定期交流 3333 5.45.4 实验室设备维护服务 3434 . .大数据实训室建设背景 中国大数据产业空间高速增长 20152015 年 9 9 月 5 5 日，国务院印发促进大数据发展行动纲要。 纲要首次从国家层面认定数据是国家基础性战略资源，将大数据 行业定位到国家战略层面，大数据成为推动经济转型发展的新动力， 成为重塑国家竞争优势的新机遇，成为

3、提升政府治理能力的新途径。 大数据发展，打破信息孤岛是关键。纲要指出，要加强顶层 设计和统筹规划， 形成公共数据资源合理适度开放共享的法规制度和政策体系。 20182018年底前，建成国家政府数据统一开放平台。20202020 年底前，逐步实现信用、交通、医疗等领域的政府数据集向社会开放。 目前，信息孤岛问题依然是阻碍大数据前行的关键要素。目前，60%60% 的主管部门认为数据分布和共享存在难题，这源于不同部门间数据开放标准的不统一，以及在早期建设中各自独立进行和外包导致数据格式标准等的不同。因而建立数据统一平台的前提就是打破信息孤岛，实现数据共享，这对于行业发展至关重要 大数据行业空间将逐步

4、释放。纲要提出，到 20202020 年，我国将形成一批具有国际竞争力的大数据处理、分析、可视化软件和硬件支撑平台等产品；并且培育1010 家国际领先的大数据核心龙头企业，500500 家大数据应用、服务和产品制造企业。相关内容以及时间节点表明大数据产业行业空间将逐步加速释放。 20142014 年全球大数据产业对 GDPGDP 贡献约 270270 亿美元，行业尚处于幼稚阶段。我国20142014 年大数据产业市场约 8080 亿 RMBRMB 这一数据正以接近年 30%30%的速度增长。 大数据人才紧缺 当下，大数据的趋势已逐步从概念走向落地，而在 ITIT 人跟随大数据浪潮的转型中，各大

5、企业对大数据高端人才的需求也越来越紧迫。这一趋势，也给想要从事大数据方面工作的人员提供了难得的职业机遇。伴随移动互联网、智能终端、云计算、物联网技术的发展，数据呈现爆炸式增长，大数据时代正向我们逐步展开一场意义深远的数据 革命，对全球整合经济时代的业务和服务产生深远的影响 经不再局限于技术领域，而是已经成为组织机构一项优先考虑的技术创新，因为它除了能够应对长期存在的业务挑战之外，大数据还为流程、组织、整个行业、甚至大数据已 社会本身的转型激发了许多新的方式。国内各行业也都在积极投身到大数据应用的浪潮中，迎接“互联网+”+” 带给我们的机遇和挑战。在大数据时代，企业之间正在为了吸引并留住大数据专

6、业人才而展开竞争，不论是拓展大数据业务的百度、阿里、奇虎 360360 等互联网公司，还是专业提供数据服务的大数据服务商，以 及拥有大量数据的传统行业，对专业大数据人才都有着迫切的需求。 据专业机构的调查预测，中国未来 3 3- -5 5 年内的大数据人才需求总量将 达到 180180 万人，目前的人才缺口现状至少有 150150 万人。 在国家中长期教育改革和发展规划纲要中，教育信息化首次被纳入国家信息化发展整体战略，它的重要意义被提升到前所未有的高度。教育信息化已经开始为支撑学校的整体发展战略提供保障，并 成为提升高校核心竞争力的重要手段。 教学中存在的问题 “知己知彼，百战百胜“，培养社

7、会需求的人才，首要是了解目前的教学中存在的问题，从这些问题着手进行分析，得出结论，并有针对性的进行教学改革，当前，教学中大体有如下 5 5 个问题急需解决： . .院校教学目标界定不清，无法满足“零距离”上岗的要求，很多学生在院校学习了 ITIT 相关的基础课程，但进入工作岗位后仍需要到专门的培训机构进行培训后方可上岗。 . .教材内容严重与所学专业脱节，教材中的知识已经满足不了当前行业的需求。如果更换教材，那么院校需要重新进行课程建设，而且还牵扯到课程体系建设，课程研发的问题，此类方式受各方面原因的影响无法实施。 . .师资力量薄弱，当前院校进行教学规划时，被一个硬指标制约着一一师资水平。但

8、是，网络技术行业发展十分迅速，院校教师又无法及时的了解到当前最前沿的网络技术。 . .实践环节重视不够，学生动手能力明显不足，网络技术专业是 典型的理论与实践结合的专业，学生光学不练，无法满足用人单位的需求。 5,5,校企合作力度不足， 院校培养的毕业生最终要实现就业， 接口单位就是用人公司。那么用人公司是最有权威提供其就业条件的机构，校企合作是提升人才培养效果的最佳实践。 新型实训室的建立，将会涉及相关课程教学方法与模式的改革，以及虚拟化、云计算和大数据等前沿技术的研究与开发， 有力推进教学研究和教学改革工作的开展，促进校企合作、教学研究论文的发表与专利的申请。先进的实验环境也为学生提供了良

9、好的科技创新和学科竞赛的环境与氛围。 1.41.4 大数据人才就业方向 在“互联网+”战略之下，互联网行业高速发展，百度、新浪、阿里、腾讯等大型互联网公司以及大众创业，万众创新的创业型公司都在部署各自的大数据战略，大数据相关人才十分亟需，同时互联网、政府、金融、电力等各企事业单位信息化部署都在向大数据全面转型,大数据行业毕业生作为服务区域经济 ITIT 行业和企事业单位发展的重要力量 大数据需要以下六类人才： . .大数据系统研发工程师。 这一专业人才负责大数据系统研发， 包括大规模非结构化数据业务模型构建、 大数据存储、数据库构设、优化数据库构架、解决数据库中心设计等，同时，还要负责数据集群

10、的日常运作和系统的监测等，这一类人才是任何构设大数据系统的机构都必须的。 . .大数据应用开发工程师。 此类人才负责搭建大数据应用平台以及开发分析应用程序，他们必须熟悉工具或算法、编程、优化以及部署不同的 MapReduceMapReduce 他们研发各种基于大数据技术的应用程序及行业解决方案。其中，ETLETL 开发者是很抢手的人才，他们所做的是从不同的源头抽取数据，转换并导入数据仓库以满足企业的需要，将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库，成为联机分析处理、数据挖掘的基础，为提取各类型的需要数据创造条件。 . .大数

11、据分析师。 此类人才主要从事数据挖掘工作，运用算法来解决和分析问题，让数据显露出真相，同时，他们还推动数据解决方案的不断更新。随着数据集规模不断增大，企业对HadoopHadoop及相关的廉价数据处理技术如HiveHive、HBaseMapReducePigHBaseMapReducePig 等的需求将持续增长，具备 HadoopHadoop 框架经验的技术人员是最抢手的大数据人才，他们所从事的是热门的分析师工作。 . .数据可视化工程师。 此类人才负责在收集到的高质量数据中，利用图形化的工具及手段的应用，清楚地揭示数据中的复杂信息，帮助用户更好地进行大数据应用开发，如果能使用新型数据可视化工

12、具如 SpotifreSpotifre, ,QlikviewQlikview 和 TableauTableau, ,那么， 就成为很受欢迎的人才。 . .数据安全研发人才。 此类人才主要负责企业内部大型服务器、 存储、 数据安全管理工作， 并对网络、信息安全项目进行规划、设计和实施，而对于数据安全方面的具体技术的人才就更需要了，如果数据安全技术，同时又具有较强的管理经验，能有效地保证大数据构设和应用单位的数据安全，那就是抢手的人才。 . .数据科学研究人才。 数据科学研究是一个全新的工作，够将单位、企业的数据和技术转化为有用的商业价值，随着大数据时代的到来，越来越多的工作、事务直接涉及或针对数

13、据，这就需要有数据科学方面的研究专家来进行研究，通过研究，他们能将数据分析结果解释给 ITIT 部门和业务部门管理者听， 数据科学专家是联通海量数据和管理者之间的桥梁，需 要有数据专业、分析师能力和管理者的知识，这也是抢手的人才。 专业服务的职业岗位及典型工作任务如下表。 岗位 典型工作任务 运维 大数据初 级工程师 了解 storm/cassandra/hbase/spark/hadoopstorm/cassandra/hbase/spark/hadoop 等人数 据相关技术，至少精通一种处理和一种存储技术。 熟悉 ApacheHadoopApacheHadoop 的部署、性能调优； Lin

14、uxLinux 系统管理工作经验，精通一种或多种 LinuxShellLinuxShell 语言； 大数据运 维工程师 1 1、负责大数据（HadoopHadoop 的运维和优化工作； 2 2、熟悉 RDBMSRDBMS 比如 MySQLMySQL 的开发，熟悉 SQLSQL 语 言； 3 3、精通 java/c+/pythonjava/c+/python 之一 开发 大数据架 构师 对 HadoopHadoop 框架后较深的源代码研究 大数据分析与数据仓库设计及开发经验 有良好的数据分析及数据挖掘能力，可根据 需求定制数据处理策略 分布式存 1 1、精通 JavaJava, ,对数据结构和算法设计有较为深 储系统软 刻的理解，具有良好的分析问题和解决问题的能 件开发工 力 程师 2