大数据专业调研报告

PAGE8PAGE大数据技术与应用专业调研报告目录TOC\o"1-3"1 调研基本信息 31.1 调研目的 31.2 行业背景 31.3 调研方法及对象 41.4 调研内容 62 调研结果 62.1 行业调研 62.1.1 国家政策 62.1.2 行业现状 72.1.3 行业前景 82.2 就业前景 102.2.1 企业对大数据人才需求激增，复合型人才需求更甚 102.2.2 大数据人才供给严重不足 122.3 就业岗位及能力要求分析 122.3.1 就业岗位 122.3.2 业务职责 172.3.3 知识体系 182.3.4 综合素养 193 专业定位 193.1 人才培养目标、面向岗位、规格 193.2 支撑人才培养目标的人才培养体系 213.3 支撑人才培养目标的条件保障 214 专业建设条件分析 224.1 生源分析 224.2 条件现状分析 22调研基本信息调研目的通过本次调研收集和分析大数据专业学生的社会人才需求状况、能力要求以及相关岗位的工作内容，了解社会、行业以及企业对大数据专业人才知识、技能、素质要求的变化和趋势，为学校大数据专业设置、教学教研、招生规模、学生就业指导提供信息，为专业人才培养目标定位、教学计划和课程标准的修订、教学的改革提供依据和帮助，提高学校人才培养质量及毕业生的就业质量。行业背景“大数据（bigdata）”，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。"大数据"是一个体量特别大，数据类别特别大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。"大数据"首先是指数据体量(volumes)大；其次是指数据类别(variety)大，数据来自多种数据源，数据种类和格式日渐丰富，已冲破了以前所限定的结构化数据范畴，囊括了半结构化和非结构化数据。接着是数据处理速度（Velocity）快，在数据量非常庞大的情况下，也能够做到数据的实时处理。最后一个特点是指数据真实性（Veracity）高，随着社交数据、企业内容、交易与应用数据等新数据源的兴起，传统数据源的局限被打破，企业愈发需要有效的信息之力以确保其真实性及安全性。大数据技术是指从各种各样类型的巨量数据中，快速获得有价值信息的技术。解决大数据问题的核心是大数据技术。目前所说的"大数据"不仅指数据本身的规模，也包括采集数据的工具、平台和数据分析系统。大数据研发目的是发展大数据技术并将其应用到相关领域，通过解决巨量数据处理问题促进其突破性发展。因此，大数据时代带来的挑战不仅体现在如何处理巨量数据从中获取有价值的信息，也体现在如何加强大数据技术研发，抢占时代发展的前沿。调研方法及对象本次调研主要以企业问卷调查表和上门座谈的方式相结合，并结合网络企业招聘需求，调查了近100家企业的大数据用人需求，包括阿里云授权服务商、渠道提供商以及客户企业，以下挑选了10家企业作为代表：调查企业名称企业性质（打√）调查企业所属行业调查企业访谈对象企业基本情况（规模、地位等）国有民营外资其它江苏中楚电子科技有限公司√计算机软件互联网/电子商务人事主管江苏中楚电子科技有限公司专注于移动智能终端领域，面向全球客户提供领先的电子产品、信息服务及行业解决方案的供应商及运营商。现已和国内外多家移动运营商、互联网公司、终端设备厂商及内容服务厂商建立紧密的战略合作关系。北京科莱特信息技术有限公司√计算机软件多元化业务集团公司人事主管北京科莱特信息技术有限公司是国内专业的IT服务供应商，专注于企业信息化解决方案。特别是在SAP/ERP领域在国内享有很高的知名度。科莱特的服务网络遍布中国大陆，并为众多国际国内500强企业提供项目实施、技术支持等。多年来，科莱特不断的扩大其解决方案和服务范围，并且与国际领先的IT产品和服务供应商SAP、IBM、HP、埃森哲、亚信联创等建立长期战略伙伴关系。上海梦创软件科技有限公司√计算机软件人事经理上海梦创软件科技有限公司的前身双杨公司成立于1993年，20多年来，公司专注于智慧党务、智慧政务和大数据三大领域，公司总部位于上海，在北京、南京、济南、广州、沈阳、重庆、珠海、成都、呼和浩特等地设有分公司和办事处，客户在全国超过5000家，包括18家省部级单位、20家副省级党校、覆盖40多个行业，党校（行政学院）占有率超过70%，部委机关协同办公的市场占有率超过30%，是当之无愧的国内“党政信息化”***。公司处于快速成长期，近三年复合增长率超过40%。江苏达科信息科技有限公司√计算机软件项目主管江苏达科信息科技有限公司成立于2005年4月7日，目前注册资本5000万元人民币。江苏达科是一家集网络系统集成、网络安全服务、应用软件开发、软件外包技术服务、智能交通产品研发以及物联网技术研发为一体的高新技术企业。江苏中兴华易科技发展有限公司√计算机软件/增值服务售前工程师江苏中兴华易科技发展有限公司是由上市电信设备制造商——中兴通讯股份有限公司（SZ：000063）与江苏华博实业集团共同投资成立的软件企业，依托大数据致力于成为移动互联网以及行业领域的专业解决方案服务商。江苏欣网视讯软件技术有限公司√计算机软件通信/电信运营、增值服务售前工程师江苏欣网视讯软件技术有限公司()的前身是南京欣网视讯科技股份有限公司，创建于1998年，是由上海富欣投资发展有限公司、中广有线信息网络有限公司、中信信息科技投资有限公司、南京大学、南京贝豪科技有限公司等共同投资组建的股份制公司。2003年10月，公司在上海证券交易所挂牌上市（股票名称：欣网视讯，股票代码：600403）。服务江苏苏源高科技有限公司√计算机软件售前工程师江苏苏源高科技有限公司（简称苏源高科）是一家专业从事大型行业应用软件开发、智能配用电产品研发生产及能效服务、信息系统集成、建筑智能化工程设计与施工、计算机硬件产品销售、视觉创意及品牌形象推广于一体的知名高新技术企业。公司成立于2000年11月，注册资金人民币5000万元，拥有一支年轻充满活力、积极进取创新的专业团队。公司以优化结构为基础、技术创新为动力，快速成长、稳健发展，多年来保持着稳健的增长势头。南京南恒软件科技有限公司√计算机软件计算机服务(系统、数据服务、维修)项目工程师南京南恒软件科技有限公司是一家自主研发游戏软件及提供移动终端应用软件、游戏软件等研发外包服务的专业公司，成立于2013年9月。公司致力于为客户提供移动应用软件开发、游戏定制、本地化和全球化移动商务解决方案等业务外包及相关资讯服务。我们拥有全国最资深的iOS、Android及开发团队；组建了全球最前沿的Windows8及WindowsPhone8技术研发团队；提供全平台解决方案。现已经实现了iOS、Android、iMac、PC以及智能电视多平台互动的尖端技术。浙江立元通信技术股份有限公司√通信/电信/网络设备通信/电信运营、增值服务人事经理江苏博融信息技术有限公司是一家专业从事信息技术的高新企业。公司以发展计算机应用高新技术产业为目标，以行业用户专业应用软件开发为主体，以系统集成、技术服务为重点，专业致力于为政府、医疗、金融、传媒、电信、制造等领域。为各行各业的用户提供战略性的IT整合解决方案。江苏运时数据软件股份有限公司√计算机软件人事主管江苏运时数据软件有限公司是一家专业从事商业智能（BI）软件产品研发，面向中小银行、金融及制造业提供数据交换（DE）、数据加工（ETL）、多维数据分析（OLAP）和数据挖掘（DM）平台为一体的商业智能软件基础工具平台产品供应、BI行业应用产品开发、BI产品咨询及提供BI项目实施的高科技软件企业。总计100调研内容1、行业与就业调研大数据国家政策分析大数据行业现状分析；大数据行业前景分析；大数据人才的需求分析。2、企业调研企业招聘员工的素质要求；企业大数据岗位员工的薪酬待遇；企业大数据从业人员的主要岗位；企业大数据岗位的主要工作任务；企业大数据岗位的职业发展路径。调研结果行业调研国家政策自2015年国务院制定“互联网+”行动计划以来，我国政府制定了一系列指导及规划政策促进大数据发展。2015年从3月至7月，国务院先后出台了多项与大数据密切相关的政策文件。大数据产业发展、行业推广、应用基础、安全管理等重要环节的宏观政策环境已经基本形成。（1）2015年3月，《国务院关于积极推进“互联网+”行动的指导意见》（国发〔2015〕40号）（2）2015年4月，《创新投资管理方式建立协同监管机制的若干意见》（国发〔2015〕12号）（3）2015年5月，工信部将编制实施软件和大数据产业“十三五”规划（第十九届中国国际软件博览会开幕式致辞）（4）2015年6月，工信部提出要加快推进云计算与大数据标准体系建设（第七届云计算大会）（5）2015年7月，《国务院办公厅关于运用大数据加强对市场主题服务和监管的若干意见》（国办发（2015）51号）（6）2015年8月，《促进大数据发展行动纲要》（国发（2015）50号）行业现状改革开放三十多年，中国走过了美国等资本主义国家上百年才走完的发展道路。通过传统互联网、个人计算机、移动互联网竺信息技术提供的支撑，加速了我国经济和社会发展的速度。中国的现在及未来的发展，也将依靠层出不穷新的信息技术，所以我国各级政府一直以来对新的信息技术应用给与了充分的认识。市场规模快速增长。十二五以来，我国大数据产业从无到有，全国各地发展大数据积极性较高，行业应用得到快速推广，市场规模增速明显。易观国际数据显示，2011-2014年，我国大数据市场规模分别为37.4亿元、47.3亿元、59亿元和75.7亿元，年平均复合增长约为27%。易观国际同时预测，2015、2016年我国大数据市场规模将保持约30%的增长速度，在十二五末市场规模接近100亿元。我国已经初步形成了由互联网企业（以百度、阿里、腾讯为代表）、传统IT厂商（以华为、联想、浪潮、曙光、用友等为代表）、大数据企业（以亿赞普、拓尔思、海量数据、九次方等为代表）共同组成的市场供给关系，但各环节发展水平不均衡，在大数据产业链高端环节缺少成熟的产品和服务，面向海量数据的存储和计算服务较多，而前端环节数据采集和预处理，后端环节数据挖掘分析和可视化，及大数据整体解决方案等产品和服务较为匮乏。行业前景大数据经过前几年的概念热炒之后，逐步走过了探索阶段、市场启动阶段，当前已经在接受度、技术、应用等各个方面趋于成熟，开始步入产业的快速发展阶段。大数据巨大的应用价值带动了大数据行业的迅速发展，行业规模增长迅速。截至2014年，全球大数据市场规模已经成长到300亿美元的空间，预测到2017年全球大数据技术和服务市场的2018年的复合年增长率将达到26.4%，规模达到415亿美元，是整个IT市场增幅的6倍。大数据市场规模在2020年有望达到611.6亿美元，符合年增长率将达到26%。中国大数据产业起步晚，发展速度快。物联网、移动互联网的迅速发展，使数据产生速度加快、规模加大，迫切需要运用大数据手段进行分析处理，提炼其中的有效信息。2014年，中国大数据市场规模达到767亿元，同比增长27.8%。预计到2020年，中国大数据产业规模将达到8228.81亿元。2015-2017年复合增长率为51.5%。2014年，中国大数据应用市场规模为80.54亿元，同比增长3.2%，预计2015年市场规模将增长37.3%，至110.56亿元，预计到2020年，中国大数据应用市场规模将增长至5019.58亿元。2015-2017年复合增速为87.8%。全球大数据市场结构从垄断竞争向完全竞争格局演化。2014年，企业数量迅速增多，产品和服务的差异度增大，技术门槛逐步降低，市场竞争越发激烈。全球大数据市场中，行业解决方案、计算分析服务、存储服务、数据库服务和大数据应用为市场份额排名最靠前的细分市场，分别占据35.4%、17.3%、14.7%、12.5%和7.9%的市场份额。云服务的市场份额为6.3%，基础软件占据3.8%的市场份额，网络服务仅占据了2%的市场份额。就业前景企业对大数据人才需求激增，复合型人才需求更甚WANTEDAnalytics公司在对过去12个月美国就业市场“大数据”相关岗位的分析中发现：就岗位数量而言，需要“大数据”技能的岗位空缺呈现高速增长，如下图所示，其中“大数据”解决方案的销售人员、计算机系统分析师、管理分析师、IT项目经理、和信息安全分析师岗位的增幅都在100%以上。这一增长趋势也将延续至2016年。而就招聘企业而言，易安信、IBM、思科、甲骨文在2015年招聘的“大数据”人才最多。其他前十的企业信息如下：我国工信部数据统计也显示，未来几年将是我国大数据产业人才需求迅猛增长的时期，人才缺口将达百万。其主要原因有：1、大数据产业市场规模快速增长，人才需求数量激增。2、相关大数据企业加大对核心技术的投入，提高对客户的服务，无论从技术层面，运营商层面还是集成与服务提供层面，人才需求巨大。3、随着大数据新市场、新业务、新应用的不断出现，国内外各大知名IT与CT企业加速占据国内大数据产业高地，在全国加速建立分公司和研发中心，人力需求迅猛。4、大数据产业已覆盖政府、金融、交通、企业、教育、医疗、信息消费等各应用领域，并且与通信、物联网、互联网产业相融合，复合人才需求加剧。大数据人才匮乏已成为全国大数据企业目前面临的通病，其中以中西部地区最甚。现在大数据高、中、低三档人才均存在人才短缺问题，其中技术、研发类人才难找，复合型大数据应用人才更加稀少。与信息技术其他细分领域人才相比，大数据产业对人才的复合型能力要求更高，不仅要具备数学、统计学、机器学习等基础知识，拥有数据分析和数据挖掘能力，还要拥有大数据思维，懂得具体业务领域。大数据人才供给严重不足作为新兴产业的大数据普遍虽受到地方政府高度重视，一些中西部省市更是希望分得大数据产业发展的红利，但目前大数据复合型人才严重匮乏、人才培养机制不足、产业“造血”能力薄弱等问题突出。业内人士认为，大数据人才建设亟待政府、产业界和高校的联合培养，人才培育机制需要创新。国内高校对于大数据人才培养仅仅处于探索和起步阶段，大数据对口专业人才供给尚不能满足当前大数据产业发展的需要。专业人才供给缺乏系统性和完整性，供给结构不均衡，人才供给多定位于高学历、研发性的岗位需求，技能型、应用型人才供给偏弱，造成产业链的人才供给存在严重短板。据信息技术研究与顾问公司Gartner预测，到2016年，大数据将为全球带来440万个就业岗位，但拥有大数据技能的人才短缺，只有三分之一岗位可以招到胜任的人才。由于我国大数据应用起步相对较晚，教育和职业培训尚不能很好的满足行业发展需求，目前缺口已经超过100万人。就业岗位及能力要求分析就业岗位通过对阿里云官方合作伙伴、服务提供商，及用户企业的走访以及汇总数据分析，挑选了一些单位的岗位设置情况如表所示：

企业名称岗位名称江苏中楚电子科技有限公司大数据开发工程师北京科莱特信息技术有限公司大数据研究数据库管理员数据分析数据库工程师数据运营初级数据分析师数据库维护上海梦创软件科技有限公司大数据底层研发工程师江苏达科信息科技有限公司大数据技术支持工程师数据运维工程师数据应用工程师江苏中兴华易科技发展有限公司Hadoop大数据开发工程师数据库工程师江苏欣网视讯软件技术有限公司大数据开发工程师大数据产品经理大数据项目经理大数据算法工程师数据库开发工程师大数据JAVA技术经理江苏苏源高科技有限公司大数据开发工程师数据库管理员南京南恒软件科技有限公司大数据开发工程师大数据架构师浙江立元通信技术股份有限公司大数据开发工程师江苏运时数据软件股份有限公司软件工程师（大数据）通过智联招聘对北京、上海等地区信息技术相关企业对大数据人才精准需求情况统计，2016年10月份前三周对大数据人才的招聘信息发布次数为：北京5426条、上海5144条、广州2403条、深圳2564条、南京1091条、武汉1350条。主要招聘的职位有大数据开发工程师、大数据架构师、大数据分析工程师、大数据咨询顾问、大数据统计工程师、大数据运营经理、大数据挖掘与处理专员、大数据存储工程师等等。数据来源：综合分析大量的调研数据，得出适用于高校的大数据相关的岗位关系图如下图所示：大数据研发工程师大数据研发工程师大数据运维工程师大数据处理工程师大数据运营经理大数据分析工程师大数据建模工程师大数据算法工程师基础岗位核心岗位高级岗位大数据架构工程师根据大数据岗位的定位，针对高职学生特点，适合于高职毕业生的岗位包含大数据研发工程师、大数据运维工程师、大数据运营专员、大数据分析工程师、大数据处理工程师等岗位。这些岗位及工作内容、能力要求，汇总如下表：岗位工作内容技能要求大数据助理工程师1、在项目经理指导下分析业务需求，确定开发的技术架构和技术路线；2、完成相应模块软件的设计、开发、编程、测试任务；3、负责大数据数据分析和挖掘平台的规划、开发、运营和优化；4、根据项目设计开发数据模型、数据挖掘和处理算法；5、通过数据探索和模型的输出进行分析，为业务部门的工作开展提供数据支持；6、整合外部的第三方数据并生成动态数据库，最终为企业决策提供清晰、准确的数据支撑。1、对于大数据理论、行业应用有深刻认识与研究，了解大数据技术，如Hadoop、Spark、storm；2、能够依据业务类型快速进行产品分析设计，对产品提出系统改进建议；4、具备需求调研、产品策划、原型设计、数据分析等产品相关工作能力；5、精通Office、Visio、Axure、MindManager等工具软件的使用，至少熟练一种数据库操作，如MYSQL、SQLSERVER等；6、较强的归纳总结能力，较强的逻辑分析推理能力、沟通表达能力。数据分析工程师1、运用算法来解决分析问题，并且从事数据挖掘工作，能够让数据道出真相;2、帮助开发数据产品，推动数据解决方案的不断更新；3、运用算法解决分析问题，并且从事数据挖掘工作；4、为公司项目提供数据支持、数据决策分析、支持公司战略决策的数据分析。1、对基于Hadoop、Spark的数据分析和处理有一定的经验；2、熟悉一门以上开发语言(Python、Scale、Java)、熟悉主流MYSQL、oracle数据库，对主流分布式存储和运算有一定的了解和项目经验；3、熟练使用SPSS、SAS或其它数据挖掘软件，具备一定数据建模和分析理论知识和经验，熟悉常用数据结构和数据处理算法。大数据处理工程师1、熟悉智能推荐各类算法，并参与公司平台建设和应用；2、负责Hadoop、HBase等大数据平台的规划、部署、建设、维护、优化等工作；3、根据需求将数据在非关系型和关系型数据库之间转化；4、负责与外围各业务数据对接，利用ETL工具将数据导入数据仓库；5、开发各种Hadoop大数据自动化运维与监控工具；6、负责利用大数据处理对海量数据进行分析、建模、展现和应用挖掘数据的价值。1、精通SQL，熟悉Hadoop、Hive、Spark、Hadoop、Hbase等大数据主流技术平台及开源框架，具有相关系统的部署、运维、开发经验；2、具有扎实数据结构和算法功底，掌握Java/Python等至少一门高级编程语言；3、熟悉Shell和Linux开发环境，拥有Java、Python开发经验者优先；4、熟练掌握MySQL等关系型数据库；5、精通java后台程序设计，有实际系统的问题排查与调优经验；6、对数据结构、算法有深刻理解，有hadoop等系统源代码阅读经验。大数据运维工程师1、参与项目技术平台安装部署、日常运行维护与故障处理、大数据组件补丁升级管理；2、平台的自动化部署，运维，监控，告警处理，收集Hadoop的各项metrics指标，确保集群的正常运行；3、能够针对hadoop生态系统的批量部署场景进行运维调优，完善运维工具，合理使用，监控报警、提高数据平台品质；4、负责任务调度平台配置及运维管理，协助管理大数据平台运维工作。1、掌握数据仓库理论知识，具有较强的数据仓库模型设计和ETL设计能力；2、熟悉hadoop平台的运维，调优，保障线上集群的稳定可靠；3、能熟练编写linux下的shell脚本，能开发相关安全管理工具；4、对运维的网络和存储能有一定理解；5、有spark、HBase、及Hive等平台的运维计算经验；6、科学合理的选择阿里云相关服务，快速部署相关服务，利用开源软件搭建云服务，并进行相关测试。大数据可视化工程师1、负责大数据系统的设计和开发工作，如个性化推荐系统、精准营销、用户画像等数据产品的设计和开发工作；2、配合需求人员，完成功能模块，支撑日常业务数据需求，负责系统优化，问题跟进并及时解决；3、负责收集到的高质量数据中，利用图形化的工具及手段的应用，一目了然地揭示数据中复杂信息，帮助企业更好的进行大数据应用开发，发现大数据背后巨大财富。1、有较强编程能力，熟悉C/C和python，能够设计搭建大数据平台；2、较强逻辑思维能力及软件、算法实现能力，进行抽取、清洗、加工等数据处理；3、能够自主设计基于云架构的数据仓库模型，基于大数据平台进行研发、运维、管理等；4、熟悉数据库，应用服务器，和相关开发语言。有良好的数据库设计能力和sql编写能力。有hadoop、storm、spark、zookeeper等相关开源项目。大数据开发工程师1、负责集群的日常运作、系统的监测和配置、Hadoop与其他系统的集成；2、基于MySQL/Redis/HBafka/Hadoop/hive搭建、开发大数据分析平台的后台服务，支持数据接入、落地、统计、分析业务；3、构建基于spark/storm的实时数据处理平台，支撑上层业务使用，如：数据监控、日报展现、统计分析、业务方调用等；4、构建基于hive的即席查询数据统计分析平台；5、负责数据平台的设计、开发、维护与优化，不断创新，满足上层数据运营体系各项需求。1、熟悉Linux的Shell命令，灵活运用Shell做文本处理和系统操作；2、熟悉分布式计算各种范式，分布式算法实现，有较好的分布式架构设计能力；3、能够使用SQL操作复杂的数据模型并有SQL优化的经验；4、熟练Golang，Scala，具有丰富海量数据ETL加工处理经验，从事分布式数据存储与计算平台应用开发；5、能熟练搭建hadoop集群环境，熟悉hdfs文件系统，熟练编写MapReduce的优先考虑；6、熟悉hadoop、hbase、hive的原理并具备管理，配置，运维；7、掌握Scala语言，至少精通Python、Perl、Bashshell脚本语言中的一种；8、熟悉分布系统设计范型，有大规模系统设计和工程实现经验。大数据架构工程师1、负责公司数据中心整体架构设计和研发，负责大数据平台的架构选型、设计及搭建工作。2、负责海量数据存储与处理、高性能计算项目的架构设计，撰写相关文档。3、负责实时数据收集、监控，灵活的业务数据报表，及挖掘和模型工作。4、参与企业级大数据产品和应用规划，研究跟进大数据架构领域新技术；5、制定大数据产品总体架构，攻克技术难关和主导关键技术决策。1、熟悉Linux操作系统，了解网络、数据存储等原理；2、熟悉分布式系统或分布式数据库系统的理论及工作机制；3、熟悉一种以上常用编程语言，如java、scala、python、shell等；4、熟悉Hadoop底层文件系统,Hadoop分布式计算框架和Hbase/HIVE等数据平台架构设计能力和数据建模能力；5、精通一种以上大数据技术，如flume、spark、elasticsearch等；6、具有基于大数据技术平台的架构设计与平台调优经验；7、了解云计算平台，具有在云环境部署实施工作经验者优先；8、了解信息安全理论，具备相关信息安全经验者优先。大数据系统研发师1、负责大数据产品的研发管理，打造完备的大数据技术体系；2、负责大数据核心产品的设计规划，包括系统架构、技术选型、关键技术研发；3、负责数据采集、数据分析、数据挖掘等大数据相关技术的研究及应用；4、负责/参与大数据新计算框架的选型，技术难题攻关，系统重构优化，根据业务规划及技术规划制定设计方案；5、负责/参与大数据监控、运维系统等的架构设计、详细设计，核心功能代码编写；如Hadoop、Mapreduce、Storm等数据存储架构平台、计算框架、数据展示系统设计与搭建；6、大数据生态的技术研究探索，跟踪业界大数据技术发展演进趋势，快速学习吸纳，为己所用；7、以大数据技术为核心，研发各种基于大数据技术的应用程序及行业解决方案。1、严密的数学思维、突出的分析和归纳能力，优秀的解决问题、抗压能力，具有较强的数据分析能力；2、精通Linux操作系统，至少熟练使用Python、Scala、C++等语言中的一种编程；3、熟悉hadoop、Hbase、Spark工作原理，熟悉分布式计算实施过程中的问题；4、精通常见的数据存储相关技术，包括HDFS，HBase、Hive、Mysql、Redis、mongodb等；5、负责大数据平台的性能参数调整和优化；6、根据业务需求，编制各类分析图表、撰写项目分析文档和分析报告；7、能够根据数据工程理论提升企业数据管理能力。业务职责根据对上述岗位的综合分析其核心方向，序号核心方向专业能力1大数据开发方向1、熟练Hadoop、Spark、Storm等主流大数据平台的核心框架；2、深入掌握如何编写MapReduce的作业及作业流的管理完成对数据的计算，并能够使用Hadoop提供的通用算法；3、熟练掌握Hadoop整个生态系统的组件如：Yarn，HBase、Hive等重要组件，能够实现对平台监控、辅助运维系统的开发。通过学习一系列面向开发者的Hadoop、阿里云等大数据平台开发技术，掌握设计开发大数据系统或平台的工具和技能，能够从事分布式计算框架如Hadoop、Spark群集环境的部署、开发和管理工作，如性能改进、功能扩展、故障分析等。2大数据运维方向1、了解Hadoop、Spark、Storm等主流大数据平台的核心框架；2、熟悉Hadoop的核心组件：HDFS、MapReduce、Yarn；具备大数据集群环境的资源配置，如网络要求、硬件配置、系统搭建；3、熟悉各种大数据平台的部署方式，集群搭建，故障诊断、日常维护、性能优化，同时负责平台上的数据采集、数据清洗、数据存储，数据维护及优化；4、熟练使用Flume、Sqoop等工具将外部数据加载进入大数据平台，通过管理工具分配集群资源实现多用户协同使用集群资源。通过灵活、易扩展的Hadoop平台转变了传统的数据库和数据仓库系统架构，从Hadoop部署实施到运行全程的状态监控，保证大数据业务应用的安全性、快速响应及扩展能力！3大数据分析方向1、理解并熟练掌握统计学、数据挖掘算法和技术；

2、精通SPSS

Clementine/SAS

EM等数据挖掘平台，熟悉hive，精通SQL；3、运用阿里云的产品服务，为客户搭建符合业务需求的数据分析策略与执行方法；

4、熟悉运用Matlab／R／Python/ExcelVBA或JAVA等编程语言从事数据统计及大数据分析，有Nosql/Hadoop等开发经验；5、具有丰富的海量数据挖掘项目实施经验，能独立完成挖掘项目的规划和实施。

通过对数据的深度分析，挖掘出用户及客户需求、收入增长点、系统改进点。通过对业务和运营的全面理解，不断完善核心数据的建设，结合实际设计数据挖掘模型，优化业务指标体系。知识体系根据对企业的核心岗位分析，分解出知识和能力要求如下：1、知识要求（1）掌握计算机基本结构、工作原理，计算机网络的基本概念和技术；（2）掌握软件工程的基本知识，熟悉软件工程每个阶段的任务和工具；（3）掌握操作系统的特点及功能，熟悉存储系统，网络系统的结构和原理；（4）掌握数据库系统的特点及功能，熟悉数据库表的设计和操作；（5）熟悉面向对象的程序设计方法，包含C#语言或JAVA或.NET语言、HTML语言、PHP语言、或Python语言；（6）熟悉网络应用部署、网址建设及维护的相关技术；（7）熟悉分布式系统的特点和核心技术，熟悉HTTP、REST、SOAP协议；（8）了解虚拟化、大数据相关的技术；（9）熟悉大数据分析处理相关技术、包括数据获取和预处理、数据存储、数据应用开发、数据挖掘和分析、数据可视化等；（10）熟悉大数据相关系统的技术架构，工作原理和使用技术，包括Hadoop、HBase、Hive、Spark等；（11）掌握大数据分析项目的调研，方案设计，项目管理以及绩效评定方法。；（12）了解业内大数据系统的常用架构，以及企业级的解决方案（13）熟悉信息安全相关标准及法规。2、能力要求（1）具有设计、开发、测试和部署Web应用的能力；（2）具有为软件系统开发REST接口的能力；（3）具有操作和使用大数据相关系统的能力，包括Hadoop、HBase、Hive、Spark，阿里云大数据平台等；（4）具有使用ETL工具对数据进行预处理的能力；（5）具有保障质量的完成数据分析项目的能力；（6）具有合理有效的设计数据可视化展示系统的能力；（7）具有根据企业行业场景，设计方案，完成数据清洗，数据编程，数据分析，效果评估的能力。综合素养通过调查形成的各岗位的综合素养如下：对本职工作有较高的热情，具备较好团队合作精神，能与团队协同获得成功;具备较强的学习能力和优秀的沟通能力;性格坚韧,思维敏捷,具备良好的应变能力和承压能力;有敏锐的市场洞察力,有强烈的事业心、责任心和积极的工作态度,有相关电话销售工作经验乐于挑战，善于学习，抗压性好，上进心强，勇于承担工作任务和责任，能在压力下突破自己。热爱本职工作，具备较好团队的合作精神，能与团队协同获得成功；专业定位人才培养目标、面向岗位、规格通过大数据行业发展情况、人才需求分析，结合学校生源特点，明确本专业以大数据分析人才培养为主的技术技能拔尖人才培养定位。3.1.1人才培养目标本专业培养擅长大数据分析、懂得将数据与业务更好结合、达到应用目的的实用型高端人才。毕业生品格健全，具有科学的人文精神、创新创业精神和良好的职业道德精神。全面掌握大数据方向的一些基本理论和技术，熟练掌握大数据采集、存储、处理与分析、传输和应用技术，同时能以所学的知识与技能分析和解决实际问题。毕业以后能够承担政府、电力、教育、证券、金融、税务、电子商务、信息产业以及其他国民经济部门的大数据分析、数据库管理与维护、大数据应用、商业智能以及系统研发等工作。3.1.2面向岗位大数据不仅用来描述大量的数据，还涵盖了处理数据的速度。大数据是数据分析的前沿技术，从各种各样类型的数据中快速获取有价值信息的能力就是大数据技术。只有在真实的应用场景中才能让企业对大数据的价值有一个直观感受，目前来看，大数据主要有五个方面的应用场景，分别是：（1）利用大数据实现庞大知识库：金融、客户服务、保险、交通运输、医药等行业需要储备规模巨大的知识库；（2）利用大数据实现客户交互改进：电信、零售、旅游、金融服务和交通等行业将快速抓取客户信息，从而了解客户需求作为首要任务；（3）利用大数据实现运营分析优化：制造、能源、公共事业、电信、旅游和运输等行业需要实时关注突发事件、通过监控提升运营效率并预测潜在风险；（4）利用大数据实现IT效率和规模效益：企业要增强现有数据仓库基础架构，实现大数据传输、快速查询的需求，确保有效利用预测分析和实现商业智能；（5）利用大数据实现智能安全防范：政府、保险等行业亟待利用大数据技术补充和加强传统的安全解决方案。3.1.3人才培养规格（一）毕业生应获得以下四方面素质：

1.思想道德素质

坚持四项基本原则，坚持社会主义核心价值体系，热爱社会主义祖国，热爱中国共产党，努力学习马列主义、毛泽东思想、邓小平理论、“三个代表”和“以人为本”的科学发展观重要思想理论；具有科学的世界观、人生观和价值观；具有良好的思想品德、社会公德、职业道德和敬业爱岗、艰苦奋斗、热爱劳动、团结协作的精神；能够团结互助、乐于奉献和遵纪守法。

2.专业素质

（1）熟练掌握大数据技术与应用技术核心专业知识和应用技术。包括信息论与编码、计算思维和数据科学、数据采集技术、大数据与数据中心、数据挖掘、大型数据库技术、数据可视化技术等。

（2）具备从事大数据应用系统设计与实现的能力、特别在数据分析、数据管理、数据存储等方面有系统的学习，能发现、分析和解决实际工程技术问题。有良好的沟通能力，能够维护和管理大数据系统。

（3）掌握相关文献检索方法、具有基本的专业资料分析与综合的能力，良好的文档与科学论文撰写能力。有较强的创新意识和创新能力。

3.文化素质

具有深厚的人文底蕴、强烈的时代精神、民族精神；具有健全的心智和现代化、国际化视野；具有创新意识、创新精神和创新能力；具有团队精神、合作意识、竞争意识和与人交往的能力；树立正确的审美观念，具有良好的文化素质和一定的艺术审美修养。

4.身心素质规格

掌握科学锻炼身体的方法，养成良好的体育锻炼和卫生习惯，达到国家规定的大学生健康测试标准；具有健康的体魄、良好的心理素质以及交流沟通能力和社会适应能力；树立正确的劳动观念，养成热爱劳动的习惯。（二）毕业生达到如下要求

1.具有人文社会科学素养、社会责任感和工程职业道德；

2.具有从事大数据工作所需的相关数学、分析以及实践管理知识；

3.掌握工程基础知识和本专业的基本理论知识，具有系统的实践学习经历；了解本专业的前沿发展现状和趋势；

4.具备设计和实施实验的能力，并能够对实验结果进行分析；

5.掌握基本的创新方法，具有追求创新的态度和意识；具有综合运用理论和技术手段设计系统和过程的能力，设计过程中能够综合考虑经济、环境、法律、安全、健康、伦理等制约因素；

6.掌握文献检索、资料查询及运用现代信息技术获取相关信息的基本方法；

7.了解与本专业相关的职业和行业的生产、设计、研究