职业技术学院大数据专业人才培养调研报告

大数据技术专业调研报告及周边地区的人才交流中心和人才交流会、相关通过调研了解到，就业市场招聘相关专业毕业生岗工作内容技能要求位大数据助理工程师1．在项目经理指导下分析业务需求，确定开发的技术架构和技术路线；2．完成相应模块软件的设计、开发、编程、测试任务；3．负责大数据数据分析和挖掘平台的规划、开发、运营和优化；4．根据项目设计开发数据模型、数据挖掘和处理算法；5．通过数据探索和模型的输出进行分析，为业务部门的工作开展提供数据支持；6．整合外部的第三方数据并生成动态数据库，最终为企业决策提供清晰、准确的数据支撑。1．对于大数据理论、行业应用有深刻认识与研究，了解大数据技术，如Hadoop、Spark、storm；2．能够依据业务类型快速进行产品分析设计，对产品提出系统改进建议；4．具备需求调研、产品策划、原型设计、数据分析等产品相关工作能力；MindManager等工具软件的使用，至少熟练一种数据库操作，如MYSQL、SQLSERVER等；6．较强的归纳总结能力，较强的逻辑分析推理能力、沟通表达能力。数据分析工程师1．运用算法来解决分析问题，并且从事数据挖掘工作，能够让数据道出真相；2．帮助开发数据产品，推动数据解决方案的不断更新；3．运用算法解决分析问题，并且从事数据挖掘工作；4．为公司项目提供数据支持、数据决策分析、支持公司战略决策的数据分析。1．对基于Hadoop、Spark的数据分析和处理有一定的经验；Java)、熟悉主流MYSQL、oracle数据库，对主流分布式存储和运算有一定的了解和项目经验；3．熟练使用SPSS、SAS或其它数据挖掘软件，具备一定数据建模和分析理论知识和经验，熟悉常用数据结构和数据处理算法。大数据处理工程师1．熟悉智能推荐各类算法，并参与公司平台建设和应用；2．负责Hadoop、HBase等大数据平台的规划、部署、建设、维护、优化等工作；3．根据需求将数据在非关系型和关系型数据库之间转化；4．负责与外围各业务数据对接，利用ETL工具将数据导入数据仓库；5．开发各种Hadoop大数据自动化运维与监控工具；6．负责利用大数据处理对海量数据进行1．精通SQL，熟悉Hadoop、Hive、Spark、Hadoop、Hbase等大数据主流技术平台及开源框架，具有相关系统的布署、运维、开发经验；2．具有扎实数据结构和算法功底，掌握Java/Python等至少一门高级编程语言；3．熟悉Shell和Linux开发环境，拥有Java、Python开发经验者优先；4．熟练掌握MySQL等关系型数据库；5．精通java后台程序设计，有实际系统的问题排查与调优经验；6．对数据结构、算法有深刻理解，有hadoop等系统源代码阅读经验。大数据运维工程师1．参与项目技术平台安装部署、日常运行维护与故障处理、大数据组件补丁升级管理；2．平台的自动化部署，运维，监控，告警处理，收集Hadoop的各项metrics指标，确保集群的正常运行；3．能够针对hadoop生态系统的批量部署1．掌握数据仓库理论知识，具有较强的数据仓库模型设计和ETL设计能力；2．熟悉hadoop平台的运维，调优，保障线上集群的稳定可靠；3．能熟练编写linux下的shell脚本，能开发相关安全管理工具；4．对运维的网络和存储能有一定理解；场景进行运维调优，完善运维工具，合理使用，监控报警、提高数据平台品质；4．负责任务调度平台配置及运维管理，协助管理大数据平台运维工作。5．有spark、HBase、及Hive等平台的运维计算经验；6．科学合理的选择阿里云相关服务，快速部署相关服务，利用开源软件搭建云服务，并进行相关测试。大数据可视化工程师1．负责大数据系统的设计和开发工作，如个性化推荐系统、精准营销、用户画像等数据产品的设计和开发工作；2．配合需求人员，完成功能模块，支撑日常业务数据需求，负责系统优化，问题跟进并及时解决；3．负责收集到的高质量数据中，利用图形化的工具及手段的应用，一目了然地揭示数据中复杂信息，帮助企业更好的进行大数据应用开发，发现大数据背后巨大财富。1．有较强编程能力，熟悉C/C和python，能够设计搭建大数据平台；2．较强逻辑思维能力及软件、算法实现能力，进行抽取、清洗、加工等数据处理；3．能够自主设计基于云架构的数据仓库模型，基于大数据平台进行研发、运维、管理等；4．熟悉数据库，应用服务器，和相关开发语言。有良好的数据库设计能力和sql编zookeeper等相关开源项目。大数据开发工程师1．负责集群的日常运作、系统的监测和配置、Hadoop与其他系统的集成；MySQL/Redis/HBafka/Hadoop/hive搭建、开发大数据分析平台的后台服务，支持数据接入、落地、统计、分析业务；3．构建基于spark/storm的实时数据处理平台，支撑上层业务使用，如：数据监4．构建基于hive的即席查询数据统计分析平台；5．负责数据平台的设计、开发、维护与优化，不断创新，满足上层数据运营体系各项需求。1．熟悉Linux的Shell命令，灵活运用Shell做文本处理和系统操作；2．熟悉分布式计算各种范式，分布式算法实现，有较好的分布式架构设计能力；3．能够使用SQL操作复杂的数据模型并有SQL优化的经验；4．熟练Golang，Scala，具有丰富海量数据ETL加工处理经验，从事分布式数据存储与计算平台应用开发；文件系统，熟练编写MapReduce的优先考虑；6．熟悉hadoop、hbase、hive的原理并具备管理，配置，运维；Bashshell脚本语言中的一种；8、熟悉分布系统设计范型，有大规模系统设计和工程实现经验。大数据架构工程师1．负责公司数据中心整体架构设计和研发，负责大数据平台的架构选型、设计及搭建工作。2．负责海量数据存储与处理、高性能计算项目的架构设计，撰写相关文档。3．负责实时数据收集、监控，灵活的业务数据报表，及挖掘和模型工作。4．参与企业级大数据产品和应用规划，研究跟进大数据架构领域新技术；1．熟悉Linux操作系统，了解网络、数据存储等原理；2．熟悉分布式系统或分布式数据库系统的理论及工作机制；3．熟悉一种以上常用编程语言，如java、scala、python、shell等；4．熟悉Hadoop底层文件系统,Hadoop分布式计算框架和Hbase/HIVE等数据平台架构设计能力和数据建模能力；5．制定大数据产品总体架构，攻克技术难关和主导关键技术决策。5．精通一种以上大数据技术，如flume、spark、elasticsearch等；6．具有基于大数据技术平台的架构设计与平台调优经验；7．了解云计算平台或信息安全理论。大数据系统研发师1．负责大数据产品的研发管理，打造完备的大数据技术体系；2．负责大数据核心产品的设计规划，包括系统架构、技术选型、关键技术研发；3．负责数据采集、数据分析、数据挖掘等大数据相关技术的研究及应用；4．负责/参与大数据新计算框架的选型，技术难题攻关，系统重构优化，根据业务规划及技术规划制定设计方案；5．负责/参与大数据监控、运维系统等的如Hadoop、MapReduce、Storm等数据存储架构平台、计算框架、数据展示系统设计与搭建；6．大数据生态的技术研究探索，跟踪业界大数据技术发展演进趋势，快速学习吸纳，为己所用；7．以大数据技术为核心，研发各种基于大数据技术的应用程序及行业解决方案。1．严密的数学思维、突出的分析和归纳能力，优秀的解决问题、抗压能力，具有较强的数据分析能力；2．精通Linux操作系统，至少熟练使用Python、Scala、C++等语言中的一种编程；3．熟悉hadoop、Hbase、Spark工作原理，熟悉分布式计算实施过程中的问题；4．精通常见的数据存储相关技术，包括等；5．负责大数据平台的性能参数调整和优化；6．根据业务需求，编制各类分析图表、撰写项目分析文档和分析报告；7．能够根据数据工程理论提升企业数据管