大数据技术与应用

1、附件 25：高职电子信息大类大数据技术与应用赛项技能竞赛规程、评分标准及选手须知一、竞赛内容赛项名称：大数据技术与应用赛项内容：以大数据技术与应用为核心内容，重点考察参赛选手在 HadoopHadoop应用；numpypandasmatplotlibscikitMapReduceHDFSMapReduce/YarnHivePython等开发语言工具和技术，匹配和连接数据源，实现大数据的采集，提取、清洗、转换、分析、挖掘操作，产生分析结果，并且实现可视化呈现。依据项目应用需求和分析结果，完成数据分析报告的编写。二、竞赛方式本赛项为团体赛，每支参赛队由 3 名参赛选手组成。三、竞赛时量竞赛时间 4

2、 小时，竞赛连续进行。四、名次确定办法范者名次列前。五、评分标准与评分细则评分标准100（1。表 1 考核环节及评分标准考核环节考核知识点和技能点分值Hadoop 平台安装部署和基本配置。Hadoop 平台安装部 HDFS 常用操作命令（查询文件类别、上传、删除文件、查15署询HDFS基本统计信息）。Hadoop 集群的性能调优。规则文件数据和关系型数据库数据抓取以及数据同步（同Hadoop/Hive 数据同步）。数据抓取掌握Hive数据仓库导入、导出以及同Hadoop数据文件的30转换，实现Hive 数据管理常用命令。能够通过Python 编程，使用streaming 和 MapReduce

3、 机制实现数据的抓取。基于MapReduce 的HDFS 文件系统的文件数据的数据查询、整理和计算。数据清洗、整理、计结合 Hadoop 大数据平台相关技术实现对数据的分析和展算和表达现。20Python可视化呈现。综合应用数据抓取、清洗、整理、计算和表达等相关知识及技术，使用Python 编程工具，实现对提供的数据源分综合分析30析、展现，根据展现结果得出结论，并对结论进行分析，形成分析报告。团队分工明确合理、操作规范、文明竞赛合计5100评分细则（选手595评价标准，对参赛选手提交的竞赛成果进行评分。六、赛点提供的设施设备仪器清单竞赛设备包括硬件环境（2）和软件环境（3。设备类别数量设备用

4、途基本配置设备类别数量设备用途基本配置服务器1内嵌大数据实训管理系PC 服务器统，提供大数据竞赛。3客户端根据参赛团队数量，配备 10%的备份机器。竞赛选手比赛使用。性能相当于 2.0GHZ 处理1024*768设备类别软件类别软件名称服务端设备类别软件类别软件名称服务端竞赛系统运行操作系统Centos7.0桌面操作系统Windows7虚拟环境Virtualbox 5.1虚拟操作系统Ubuntu 14.04 LTS大数据平台软件Hadoop 2.7.1客户端开发语言Python2.7.12数据分析工具Pandas 0.9.12Python 集成开发环境pycharm-community-201

5、6.3.2浏览器Chrome/firefox文档编辑器Office 2007 及以上版本竞赛技术平台比赛技术平台：北京四合天地大数据实训管理系统。大数据相关技能。教师（裁判）可以方便组织和安排大数据实训（竞赛，并且可以实时了解学生的训练及竞赛状态。训练、竞赛完毕后，教师（裁判）测评报告，并且了解各个学生对大数据相关知识点和操作技能的掌握情况。办公物品U打印机等其他物品。七、选手须知（一）选手自带工具清单选手不允许携带任何工具。（二）主要技术规程及要求包括竞赛项目基础标准（4）和软件开发标准（5。表4竞赛项目基础标准标 准GB/T 11457-2006 GB8566-88GB/T 12991-2

6、008 20120567-T-46920120568-T-469GB/T 21025-2007GB/T 20009-2005GB/T 20273-2006 20100383-T-469内 容信息技术、软件工程术语计算机软件开发规范信息技术数据库语言SQL 第 1 部分：框架信息技术云数据存储和管理第 1 部分：总则信息技术云数据存储和管理第 2 部分：基于对象的云存储应用接口XML 使用指南信息安全技术数据库管理系统安全评估准则 已发布信息安全技术数据库管理系统安全技术要求信息技术安全技术信息安全管理体系实施指南表5软件开发标准标 准内 容GB/T8566 -2001信息技术 软件生存周期过程

7、GB/T15853 -1995软件支持环境GB/T14079 -1993软件维护指南GB/T17544-1998信息技术 软件包 质量要求和测试（三）选手注意事项安全，接受裁判员的监督和警示，文明竞赛。参赛选手应按照规定时间抵达赛场，凭身份证（或户口簿、学生证（学籍证明，以及统一发放的参赛证，完成入场检录、抽签确定竞赛工位号，不得迟到和早退。参赛选手进入赛场前，须将身份证、学生证交由检录人员统一保管，不得带入场内。参赛证始终佩戴，以备检查。（如U盘，竞赛统一提供计算机以及应用软件。置就座。况，填写相关确认文件，并由参赛队长确认签字（签竞赛工位号。参赛选手在收到开赛信息前不得提前启动操作。在竞赛过程中，确因计机。赛选手自行负责。姓名、参赛证编号等信息，否则取消竞赛成绩。（例如因人，现场裁判员有权中止该队比赛。5S”（即整理、整顿、清扫、清洁和素养）的原则，如果过于脏乱，裁判长有权酌情处置。时间。竞赛终止后，不得再进行任何与竞赛有关的操作。UU（签竞赛工位号。因参赛选手未能按要求，将相U操作平台上，经工作人员清点后可离开赛场，离开赛场时不得带走任何资料。凡在