《大数据技术导论》-教学大纲

《大数据技术导论》教学大纲课程名称大数据技术导论先修课程计算机基础、Python编程课程类别专业基础课课程类型理论+实践总学时48理论学时24实践学时24教学目的大数据是国家发展战略，是各专业培养数智化、复合型技术技能人才的必修课程。通过本课程的学习学生能够了解大数据相关基础知识，知晓大数据行业各岗位的技能需求，体验各岗位工作任务，掌握大数据相关工具的使用，最终能够利用大数据思维和工具解决专业问题，提升学习效率。具体包括：掌握大数据相关基础理论知识，包括大数据特征、发展历程，行业应用，岗位需求邓；了解大数据平台的整个数据处理流程，掌握大数据采集、预处理、存储、分许、可视化的主流技术架构级常用工具的使用方法，例如爬虫、HDFS数据存储、Python数据挖掘分析和可视化；能够应用一些主流的大数据工具进行实践任务，如数据爬取、简单的数据分析、以及数据可视化展现等；能够利用数字思维解决专业问题，从数据中挖掘寻找未知信息，辅助专业实践创新。教学主要内容以二手房数据主线介绍大数据的采集、预处理、存储、分析挖掘、可视化等核心技术。课程内容包括大数据概念和特征、发展历程、行业应用、岗位技能、平台架构等理论知识以及Hadoop环境搭建、Python爬虫和预处理、大数据存储、Spark数据分析挖掘、Python数据可视化等全流程的实践实验。教学方式本课程的教学方式主要采用课堂讲授和实验操作，包括：课堂讲授、多媒体教学、实验操作、习题解析、课堂讨论等多种形式相结合，培养学生的自学能力、分析问题和解决问题的能力。教学方法：采用启发式教学和探究式教学，以学生为主体，鼓励学生在掌握书本知识的基础上针对特定需求动手实践，培养学生的自学能力。教学手段：充分利用电子教案、课件和网络教学平台等多种教学手段和资源。教学进度项目主要内容学时安排大数据与大数据时代大数据时代概念、产生原因、对社会产生的变革，大数据基本特征和处理流程4大数据与大数据时代大数据技术发展历程，大数据产业结构和行业应用，大数据岗位需求4大数据处理平台大数据处理平台产生的原因和特征，Hadoop大数据处理平台架构和两大基础组件HDFS、MapReduce4大数据处理平台大数据处理流程，大数据4种计算模式，5种主流的大数据处理平台架构4Hadoop开发环境搭建虚拟机基础知识和安装使用4Hadoop开发环境搭建Hadoop环境的搭建以及词频统计案例得运行4数据采集与预处理大数据采集的定义，常用的数据采集工具，爬虫的基础知识，Python爬虫环境搭建4数据采集与预处理网页基本结构，网站数据的爬取过程，Python爬虫采集网站上二手房租房数据并进行简单的预处理4数据计算与数据存储常见的大数据计算框架，NOSQL数据库基础知识、HBase数据库基础知识4数据计算与数据存储利用Spark对二手房数据进行简单处理并存储在MySQL4数据分析与可视化常见的大数据分析工具，数据挖掘的常见算法，常见的数据可视化工具4数据分析与可视化利用Python对二手房数据进行分析挖掘并可视化展示结果4合计48作业要求完