《大数据分析》教学大纲

1、大数据分析课程教学大纲【课程名称】大数据分析【课程类型】专业必修课【授课对象】大数据技术与应用、云计算技术与应用专业【学时学分】周学时6，共72学时，3学分【课程概况】大数据分析课程是大数据技术与应用、云计算技术与应用专业必修课，是计算机基础理论与应用实践相结合的课程，也是大数据专业的高核心课程，它担负着系统、全面地理解大数据，提高大数据应用技能的重任。本课程的先修课为Python程序设计、大数据导论、数据库设计和计算机网络基础课程，要求学生掌握计算机软件范围的算法结构设计和程序设计的方法，大数据体系结构和网络技术的基本使用方法。【课程目标】通过本课程的学习，让学生接触并了解大数据分析的工作原

2、理和使用方法，使学生具有Python大数据分析、设计和可视化开发的能力，具备Kettle大数据清洗和存储的基本技能，并具有较强的分析问题和解决问题的能力，为将来从事大数据相关领域的工作打下坚实的基础。【课程内容及学时分布】教学周教学内容学时第一周主要介绍大数据的基本原理、发展历程和大数据的特征。2第一周主要介绍大数据的意义、我国的大数据市场预测和大数据的产业链分析。2第一周上机实验一：大数据的环境安装与大数据的数据认识。2第二周主要介绍爬虫基本概念、爬虫的地位与作用。2第二周主要介绍使用Python开发的技巧1。2第二周主要介绍使用Python开发的技巧2。2第三周主要介绍网页结构与爬虫基本库

3、。2第三周主要介绍爬虫爬取网页的过程与实现方法。2第三周上机实验二：爬虫库的使用方法并爬取图片。2第四周主要介绍Scrapy爬虫的原理与工作过程。2第四周主要介绍Scrapy爬虫的架构与方法。2第四周上机实验三：Scrapy爬虫爬取网页内容。2第五周主要介绍数据库设计原理与基本方法、MySql的基本使用方式。2第五周主要介绍Python连接MySql并操作数据库。2第五周上机实验四：Python操作MySql数据库。2第六周主要介绍数据可视化的概念与工具2第六周主要介绍数据可视化中matplotlib的基础知识2第六周上机实验五：matplotlib数据可视化基础与实现2第七周主要介绍存mat

4、plotlib绘制各种图形。2第七周上机实验六：matplotlib可视化应用。2第七周主要介绍pyecharts可视化。2第八周上机实验七：pyecharts可视化应用2第八周主要介绍数据存储的基础概念。2第八周主要介绍数据清洗的基本概念与主要工具，数据标准化技术与实现。2第九周上机实验八：数据清洗应用。2第九周主要介绍数据格式与编码技术。2第九周主要介绍Kettle数据清洗与转换工具的使用。2第十、十一周主要介绍Kettle数据清洗与转换的使用6第十一、十二周主要介绍Kettle数据抽取与数据采集的使用4第十二周主要介绍pandas 数据分析与清洗6第十二周综合训练：要求学生根据本课程所学的内容进行综合设计：（1）数据清洗与采集（2）数据可视化2【课程要求与成绩评定】评定项目要求百分比平时成绩课堂表现、出勤、作业60%期末