Spark大数据技术与应用（第3版）（微课版）-教案 项目8 饮用水源合格性预测-Spark MLlib机器学习算法库 教案V1.0.0

打造基于产教融合的就业育人综合服务平台打造基于产教融合的就业育人综合服务平台项目8饮用水源合格性预测——SparkMLlib机器学习算法库教案课程名称：Spark大数据技术与应用课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论36学时，实验28学时）总学分：4.0学分本章学时：8学时材料清单《Spark大数据技术与应用》教材。项目8配套PPT、数据和代码。引导性提问。探究性问题。拓展性问题。教学目标与基本要求教学目标从机器学习的简单概念入手，先讲述机器学习的概念以及机器学习的常用算法。接着根据常用算法引向SparkMLlib算法库，简单了解SparkMLlib及SparkML库基本情况，然后对MLlib中的算法以及算法包都做了基本介绍。最后通过饮用水源营养状态数据分析案例进一步巩固学生对算法的理解，对算法所需要的数据类型、算法的调用、算法的模型建立以及算法的评估都做了一个详细的分析。基本要求了解机器学习的基本概念和算法分类。了解MLlib的概念以及发展。掌握MLlib算法的基本调用。掌握MLlib模型评价方法。问题引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。什么是机器学习？机器学习算法有哪些？什么是监督学习，什么是非监督学习吗？探究性问题探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。数据标准化和数据归一化有何区别？回归算法的特点是什么，有哪些常用的回归算法？分类算法与聚类算法的区别是什么？拓展性问题拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。MLlib是基于RDD的算法库，ML是基于DataFrame的算法库，结合项目5的内容，分析一下这两个库的优点？协同过滤算法有基于内容和基于用户两个方面，分别适用于哪些场景？主要知识点、重点与难点主要知识点机器学习概念与算法分类。MLlib介绍与发展历史。MLlib算法包介绍与调用。重点MLlib算法包介绍与调用。随机森林算法实现饮用水源合格性预测。难点特征处理和提取常用方法。FP算法调用。ALS算法调用。教学过程设计理论教学过程机器学习相关概念与算法简介。MLlib简介与发展历史。MLlib算法包介绍与调用。实验教学过程读取饮用水源数据。探索性数据分析。数据标准化。基于随机森林实现饮用水源合格性预测。教材与参考资料教材肖芳，张良均．Spark大数据技术与应用（第3版）（微课版）[M]．北京：人民邮电出版社．2026．参考资料[1] 肖芳，张良均．Spark大数据技术与应用（第2版）（微课版）[M]．北京：人民邮电出版社．2022．[2] 王哲，张良均．Hadoop与大数据挖掘（第2版）[M]．北京：