《机器学习项目开发实战》-课件全套 马晓虎 项目1-6 机器学习基础实战 环境搭建 - NLTK 项目实战 自然语言处理

基础实战-环境搭建配置Python基本环境CONTENTSOrderNow01任务描述02知识储备03任务实施04任务评价/01任务描述任务描述任务：安装Python和IDE选择Python3.x版本，下载对应安装包并完成安装，验证安装。选择PyCharm作为IDE进行安装和配置。完成后可开始编写和运行Python代码。/02知识储备机器学习概念多领域交叉融合涉及统计学、系统辨识、逼近理论、神经网络、优化理论、计算机科学、脑科学等诸多领域的交叉学科，融合了多学科的知识和方法跨学科的优势综合各领域优势，从不同角度解决复杂问题，为其在众多领域的应用奠定了基础机器学习概念致力于研究计算机怎样模拟或实现人类的学习行为，让计算机能够像人类一样从环境中获取信息并进行学习模拟人类学习行为01使计算机通过学习获取新的知识或技能，不断提升自身的能力，以更好地应对各种任务和挑战获取新知识或技能02核心思想01核心思想在于探寻任意输入和输出数据组合之间存在的数学关系。数学关系02模型不知输入输出关系，但给予足够数据集时能猜测此关系未知关系模型与算法围绕一个可修改的数学函数构建围绕函数构建模型提供输入/输出数据组合来“训练”算法数据组合训练算法经过训练的算法能够自动确定新的输入对应的输出自动确定输出监督学习算法会接受带有标签的输入数据，每个输入数据都对应一个正确的输出，目的为输入映射到正确的输出概念01、线性回归、逻辑回归、支持向量机、决策树和神经网络常见算法02、无监督学习无监督学习处理没有标签数据监督学习处理有标签的数据数据特点发现数据中的潜在结构或模式学习目标K-means聚类、主成分分析（PCA）和自组织映射（SOM）常见算法半监督学习结合了监督学习和无监督学习的特点，是一种独特的机器学习类型特点处理部分带有标签和部分没有标签的数据数据处理强化学习算法称为智能体，智能体是学习和决策的主体主体01与环境的交互来学习，尝试不同行动，根据行动结果更新策略学习方式02找到一种策略，使智能体能够获得最大的长期奖励目标03图像识别和分类应用场景人脸识别、图像检索、物体识别等0102安防领域监控视频中的异常行为检测和人员追踪03自动驾驶识别道路标志、车辆和行人，为车辆的自主决策提供关键信息自然语言处理机器翻译、文本分类、语音识别……应用类型通过语音指令控制家电设备，提升生活便利性智能家居领域客服机器人能理解用户问题并提供准确回复，提高服务效率智能客服领域推荐系统为用户提供个性化服务，满足不同用户的需求，提高用户对平台的粘性和满意度根据用户的关注、点赞等行为，为用户推荐感兴趣的内容和好友分析用户的浏览、购买记录等行为，为用户推荐相关商品电商平台社交媒体平台个性化服务医疗诊断癌症诊断、疾病预测……应用方向01分析大量医疗数据，发现潜在疾病特征，更准确地诊断疾病提高准确性02快速处理、分析医疗数据，减少诊断时间，提高医疗服务效率提升效率03金融风控欺诈检测、信用评估……应用场景01及时发现、阻止金融欺诈行为，保护资产安全。金融保护02评估客户信用风险，合理分配信贷资源，降低违约风险风险管理03工业制造提高生产效率应用方面质量控制、异常检测实时监测生产过程数据，及时发现问题并调整生产参数，提高生产效率提升质量水平质量控制，减少次品率，提升产品质量自动驾驶视觉感知、路况识别等。视觉感知技术能识别道路环境和障碍物应用技术准确的路况识别和决策能力可以有效避免交通事故，保障自动驾驶汽车的行驶安全保障安全对各种传感器数据的分析，机器学习算法能让自动驾驶汽车做出合理的决策，实现自主行驶自主决策010203游戏智能根据玩家的行为做出不同反应应用形式创造更具挑战性和变化性的游戏场景，提升游戏的趣味性提升趣味性面临更强大的对手，增加游戏挑战性增加挑战性010203/03任务实施Python安装包下载从官网/downloads/windows/下载Python安装包。官网下载入口电脑是64位操作系统，下载DownloadWindowsinstaller(64-bit)；若是32位，下载DownloadWindowsinstaller(32-bit)。系统版本对应选择安装初始设置勾选“Addpython.exetoPATH”，添加Python路径路径添加勾选双击下载好的Python安装包，开启安装流程安装包操作自定义配置勾选路径添加选项，单击“Customizeinstallation”，进入自定义安装界面自定义操作选择安装路径路径选择操作Browse选项框中，根据自身需求选择合适的Python安装路径开始安装单击“Install”按钮，进行Python的安装PyCharm简介所属家族其他编辑器01Jetbrains家族中的一款知名产品02Java编辑器IntelliJIDEA、JavaScript编辑器WebStorm、PHP编辑器PHPStormPyCharm安装包下载/pycharm/官网访问01在官网单击“Download”，进入下载界面，有专业版和社区版两个版本下载界面02专业版功能强大但需付费，免费试用一个月社区版轻量级、永久免费，功能有限版本特点03安装选项设置勾选“创建桌面快捷方式”、“更新PATH变量（需要重启）”和“创建关联”勾选选项01勾选完成后，单击“下一步”，进入下一步02默认安装与完成默认安装设置，单击“安装”按钮，开始进行安装。默认安装单击“完成”，桌面上显示PyCharm软件快捷图标安装完成创建Python工程双击PyCharm快捷图标启动按系统提示配置“语言和地区”等初始设置启动与设置点击“新建项目”新建项目选择“纯Python”选项指定存储路径选择Python解释器点击“创建”完成项目创建创建Python文件与运行创建文件右键点击项目名称，选择“新建”-“Python文件”命名文件输入文件名，按下回车键或点击“确定”完成创建编写与运行打开新文件编写代码，可点击工具栏运行按钮或使用快捷键执行文件/04任务评价任务评价1.是否完成了Python库的安装？2.是否成功安装了PyCharm并新建项目？THANKS课程结束，谢谢观看基础实战-环境搭建AnaCondaCONTENTSOrderNow01任务描述02知识储备03任务实施04任务评价/01任务描述任务描述任务：安装AnaConda、JupyterNotebook、Scikit-learn安装AnaConda是为了搭建一个集成化的机器学习开发环境。正确安装和配置JupyterNotebook环境。成功安装机器学习库Scikit-learn。/02知识储备AnaConda包含Conda、Python等190多个科学包及其依赖项，方便用户快速上手进行数据分析、机器学习等任务丰富的科学包方便地安装、更新和管理软件包及其依赖关系。支持创建隔离的环境，帮助管理不同项目的依赖，防止不同库之间的版本冲突。管理器强大AnaCondaNavigator图形用户界面，使用户能够以视觉化的方式管理Conda环境和包界面友好支持Windows、macOS和Linux等多种操作系统，使得在不同操作系统上的项目迁移和协作变得更加容易。跨平台支持AnaConda组成Spyder专为科学计算设计的Python集成开发环境，集成了许多有用的科学库。02JupyterNotebook交互式笔记本，支持实时代码、数学方程、可视化和富文本。0301Conda不仅是一个包管理器，还是一个环境管理器。虚拟环境虚拟环境它允许开发者在同一台计算机上创建多个独立的Python环境。每个环境都可以拥有自己的Python解释器版本、第三方库和依赖项，从而实现项目间的隔离。01避免依赖冲突不同的项目可能需要不同版本的Python或第三方库。通过创建虚拟环境，可以为每个项目指定特定的依赖项和包版本，从而避免不同项目间的依赖冲突。02简化项目管理在虚拟环境中，可以轻松管理项目的依赖关系，包括安装、更新和卸载包等操作。这些操作不会影响到全局的Python环境或其他虚拟环境。03提高开发效率通过共享虚拟环境配置文件（如requirements.txt），团队成员可以确保在相同的环境下运行代码，从而提高开发效率和协作效果。虚拟环境优势及适用场景6多地部署需要在不同计算机之间部署项目并保持环境一致性的开发者。1隔离性提供了项目间的隔离性，避免了依赖冲突。2提升效率简化了项目管理，提高了开发效率。5多Python版本在不同项目中使用不同版本的Python或第三方库的开发者。3环境一致在不同计算机之间部署项目时保持环境一致性。4多Python项目需要管理多个Python项目的开发者。优势/适用场景JupyterNotebookSpyder专为科学计算设计的Python集成开发环境，集成了许多有用的科学库。02JupyterNotebook交互式笔记本，支持实时代码、数学方程、可视化和富文本。0301Conda不仅是一个包管理器，还是一个环境管理器。Part01数据分析和可视化Part02教育和研究Part03实时协作Part04算法开发和调试Part05小型项目演示JupyterNotebook应用场景01数据分析和可视化JupyterNotebook集成了Python的强大数据处理库，非常适合进行数据清洗、探索和展示。02教育和研究教育工作者可以创建包含代码、文本、图片和数学公式的文档，方便学生理解和跟进实验过程。03实时协作JupyterNotebook支持实时共享和协同编辑，这对于远程开发和学术讨论非常便利。04算法开发和调试工程师可以通过逐步执行代码块，快速迭代和测试新算法，方便代码的调试和优化。05小型项目演示JupyterNotebook可以直接展示代码如何驱动结果，无需额外部署服务器。Scikit-learn在机器学习的广阔领域中，Scikit-learn库无疑是一颗璀璨的明珠，它不仅极大地推动了机器学习技术的普及与应用，还成为了数据科学家和机器学习工程师不可或缺的工具箱。Scikit-learn特点易用性提供了涵盖分类、回归、聚类、降维、模型选择以及数据预处理等多个方面的机器学习算法高效性API设计简洁明了，易于学习和使用，降低了机器学习技术的门槛，促进了算法之间的互操作性丰富性拥有一个活跃的开发者社区和丰富的文档资源/03任务实施AnaConda下载AnaConda安装包可以在其官网下载，也可以到清华镜像或其他资源站下载。AnaConda选择AnaConda3系列。AnaConda安装虚拟环境的使用CondaactivatemyenvCondainstallnumpypandasCondadeactivateCondacreate--namemyenvpython=3.13创建虚拟环境退出虚拟环境虚拟环境安装包激活虚拟环境JupyterNotebook配置c.NotebookApp.notebook_dir='E:\\jupyter_work'webbrowser.register("360",None,webbrowser.GenericBrowser(r"你的360浏览器路径"))pipinstalljupyter_contrib_nbextensionsjupytercontribnbextensioninstall--userjupyternotebook--generate-config生成配置文件安装扩展插件设置默认浏览器配置工作目录JupyterNotebook页面安装Scikit-learn库pipinstall--upgradepip或pip3install--upgradepippipinstallscikit-learn或pip3installscikit-learnpython–version或python3--version检查Python环境安装Scikit-learn更新pip安装验证importsklearn打开Python解释器或启动JupyterNotebook。打开环境引入/04任务评价任务评价1.是否正确安装了AnaConda?2.是否创建了虚拟环境并完成pandas安装？3.是否成功安装了JupyterNotebook并了解其界面功能？4.是否成功安装了库Scikit-learn?THANKS课程结束，谢谢观看监督学习分类实战-图像分类项目背景与目标CONTENTSOrderNow01任务描述02知识储备03任务实施04任务评价/01任务描述任务描述任务：图像识别本项目旨在通过监督学习的方法实现图像分类。任务一是项目的启动阶段，需要了解图像分类的背景、目标以及整个项目的实施流程。/02知识储备图像识别是什么图像识别是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术。监督学习基本原理监督学习是从标记的训练数据来推断一个功能的机器学习任务。它利用一组已知类别的样本调整分类器的参数，使其达到所要求性能的过程。在监督学习中，模型使用标记数据集进行训练，训练数据集通常包含输入（特征）和输出（标签），模型通过学习输入与输出之间的关系，从而能够对新的输入数据给出准确的预测或分类。监督学习流程数据准备收集包含输入特征和对应标签的训练数据集，并对这些数据进行预处理。特征工程从原始数据中提取有用特征并选择对模型训练最有帮助的特征的过程。模型选择根据问题的性质和数据的特点选择合适的监督学习算法，并确定模型的结构。模型训练在训练数据集上执行算法，不断缩小输出与标签之间差距，直到模型被适当地拟合。模型评估使用测试数据集来评估模型的准确性。模型部署当模型经过训练和评估后，可以将其部署到实际应用中。常用图像分类数据集MNIST数据集包含了手写数字0到9共10个类别灰度图像，常用于训练和测试在图像处理和机器学习领域中的监督学习模型。常用图像分类数据集CIFAR-10图像更加复杂，图像中包含了多种物体和背景，且物体的大小、位置、姿态等变化较大，这使得图像分类任务更具挑战性。常用图像分类数据集ImageNet数据集的图像内容极其丰富和多样化，涵盖了各种自然场景、物体、动物、植物等，图像的大小、分辨率、质量等也各不相同，这使得图像分类任务极具挑战性。评估指标01准确率正确分类的样本数与总样本数的比例。02召回率对于某个类别，正确分类的样本数与该类别实际样本数的比例。03F1分数准确率和召回率的调和平均数，用于综合评估模型的性能。04混淆矩阵一个表格，用于显示模型在不同类别上的预测结果与实际结果的对比。/03任务实施环境准备condacreate--nameproject2创建虚拟环境2condaactivateproject2激活虚拟环境2环境准备pipinstallopencv-pythonOpenCV的安装pipinstallopencv-python-headless#或pipinstallopencv-contrib-pythonopencv-python-headlesspipinstallPillow安装PILpipinstalltorchtorchvisionPyTorch和torchvision数据集选择MNIST数据集因其简洁性和广泛的应用性，成为了入门者和研究者们首选的“试金石”。这个数据集包含了70000张手写数字图片，每张图像均为28x28像素的灰度图，涵盖了从0到9的十个数字类别。图像预处理1importtorch2importtorchvision3importtorchvision.transformsastransforms4fromtorch.utils.dataimportDataLoader,random_split导入必要的库transform=transforms.Compose([transforms.ToTensor(),])定义数据变换图像预处理dataset=torchvision.datasets.MNIST(root='./data',train=True,download=false,transform=transform)加载MNIST数据集1train_size=int(0.8*len(dataset))#80%的数据用于训练2test_size=len(dataset)-train_size#剩下的20%用于测试3train_dataset,test_dataset=random_split(dataset,[train_size,test_size])划分数据集图像预处理1train_loader=DataLoader(train_dataset,batch_size=64,shuffle=True)2test_loader=DataLoader(test_dataset,batch_size=1000,shuffle=False)创建数据加载器1dataiter=iter(train_loader)images,labels=next(dataiter)print(f'Imagebatchshape:{images.size()}')4print(f'Labelbatchshape:{labels.size()}')检查数据加载器图像预处理1importmatplotlib.pyplotasplt2importnumpyasnp3image=images[0].numpy().squeeze()4plt.imshow(image,cmap='gray')5plt.title(f'Label:{labels[0].item()}')6plt.show()打印一个图像和对应的标签/04任务评价任务评价1.是否成功创建了虚拟环境并激活？2.是否正确导入了torch、torchvision、transforms等必要库？3.是否成功定义了定义数据变换？4.是否成功加载了MNIST数据集？5.是否成功打印一个图像和对应的标签?THANKS课程结束，谢谢观看监督学习分类实战-图像分类K近邻（KNN）算法实现CONTENTSOrderNow01任务描述02知识储备03任务实施04任务评价/01任务描述任务描述任务：K近邻（KNN）算法实现在本任务中，你将实现K近邻（KNN）算法来对图像数据进行分类。你需要从数据预处理开始，选择合适的特征，实现KNN算法，并调整参数以优化模型性能。/02知识储备KNN是什么KNN算法，全称K-NearestNeighbor，即K最近邻算法，是一种在数据挖掘和机器学习中广泛使用的监督学习算法。KNN工作原理13425输入样本筛选样本统计样本预测样本KNN实现流程在建立训练集时，就要确定训练数据及其对应的类别标签；然后把待分类的测试数据与训练集数据依次进行特征比较；从训练集中挑选出最相近的k个数据，这k个数据中投票最多的分类，即为新样本的类别。欧式距离曼哈顿距离余弦相似度余弦相似度的取值范围为[−1,1]，其中1表示两个向量完全相似，-1表示两个向量完全相反，0表示两个向量无关。K值选择方法经验法则根据经验和数据集的特点，常用的K值有1、3、5等。1交叉验证将样本数据按照一定比例拆分为训练集和验证集。选取较小的K值开始，不断增加K的值，选择表现最好的K值作为最优解。2网格搜索在给定的K值范围内进行搜索，尝试所有可能的K值组合。3/03任务实施KNN算法实现fromsklearn.neighborsimportKNeighborsClassifierfromsklearn.metricsimportaccuracy_scoreknn=KNeighborsClassifier(n_neighbors=3)knn.fit(X_train,y_train)y_pred=knn.predict(X_test)accuracy=accuracy_score(y_test,y_pred)print(f"Accuracy:{accuracy:.4f}")导入库创建模型评估模型模型调优1k_values=range(1,21)#从1到20，2best_accuracy=03best_k=04forkink_values:5knn=KNeighborsClassifier(n_neighbors=k)scores=cross_val_score(knn,X_train,y_train,cv=5,scoring='accuracy’)mean_accuracy=scores.mean()8print(f"K={k},Cross-ValidationAccuracy:{mean_accuracy:.4f}")9ifmean_accuracy>best_accuracy:10best_accuracy=mean_accuracy11best_k=k12print(f"BestK:{best_k},BestCross-ValidationAccuracy:{best_accuracy:.4f}")/04任务评价任务评价1.是否成功加载了KNeighborsClassifier及accuracy_score库？2.是否成功创建了KNN模型？3.是否成功对KNN模型进行评估？3.是否成功对KNN模型进行调优？THANKS课程结束，谢谢观看监督学习分类实战-图像分类决策树算法应用CONTENTSOrderNow01任务描述02知识储备03任务实施04任务评价/01任务描述任务描述任务：K近邻（KNN）算法实现应用决策树算法对图像分类任务进行建模，通过预处理图像数据、提取特征、构建决策树模型、进行模型训练和评估，最终实现对图像的有效分类。/02知识储备决策树定义决策树是一种常用的机器学习算法，主要用于分类和回归任务。它通过一系列的决策规则来预测目标变量的值。决策树组成部分根节点：决策树的起始节点，代表整个数据集。内部节点：表示一个特征或属性的测试，用于分割数据。叶节点：表示一个决策结果，对于分类任务，叶节点是类别标签；对于回归任务，叶节点是数值预测。边/分支：连接节点的线，表示从父节点到子节点的决策路径。每条边对应一个条件或规则，表示在父节点的测试条件下，数据流向子节点的规则。决策树构建方法特征选择在每一步划分时，选择一个最佳特征作为决策依据，进行数据划分。这个特征应该能够最大程度上提高数据的区分度。01节点分裂根据选择的特征，利用不同的分裂准则将当前节点的数据集划分成若干子集。02递归分裂对每个子集递归执行特征选择与节点分裂操作，直到满足停止条件。03树剪枝为了避免决策树过拟合，需要对生成的决策树进行简化，去除多余的分支节点。04信息增益熵熵是衡量数据集不纯度的一个指标。在分类问题中，一个数据集的熵越高，说明其类别分布越不均匀，即不确定性越大；01条件熵条件熵是在给定某个特征A的条件下，数据集D的熵。它衡量了在知道特征A的取值后，数据集D的不确定性减少了多少。02信息增益信息增益是衡量一个特征对分类任务贡献大小的一个指标。它等于数据集D的熵减去在给定特征A的条件下的条件熵。03基尼系数基尼值基尼值直接反映了从数据集中随机抽取两个样本，属于不同类别的概率。基尼值越小，说明数据集越纯；基尼值越大，说明数据集越不纯。条件基尼值条件基尼值是在给定某个特征A的条件下，数据集D的基尼值。它衡量了在知道特征A的取值后，数据集D的不纯度减少了多少。基尼增益基尼增益是衡量一个特征对分类任务贡献大小的另一个指标。它等于数据集D的基尼值减去在给定特征A的条件下的条件基尼值。/03任务实施数据预处理1．importnumpyasnp2．importmatplotlib.pyplotasplt3．fromsklearn.datasetsimportfetch_openml4．fromsklearn.model_selectionimporttrain_test_split5．fromsklearn.treeimportDecisionTreeClassifier6．fromsklearn.metricsimportaccuracy_score,classification_report,confusion_matrix1．mnist=fetch_openml(‘mnist_784’,version=1,data_home=‘./data’,local_cache=True)2．X,y=mnist["data"],mnist["target"].astype(int)导入库加载MNIST数据集1．X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.3,random_state=42,stratify=y)划分数据集构建决策树模型clf=DecisionTreeClassifier(random_state=42)初始化决策树分类器clf.fit(X_train,y_train)训练模型y_pred=clf.predict(X_test)在测试集上进行预测模型评估1．accuracy=accuracy_score(y_test,y_pred)2．print(f"Accuracy:{accuracy:.4f}")3．print("ClassificationReport:")4．print(classification_report(y_test,y_pred))5．conf_matrix=confusion_matrix(y_test,y_pred)6．print("ConfusionMatrix:")7．print(conf_matrix)初始化决策树分类器模型评估1．defplot_digit(data):2．fig,axes=plt.subplots(1,10,figsize=(10,1),3．subplot_kw={'xticks':[],yticks':[]},4．gridspec_kw=dict(hspace=0.1,wspace=0.1))5．fori,axinenumerate(axes):6．ax.imshow(data.iloc[i].values.reshape(28,28),cmap=plt.cm.binary,interpolation='nearest')7．ax.text(0.05,0.05,str(int(y_pred[i])),8．transform=ax.transAxes,color='green')9．returnfig,axes10．#选择前10个测试样本进行可视化11．fig,axes=plot_digit(X_test[:10])12．plt.show()可视化结果/04任务评价任务评价1.是否完成了OpenCV、Pillow、Pytorch等相关库的安装？2.MNIST数据集是否能完成加载？3.基于上述库，是否随机对数据集的图像进行预处理及打印？4.图片中的数字和标签是否一致？THANKS课程结束，谢谢观看监督学习回归实战-项目背景与目标监督学习回归实战CONTENTSOrderNow01任务描述02知识储备03任务实施04任务评价/01任务描述任务描述任务：天气预测深入调研天气预测在实际生活中的应用背景，理解该项目对于农业、交通、灾害预防等领域的重要性。针对天气预测项目的数据集，进行深入的探索性分析，识别数据中的缺失值、异常值、不一致数据类型等问题，并设计实施相应的数据清洗策略。/02知识储备天气预测重要性经济活动规划有助于企业合理规划生产和经营活动，减少因天气变化带来的经济损失。环境保护有助于监测和评估空气质量、水质等环境因素，为环境保护提供科学依据。能源调配有助于能源部门合理调配电力资源，确保供需平衡。农业生产指导提供播种、施肥、灌溉、收割等农事活动的最佳时机，提高农作物产量和质量。保障公共安全及时预警恶劣天气，提前采取必要的防灾减灾措施。天气预测重要性提升生活品质天气预测为人们日常出行、着装、健康等方面提供重要参考，提升生活便捷性和舒适度。促进科学研究天气预测技术的发展推动了大气科学、气候学、地球科学等领域的研究，促进了科学知识的更新和积累。增强国际交流与合作天气和气候变化是全球性问题，需要国际社会共同努力应对。天气预测为国际气候谈判、灾害救援、环境保护等领域提供了重要的合作平台。推动经济发展准确的天气预测有助于提升农业、交通、能源、旅游等行业的经济效益，推动国民经济持续健康发展。提升公众科学素养天气预测通过媒体传播，普及了气象知识和科学理念，提升了公众的科学素养和应对自然灾害的能力。回归分析回归分析旨在探索和理解因变量（通常称为响应变量）与一个或多个自变量（也称为预测变量或解释变量）之间的关系。通过回归分析，研究者可以揭示变量间的潜在联系，预测未来趋势，以及评估不同因素对结果变量的影响程度。回归分析在天气预测中的应用逻辑回归主要用于分类问题，在天气预测中，它可以用来判断某一天是否会下雨，或者是在特定条件下发生某种天气状况的概率。逻辑回归模型通过历史天气数据（包括温度、湿度、气压等气象因素）来训练，并生成一个模型，该模型可以对新的观测数据进行分类。例如，如果历史数据表明湿度超过某个阈值时降雨的概率很高，逻辑回归模型就会学会这个规律，并在输入新的高湿度数据时预测降雨。判断天气状况线性回归可以用于预测温度、风速等连续的气象参数。线性回归模型会根据历史天气数据中的自变量（如时间、经度、纬度等）和因变量（如历史温度、风速等）来训练，以期找到最佳的线性拟合，从而实现对未来气温、风速等气象参数的预测。预测气象参数天气预测数据集010203数据集来源天气数据集主要来源于各种地面气象观测站、卫星观测数据以及各类气候模型的模拟输出。数据集的特性包括温度、湿度、风速、风向、降水量等多种气象因素，它们的实时变化影响着天气的变化趋势。数据集的作用数据集是构建天气预测模型的基础。通过分析历史天气数据，可以提取出模式和规律，为后续的预测工作提供依据。/03任务实施收集并整理数据网络爬虫网络爬虫技术是一种自动化的数据抓取手段，它模拟人类浏览网页的行为，从指定的网站上提取所需的数据。可以从一些相关的天气网页中爬取所需要的数据。API接口API，即应用程序编程接口，它允许不同的软件应用程序之间进行数据交换。通过调用天气服务提供商提供的API接口，我们可以轻松地获取到实时的天气数据。读取数据1importpandasaspd2weatherdata=pd.read_excel(r"E:\机器学习项目实战\weather_data.xls")#替换为实际的路径3weatherdata.head(5)读取数据数据处理1has_null=weatherdata.isnull().any().any()2print(has_null)查找缺失值1df=weatherdata.drop('date',axis=1)2df.head()删除date列数据处理补充缺失值Z-score标准化处理在天气数据集中，每个特征值的量纲不同（如温度T的量纲是摄氏度、P的量纲是帕斯卡），直接使用这些特征可能导致某些特征在模型中占据主导地位。Z-Score标准化可以将所有特征转换到同一尺度，使得每个特征对模型的贡献更加公平。

σ(X−μ)X是原始数据中的某个值。μ是该数据所在列的均值（平均值）。σ是该数据所在列的标准差。Z是经过Z-score标准化处理后的值。Z-score标准化处理

σ(X−μ)df_filled.describe()生成统计Z-score标准化处理

σ(X−μ)1defzscore_standardize(df):2"""4:paramdf:输入的DataFrame5:return:标准化后的DataFrame6"""7return(df-df.mean())/df.std()9standardized_df=zscore_standardize(df_filled)10print(standardized_df)Z-score标准化/04任务评价任务评价1.是否能够成功读取气象数据？2.数据中缺失值是否被成功查找并处理？3.是否对数据成功进行Z-score标准化处理并显示？THANKS课程结束，谢谢观看监督学习回归实战-天气预测线性回归模型建立CONTENTSOrderNow01任务描述02知识储备03任务实施04任务评价/01任务描述任务描述任务：天气预测在气象学和环境科学中，准确预测未来天气条件对于农业规划、能源管理、交通运输等多个领域至关重要。线性回归模型作为一种简单而有效的预测工具，在天气预测中发挥着重要作用。本任务旨在利用给定的天气数据集，构建线性回归模型以预测特定天气条件下的温度。/02知识储备基本原理线性回归是一种统计方法，用于建模目标变量（通常表示为Y）与一个或多个预测变量之间的线性关系。目标变量截距项预测变量随机误差回归系数最小二乘法（OLS）最小化预测值与实际值的平方误差和，找到最佳拟合线。Σ(yi−(axi+b))2数据准备整理自变量X与因变量Y的数据集。系数计算用OLS公式或工具求解β。模型验证分析残差分布评估拟合效果。模型应用基于拟合方程进行预测或关系分析。OLS应用步骤OLS假设条件04误差均值为零模型无偏，即E(ϵ)=0。01线性关系Y与X存在线性关系03误差项相互独立，且服从正态分布ϵ∼N(0,σ2)误差独立同分布02无多重共线性自变量间无完全线性相关，否则参数估计失效。评估指标——R²分数R²分数，也称为决定系数或判定系数，是衡量回归模型拟合优度的一个指标。它反映了自变量对因变量变异的解释能力。回归模型的预测值与因变量的真实值之差的平方和因变量的真实值与其均值之差的平方和均方误差（MSE）均方误差是衡量回归模型预测值与真实值之间平均平方差的指标。样本真实值样本数量MSE=(1/n)*Σ(y_i-ŷ_i)^2残差分析残差分析是用于评估统计模型的拟合度和检查模型假设的一种方法。残差是观测值与模型预测值之间的差异。为每个观测值生成预测值拟合模型将残差值作为纵轴，自变量值或观测序号作为横轴绘制散点图绘制残差图识别异常值和离群值识别检查残差的正态性、独立性和同方差性检查计算每个观测值的残差计算残差/03任务实施数据处理1fromsklearn.model_selectionimporttrain_test_split2fromsklearn.linear_modelimportLinearRegression3fromsklearn.metricsimportmean_squared_error,r2_score导入库1X=standardized_df[['Po','P','U','ff3','VV','Td']]2y=standardized_df['T']选择特征和目标变量1X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,random_state=42)划分训练集和测试集模型训练与评估1print(f"Coefficients:{model.coef_}")2print(f"Intercept:{ercept_}")模型训练1y_pred=model.predict(X_test)2mse=mean_squared_error(y_test,y_pred)3r2=r2_score(y_test,y_pred)4print(f"MeanSquaredError:{mse}")5print(f"R^2Score:{r2}")模型评估模型预测与保存1print(f"Coefficients:{model.coef_}")2print(f"Intercept:{ercept_}")模型预测1importjoblib2joblib.dump(model,'E:\机器学习项目实战\项目三\代码\saved_model.joblib')模型保存模型利用1save_model=joblib.load('E:\机器学习项目实战\项目三\代码\saved_model.joblib')data=pd.read_excel(r"E:\机器学习项目实战\项目三\data1.xlsx")X1=data.drop('date',axis=1)std_X1=zscore_standardize(X1)1y_pred=save_model.predict(std_X1)2y_pred模型利用模型局限性非线性关系无法捕捉线性回归模型只能捕捉变量之间的线性关系。然而，在天气预测中，许多变量之间可能存在非线性关系。1异常值和噪声敏感异常值和噪声会对线性回归模型的预测性能产生影响。异常值可能导致模型系数的不稳定估计，而噪声则可能增加预测误差。2多重共线性问题在天气数据中，多个特征之间可能存在高度相关性。这可能导致线性回归模型的系数估计不准确，降低预测性能。3预测范围限制当输入特征值超出训练数据的范围时，模型的预测可能变得不可靠。4无法处理分类变量单的编码可能无法充分捕捉分类变量之间的复杂关系，从而影响预测性能。5/04任务评价任务评价1.是否成功导入库train_test_split、LinearRegression以及mean_squared_error,r2_score？2.是否成功将数据划分为划分训练集和测试集？3.是否能够使用模型进行预测并保存模型？THANKS课程结束，谢谢观看监督学习回归实战-天气预测随机森林回归应用CONTENTSOrderNow01任务描述02知识储备03任务实施04任务评价/01任务描述任务描述任务：天气预测能够使用随机森林回归模型对天气数据进行训练和预测，分析模型性能，并与线性回归模型进行对比。。/02知识储备回归森林概念随机森林回归是一种基于集成学习思想的回归方法。集成学习正是通过将多个学习器的预测结果进行组合，从而提高整体预测的准确性和稳定性。一场复杂的任务，单靠一个人的力量可能会有局限，但如果多个有能力的人一起合作，各自发挥所长，最后综合大家的意见，往往能得到更出色的结果。回归森林步骤01Bootstrap抽样从原始数据集中进行有放回的抽样来创建多个子数据集。每个子数据集的大小与原始数据集相同02构建决策树每个子数据集，都会独立地构建一个决策树。在构建每棵树时，并不是考虑所有的特征，而是从所有特征中随机选择一部分特征进行节点分裂04预测每棵树都会给出一个预测值。在回归问题中，随机森林的最终预测结果是所有树预测值的平均值。03节点分裂从随机选择的特征中找出最优的特征和切分点来分裂节点。这个过程重复进行，直到树达到预设的深度或者节点的样本数量小于一个阈值。优势鲁棒性强对噪声数据和异常值具有较强的抵抗力，不容易受到单一数据点的影响，从而保证了模型的稳定性。02适应高维数据处理高维数据时表现出色，无需进行复杂的特征选择或降维处理，即可直接进行建模和预测。04处理非线性能力强能够捕捉数据中的非线性关系，这对于许多实际应用场景中的复杂数据关系尤为重要。03特征重要性分析提供特征重要性排序，帮助用户理解哪些特征对预测结果贡献最大，这对于后续的数据处理和模型优化具有重要意义。05准确性高构建多棵决策树并综合它们的预测结果，能够显著降低预测误差，提高预测的准确性。01抗过拟合能力强构建多棵决策树并引入随机性，随机森林能够显著降低过拟合的风险，提高模型的泛化能力。06参数参数解释n_estimators森林中树木的数量，即弱评估器的数量，必填项。criterion衡量分枝质量的指标。max_depth树的最大深度。这个参数限制了树的生长深度，有助于防止过拟合。min_samples_split分裂内部节点所需的最小样本数。min_samples_leaf叶子节点所需的最小样本数。max_features寻找最佳分裂时要考虑的特征数量。bootstrap是否使用自助采样法构建树。oob_score是否使用袋外样本进行模型评估。/03任务实施数据预处理1．importpandasaspd2．fromsklearn.model_selectionimporttrain_test_split3．fromsklearn.preprocessingimportStandardScaler1.导入库data=pd.read_excel('weather_data.xls')2.读取数据data.fillna(method='ffill',inplace=True)#前向填充缺失值3.数据预处理1．features=['Po','P','U','ff3','VV','Td’]2．target='T'#目标变量，如温度4.特征选择数据预处理1．X=data[features]2．y=data[target]3．X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,random_state=42)5.划分训练集和测试集1．scaler=StandardScaler()2．X_train_scaled=scaler.fit_transform(X_train)3．X_test_scaled=scaler.transform(X_test)6.特征缩放构建随机森林回归模型1．fromsklearn.ensembleimportRandomForestRegressor2．fromsklearn.metricsimportmean_squared_error,r2_score3．rf_regressor=RandomForestRegressor(n_estimators=100,random_state=42)rf_regressor.fit(X_train_scaled,y_train)1．y_pred_train=rf_regressor.predict(X_train_scaled)2．y_pred_test=rf_regressor.predict(X_test_scaled)1.构建随机森林回归模型2.训练模型3.预测构建随机森林回归模型1．train_mse=mean_squared_error(y_train,y_pred_train)2．test_mse=mean_squared_error(y_test,y_pred_test)3．train_r2=r2_score(y_train,y_pred_train)4．test_r2=r2_score(y_test,y_pred_test)5．print(f'TrainMSE:{train_mse},TestMSE:{test_mse}')6．print(f'TrainR^2:{train_r2},TestR^2:{test_r2}')4.模型评估构建随机森林回归模型1．save_model=joblib.load('E:\机器学习项目实战\项目三\代码\saved_regressor.joblib')2．data=pd.read_excel(r"E:\机器学习项目实战\项目三\data1.xlsx")X1=data.drop('date',axis=1)y_pred=save_model.predict(X1)y_pred1．importjoblib2．joblib.dump(rf_regressor,'E:\机器学习项目实战\项目三\代码\saved_regressor.joblib')5.保存模型65.利用模型/04任务评价任务评价1.是否完成必要库的导入并进行数据预处理？2.

是否成功构建构建随机森林回归模型并进行预测？3.是否能够成功保存构建好的模型并使用？THANKS课程结束，谢谢观看监督学习回归实战-天气预测特征选择与模型优化CONTENTSOrderNow01任务描述02知识储备03任务实施04任务评价/01任务描述任务描述任务：天气预测在天气预测项目中，经过初步的模型训练，发现模型的性能仍有提升空间。本任务旨在通过特征选择和模型优化，进一步提升模型的预测精度和泛化能力。/02知识储备特征选择包装法02嵌入法0301过滤法过滤法接近0两个变量之间没有明显的线性关系；03接近1两个变量之间存在强烈的正相关关系；01接近-1强烈的负相关；02相关系数：计算特征与目标变量之间的线性相关性，特别适用于连续型数据，取值范围在-1到1之间。过滤法：在模型训练之前，就对特征进行评估和筛选，而且不依赖于具体的机器学习算法。包装法后向消除从包含所有特征的模型开始，每次移除对模型性能贡献最小的特征，同样重新训练和评估，重复操作直到达到预定要求。03递归特征消除RFE从全特征集开始，先使用所有特征训练一个模型，然后计算每个特征的重要性，根据重要性对特征进行排序，把重要性最低的特征移除，再重新训练模型，不断重复这个过程，直到达到预设的特征数量。01前向选择从一个空的特征集合开始，逐步向其中添加新的特征，每次都选择一个对模型性能提升最大的特征加入当前集合，添加后重新训练并评估模型性能，不断重复直至满足停止条件。02包装法：通过训练模型来评估特征子集的性能，使用特定的机器学习算法作为评估标准，在特征子空间中搜索最优的特征组合。嵌入法Lasso回归Lasso回归属于线性回归模型，它通过引入L1正则化项来实现特征选择。在线性回归的目标函数里加入L1正则化项后，会使得部分特征的系数变为001随机森林计算每个特征在所有决策树中节点分裂时减少的不纯度的平均值通过随机交换袋外数据中某个特征的值，重新预测并计算准确率的下降程度。02嵌入法：将特征选择过程巧妙地嵌入到模型训练当中，借助模型自身的机制来选择重要特征。适用场景过滤法数据规模大、特征极多的场景能够快速预处理以降低计算成本。01包装法数据规模较小、追求模型最优性能情况下，能针对性适配特定模型。02嵌入法在模型训练中通过正则化等机制自动学习特征重要性并完成筛选，适合希望平衡效率与性能的中等规模数据场景。03特征选择1fromsklearn.feature_selectionimportRFE2rfe=RFE(estimator=RandomForestRegressor(),n_features_to_select=3)3X_train_selected=rfe.fit_transform(X_train_scaled,y_train)4X_test_selected=rfe.transform(X_test_scaled)5print(rfe.support_)6selected_features=[nameforname,selectedinzip(features,rfe.support_)ifselected]7print("Selectedfeaturenames:",selected_features)模型优化正则化02交叉验证0301超参数调优超参数调优超参数是在模型训练之前就需要设置的参数，它们无法通过训练数据直接学习得到。超参数调优的目标，就是找到一组最优的超参数，让模型的性能达到最佳状态。穷举搜索方法，它会遍历所有可能的超参数组合，通过交叉验证的方式试验每一种组合，最后选出最优的参数组合。网格搜索01从参数的分布中随机选取参数组合进行评估。随机搜索02正则化正则化是一种用于防止模型过拟合的重要技术，原理是在损失函数中加入正则化项，以此来限制模型参数的大小。通过在损失函数中加入模型参数的绝对值之和作为正则化项，会将部分参数压缩为0，从而实现特征选择L1正则化01损失函数中加入模型参数的平方和作为正则化项，它会惩罚参数的平方和，让所有参数的值都趋向于较小的值，但不会把参数压缩为0L2正则化02交叉验证04重复随机划分交叉验证通过多次随机划分数据集为训练集和测试集来评估模型性能，它的灵活性较高，但随机性较大，结果可能不太稳定。01K折交叉验证把数据集划分为K个大小相近的子集，每次选择其中的K-1个子集作为训练集，剩下的1个子集作为验证集，这个过程重复K次，最后取K次验证结果的平均值03留一交叉验证是K折交叉验证的一种特殊情况，其中K等于数据集的样本数量，每次只留出一个样本作为验证集，其余所有样本作为训练集留一交叉验证02分层交叉验证适用于分类问题，它在划分数据时会保证每个子集中各类样本的比例与原始数据集中的比例一致，避免因数据划分不均衡而导致的模型性能评估偏差。/03任务实施特征值选择1fromsklearn.feature_selectionimportRFE2rfe=RFE(estimator=RandomForestRegressor(),n_features_to_select=3)3X_train_selected=rfe.fit_transform(X_train_scaled,y_train)4X_test_selected=rfe.transform(X_test_scaled)5print(rfe.support_)6selected_features=[nameforname,selectedinzip(features,rfe.support_)ifselected]7print("Selectedfeaturenames:",selected_features)模型优化1．fromsklearn.model_selectionimportGridSearchCV2．param_grid={3．'n_estimators':[50,100,200],4．'max_depth':[None,10,20],5．'min_samples_split':[2,5,10],6．'min_samples_leaf':[1,2,4]7．}8．rf_regressor=RandomForestRegressor(random_state=42)9．grid_search=GridSearchCV(estimator=rf_regressor,param_grid=param_grid,cv=5,scoring='neg_mean_squared_error')10．grid_search.fit(X_train_selected,y_train)11．best_params=grid_search.best_params_12．print(f'BestParameters:{best_params}')模型优化评估1rf_regressor_optimized=RandomForestRegressor(**best_params,random_state=42)2rf_regressor_optimized.fit(X_train_selected,y_train)3y_pred_train_optimized=rf_regressor_optimized.predict(X_train_selected)4y_pred_test_optimized=rf_regressor_optimized.predict(X_test_selected)5train_mse_optimized=mean_squared_error(y_train,y_pred_train_optimized)6train_r2_optimized=r2_score(y_train,y_pred_train_optimized)7test_mse_optimized=mean_squared_error(y_test,y_pred_test_optimized)8test_r2_optimized=r2_score(y_test,y_pred_test_optimized)9print(f'OptimizedTrainMSE:{train_mse_optimized},OptimizedTestMSE:{test_mse_optimized}')10print(f'OptimizedTrainR^2:{train_r2_optimized},OptimizedTestR^2:{test_r2_optimized}')对比分析01均方误差（MSE）的改进训练集上的MSE从0.0828降低到0.0579，表明优化后的模型在训练数据上的预测误差更小。测试集上的MSE从0.7923降低到0.5948，表明优化后的模型在未见过的数据上的预测误差也有所减小，泛化能力更强。02R²分数的改进训练集上的R²分数从0.99936提高到0.99955，虽然提升幅度不大，但仍然表明优化后的模型在训练数据上的拟合程度更高。测试集上的R²分数从0.993308提高到0.994976，同样表明优化后的模型在测试数据上的拟合程度也有所提高。/04任务评价任务评价1.是否成功实现特征值选择继而对模型进行优化？2.模型优化后是否成功对模型进行评估？3.是否能通过模型优化前后的指标变化对模型进行分析？THANKS课程结束，谢谢观看无监督学习项目实战-客户市场细分项目背景与目标CONTENTSOrderNow01任务描述02知识储备03任务实施04任务评价/01任务描述任务描述任务：客户市场细分本次任务要求团队深入调研客户市场细分的实际应用背景，理解本项目对商场、企业捕捉客户需求，实现精准营销的重要性。在此过程中，明确项目的具体需求、目标，并收集整理客户市场行为数据，配置好分析环境，为后续数据分析做好数据准备。/02知识储备无监督学习特点无需标注无监督学习不需要事先对数据进行标注，大大节省了人力成本。PART-01发现新模式算法能够自动从数据中发现隐藏的模式和结构。PART-02结果难解释无监督学习的结果往往是隐式的或不可直接量化的，因此其效果难以用传统的性能指标来评估。PART-03计算复杂一些无监督学习算法的计算复杂度较高，需要较强的计算能力支持。PART-04细分客户市场应用01聚类分析通过聚类算法根据客户的消费习惯、购买行为、偏好等特征，将客户划分为不同的群体。02降维处理通过无监督学习中的降维算法将高维的客户数据降维到低维空间，提取出最有价值的信息用于市场细分。细分客户市场好处提高营销效率针对不同细分市场的客户需求和偏好，制定个性化的营销策略。Part01增强客户满意度通过细分市场，企业可以更加精准地满足客户的需求和期望，从而提高客户满意度和忠诚度。Part02优化资源配置根据不同细分市场的规模和需求，合理分配营销资源，确保资源的高效利用。Part03聚类算法原理将数据集中的样本划分为若干个簇（Cluster），使得同一簇内的样本尽可能相似，而不同簇之间的样本尽可能不相似。聚类算法分类1基于划分K-Means算法3基于层次凝聚层次聚类5基于模型高斯混合模型2基于密度DBSCAN算法4基于网格STING算法聚类算法的选择01数据特性数据的规模、维度、分布情况等02聚类需求需要划分的簇的数量、簇的形状和大小等。03计算资源计算时间、存储空间等。数据预处理异常值在数据集中与其他数据点显著不同的数据点。这些异常值可能由测量误差、数据输入错误、自然现象或特定业务场景引起。1缺失值在数据集中某些数据点没有记录或未被收集的情况。数据缺失可能由多种原因导致。2重复值在数据集中存在多条完全相同或部分相同的记录。3探索对数据进行初步整理和概括的过程，主要包括计算数据的集中趋势、离散程度和分布形态，以直观呈现数据的基本特征和整体规律，为后续深入分析提供基础。描述性统计对数据进行可视化、计算统计量、检测异常值和相关性分析等方法，初步了解数据特征、发现潜在规律、识别数据问题，为进一步建模和深入分析提供方向和依据。数据可视化常用数据处理库01PandasPandas是Python中用于数据分析和处理的强大库，提供了DataFrame和Series两种主要数据结构，支持数据清洗、筛选、分组、合并等操作。02MatplotlibMatplotlib是Python中用于数据可视化的基础库，广泛应用于科学计算和数据分析领域。它提供了丰富的绘图功能，支持绘制折线图、柱状图、散点图、饼图等多种图表类型。03SeabornSeaborn是基于Matplotlib的Python数据可视化库，专注于统计图表的绘制。它提供了一系列高级接口，能够快速生成美观且信息丰富的图表，如箱线图、热力图、小提琴图等，特别适合用于展示数据的分布、相关性及分类特征。/03任务实施项目背景收集包括客户基本信息、购买历史和消费偏好等多维度数据。通过数据预处理、特征工程和降维技术，我们将优化数据质量，以便更好地应用聚类算法。最终生成详细的客户画像，揭示每个客户群体的独特需求和行为模式。项目目标通过对客户数据的深入分析，利用聚类算法识别出具有相似特征和行为模式的客户群体，从而为企业的精准营销和客户关系管理提供数据支持。通过本项目的实践，深入理解客户市场细分的原理和方法，掌握数据收集、处理、建模、评估、应用的全流程，培养解决实践问题的能力。数据收集与整理数据收集与整理1importnumpyasnp2importpandasaspdimportosdata=pd.read_csv('Mall_Customers.csv’)data.head()查看Mall_Customers数据集探索数据()查看数据基本信息data.shape查看数据维度探索数据data.shape描述性分析data.isnull().sum()查看缺失值data.describe(include=np.dtype("O")).Tprint(f"重复值数量:{data.duplicated().sum()}")查看重复值数据可视化1importmatplotlib.pyplotasplt2importseabornassns3plt.rcParams['font.sans-s