《机器学习项目开发实战》-课件 项目2 监督学习分类实战-图像分类

监督学习分类实战-图像分类项目背景与目标CONTENTSOrderNow01任务描述02知识储备03任务实施04任务评价/01任务描述任务描述任务：图像识别本项目旨在通过监督学习的方法实现图像分类。任务一是项目的启动阶段，需要了解图像分类的背景、目标以及整个项目的实施流程。/02知识储备图像识别是什么图像识别是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术。监督学习基本原理监督学习是从标记的训练数据来推断一个功能的机器学习任务。它利用一组已知类别的样本调整分类器的参数，使其达到所要求性能的过程。在监督学习中，模型使用标记数据集进行训练，训练数据集通常包含输入（特征）和输出（标签），模型通过学习输入与输出之间的关系，从而能够对新的输入数据给出准确的预测或分类。监督学习流程数据准备收集包含输入特征和对应标签的训练数据集，并对这些数据进行预处理。特征工程从原始数据中提取有用特征并选择对模型训练最有帮助的特征的过程。模型选择根据问题的性质和数据的特点选择合适的监督学习算法，并确定模型的结构。模型训练在训练数据集上执行算法，不断缩小输出与标签之间差距，直到模型被适当地拟合。模型评估使用测试数据集来评估模型的准确性。模型部署当模型经过训练和评估后，可以将其部署到实际应用中。常用图像分类数据集MNIST数据集包含了手写数字0到9共10个类别灰度图像，常用于训练和测试在图像处理和机器学习领域中的监督学习模型。常用图像分类数据集CIFAR-10图像更加复杂，图像中包含了多种物体和背景，且物体的大小、位置、姿态等变化较大，这使得图像分类任务更具挑战性。常用图像分类数据集ImageNet数据集的图像内容极其丰富和多样化，涵盖了各种自然场景、物体、动物、植物等，图像的大小、分辨率、质量等也各不相同，这使得图像分类任务极具挑战性。评估指标01准确率正确分类的样本数与总样本数的比例。02召回率对于某个类别，正确分类的样本数与该类别实际样本数的比例。03F1分数准确率和召回率的调和平均数，用于综合评估模型的性能。04混淆矩阵一个表格，用于显示模型在不同类别上的预测结果与实际结果的对比。/03任务实施环境准备condacreate--nameproject2创建虚拟环境2condaactivateproject2激活虚拟环境2环境准备pipinstallopencv-pythonOpenCV的安装pipinstallopencv-python-headless#或pipinstallopencv-contrib-pythonopencv-python-headlesspipinstallPillow安装PILpipinstalltorchtorchvisionPyTorch和torchvision数据集选择MNIST数据集因其简洁性和广泛的应用性，成为了入门者和研究者们首选的“试金石”。这个数据集包含了70000张手写数字图片，每张图像均为28x28像素的灰度图，涵盖了从0到9的十个数字类别。图像预处理1importtorch2importtorchvision3importtorchvision.transformsastransforms4fromtorch.utils.dataimportDataLoader,random_split导入必要的库transform=transforms.Compose([transforms.ToTensor(),])定义数据变换图像预处理dataset=torchvision.datasets.MNIST(root='./data',train=True,download=false,transform=transform)加载MNIST数据集1train_size=int(0.8*len(dataset))#80%的数据用于训练2test_size=len(dataset)-train_size#剩下的20%用于测试3train_dataset,test_dataset=random_split(dataset,[train_size,test_size])划分数据集图像预处理1train_loader=DataLoader(train_dataset,batch_size=64,shuffle=True)2test_loader=DataLoader(test_dataset,batch_size=1000,shuffle=False)创建数据加载器1dataiter=iter(train_loader)images,labels=next(dataiter)print(f'Imagebatchshape:{images.size()}')4print(f'Labelbatchshape:{labels.size()}')检查数据加载器图像预处理1importmatplotlib.pyplotasplt2importnumpyasnp3image=images[0].numpy().squeeze()4plt.imshow(image,cmap='gray')5plt.title(f'Label:{labels[0].item()}')6plt.show()打印一个图像和对应的标签/04任务评价任务评价1.是否成功创建了虚拟环境并激活？2.是否正确导入了torch、torchvision、transforms等必要库？3.是否成功定义了定义数据变换？4.是否成功加载了MNIST数据集？5.是否成功打印一个图像和对应的标签?THANKS课程结束，谢谢观看监督学习分类实战-图像分类K近邻（KNN）算法实现CONTENTSOrderNow01任务描述02知识储备03任务实施04任务评价/01任务描述任务描述任务：K近邻（KNN）算法实现在本任务中，你将实现K近邻（KNN）算法来对图像数据进行分类。你需要从数据预处理开始，选择合适的特征，实现KNN算法，并调整参数以优化模型性能。/02知识储备KNN是什么KNN算法，全称K-NearestNeighbor，即K最近邻算法，是一种在数据挖掘和机器学习中广泛使用的监督学习算法。KNN工作原理13425输入样本筛选样本统计样本预测样本KNN实现流程在建立训练集时，就要确定训练数据及其对应的类别标签；然后把待分类的测试数据与训练集数据依次进行特征比较；从训练集中挑选出最相近的k个数据，这k个数据中投票最多的分类，即为新样本的类别。欧式距离曼哈顿距离余弦相似度余弦相似度的取值范围为[−1,1]，其中1表示两个向量完全相似，-1表示两个向量完全相反，0表示两个向量无关。K值选择方法经验法则根据经验和数据集的特点，常用的K值有1、3、5等。1交叉验证将样本数据按照一定比例拆分为训练集和验证集。选取较小的K值开始，不断增加K的值，选择表现最好的K值作为最优解。2网格搜索在给定的K值范围内进行搜索，尝试所有可能的K值组合。3/03任务实施KNN算法实现fromsklearn.neighborsimportKNeighborsClassifierfromsklearn.metricsimportaccuracy_scoreknn=KNeighborsClassifier(n_neighbors=3)knn.fit(X_train,y_train)y_pred=knn.predict(X_test)accuracy=accuracy_score(y_test,y_pred)print(f"Accuracy:{accuracy:.4f}")导入库创建模型评估模型模型调优1k_values=range(1,21)#从1到20，2best_accuracy=03best_k=04forkink_values:5knn=KNeighborsClassifier(n_neighbors=k)scores=cross_val_score(knn,X_train,y_train,cv=5,scoring='accuracy’)mean_accuracy=scores.mean()8print(f"K={k},Cross-ValidationAccuracy:{mean_accuracy:.4f}")9ifmean_accuracy>best_accuracy:10best_accuracy=mean_accuracy11best_k=k12print(f"BestK:{best_k},BestCross-ValidationAccuracy:{best_accuracy:.4f}")/04任务评价任务评价1.是否成功加载了KNeighborsClassifier及accuracy_score库？2.是否成功创建了KNN模型？3.是否成功对KNN模型进行评估？3.是否成功对KNN模型进行调优？THANKS课程结束，谢谢观看监督学习分类实战-图像分类决策树算法应用CONTENTSOrderNow01任务描述02知识储备03任务实施04任务评价/01任务描述任务描述任务：K近邻（KNN）算法实现应用决策树算法对图像分类任务进行建模，通过预处理图像数据、提取特征、构建决策树模型、进行模型训练和评估，最终实现对图像的有效分类。/02知识储备决策树定义决策树是一种常用的机器学习算法，主要用于分类和回归任务。它通过一系列的决策规则来预测目标变量的值。决策树组成部分根节点：决策树的起始节点，代表整个数据集。内部节点：表示一个特征或属性的测试，用于分割数据。叶节点：表示一个决策结果，对于分类任务，叶节点是类别标签；对于回归任务，叶节点是数值预测。边/分支：连接节点的线，表示从父节点到子节点的决策路径。每条边对应一个条件或规则，表示在父节点的测试条件下，数据流向子节点的规则。决策树构建方法特征选择在每一步划分时，选择一个最佳特征作为决策依据，进行数据划分。这个特征应该能够最大程度上提高数据的区分度。01节点分裂根据选择的特征，利用不同的分裂准则将当前节点的数据集划分成若干子集。02递归分裂对每个子集递归执行特征选择与节点分裂操作，直到满足停止条件。03树剪枝为了避免决策树过拟合，需要对生成的决策树进行简化，去除多余的分支节点。04信息增益熵熵是衡量数据集不纯度的一个指标。在分类问题中，一个数据集的熵越高，说明其类别分布越不均匀，即不确定性越大；01条件熵条件熵是在给定某个特征A的条件下，数据集D的熵。它衡量了在知道特征A的取值后，数据集D的不确定性减少了多少。02信息增益信息增益是衡量一个特征对分类任务贡献大小的一个指标。它等于数据集D的熵减去在给定特征A的条件下的条件熵。03基尼系数基尼值基尼值直接反映了从数据集中随机抽取两个样本，属于不同类别的概率。基尼值越小，说明数据集越纯；基尼值越大，说明数据集越不纯。条件基尼值条件基尼值是在给定某个特征A的条件下，数据集D的基尼值。它衡量了在知道特征A的取值后，数据集D的不纯度减少了多少。基尼增益基尼增益是衡量一个特征对分类任务贡献大小的另一个指标。它等于数据集D的基尼值减去在给定特征A的条件下的条件基尼值。/03任务实施数据预处理1．importnumpyasnp2．importmatplotlib.pyplotasplt3．fromsklearn.datasetsimportfetch_openml4．fromsklearn.model_selectionimporttrain_test_split5．fromsklearn.treeimportDecisionTreeClassifier6．fromsklearn.metricsimportaccuracy_score,classification_report,confusion_matrix1．mnist=fetch_openml(‘mnist_784’,version=1,data_home=‘./data’,local_cache=True)2．X,y=mnist["data"],mnist["target"].astype(int)导入库加载MNIST数据集1．X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.3,random_state=42,stratify=y)划分数据集构建决策树模型clf=DecisionTreeClassifier(random_state=42)初始化决策树分类器clf.fit(X_train,y_train)训练模型y_pred=clf.predict(X_test)在测试集上进行预测模型评估1．accuracy=accuracy_score(y_test,y_pred)2．print(f"Accuracy:{accuracy:.4f}")3．print("ClassificationReport:")4．print(classification_report(y_test,y_pred))5．conf_matrix=confusion_matrix(y_test,y_pred)6．print("ConfusionMatrix:")7．print(conf_matrix)初始化决策树分类器模型评估1．defplot_digit(data):2．fig,