人工智能数据挖掘 课件 项目4-制造业质量控制与缺陷检测

数据挖掘课程教学课件项目4制造业质量控制与缺陷检测通过数据准备、质量建模与缺陷检测，学习用数据挖掘方法提升制造业质量控制效率。质量控制缺陷检测数据准备质量建模缺陷检测课程导航任务4.1数据集简介及准备任务4.2数据观察任务4.3数据预处理任务4.4特征分布任务4.5样本均衡任务4.6数据归一化项目4_制造业质量控制与缺陷检测2项目描述你是一家钢铁企业的技术检测员，负责监督钢板生产过程中的质量控制。最近，你注意到在钢板生产过程中出现了一些缺陷，如糕点、划痕、污渍等。你意识到需要找出引起这些缺陷的主要原因，以便采取相应的措施来减少缺陷的发生，提高产品质量。问题：钢板生产过程中出现了各种缺陷，如何确定引起这些缺陷的主要原因？解决方案：利用机器学习技术对钢板生产过程中的各种特征数据进行分析，找出与缺陷发生相关性最高的特征，从而确定引起缺陷的主要原因。通过构建适当的机器学习模型，并利用特征重要性评估方法，可以识别出对不同类型的缺陷影响最大的特征。项目4_制造业质量控制与缺陷检测3项目实施在UCI网址下载模拟数据集钢板缺陷。观察数据集，了解该数据集的基本结构。用数据转换模块来清洗、标准化和转换数据。训练模型，尝试使用不同的算法进行训练。评估模型，根据评估结果选出最优算法。项目4_制造业质量控制与缺陷检测4项目目标了解对类别型数据挖掘常用的算法。了解钢板缺陷数据集的结构。掌握线形回归、多分类决策森林、支持向量机算法。制造业中，对产品质量进行控制和缺陷检测是至关重要的任务之一。传统的质量控制方法通常依赖于人工检查或基于规则的系统，但这些方法可能存在效率低下、主观性高以及无法处理复杂的数据模式等问题。项目4_制造业质量控制与缺陷检测5企业岗位要求岗位：数据分析工程师要求：收集、整理和标注数据，为机器学习模型的训练提供数据支持。掌握基础的机器学习算法和技术，参与模型的开发和实验。项目4_制造业质量控制与缺陷检测6知识链接．类别型数据类别型数据，也称为分类数据，是指具有有限个取值的数据类型，通常用于表示类别、标签或状态。在数据挖掘和机器学习领域，类别型数据可以分为几种常见的类型。名义型数据（NominalData）：名义型数据是指没有顺序或等级关系的类别型数据。例如，颜色（红、绿、蓝）、性别（男、女）、血型（A、B、O、AB）等。名义型数据的特点是只能进行相等性判断，不能进行大小比较或排序。顺序型数据（OrdinalData）：顺序型数据是指具有一定顺序或等级关系的类别型数据。项目4_制造业质量控制与缺陷检测8任务4.1数据集简介及准备本项目采用"SteelPlatesFaults"数据集来完成，其是一个经常被用于机器学习和数据挖掘的标准数据集之一。；该数据集主要用于钢板质量控制领域的研究和实践。项目4_制造业质量控制与缺陷检测9任务4.1数据集简介及准备（1/2）本项目采用"SteelPlatesFaults"数据集来完成，其是一个经常被用于机器学习和数据挖掘的标准数据集之一。该数据集主要用于钢板质量控制领域的研究和实践。包含了一系列描述钢板表面缺陷的特征，以及钢板上可能存在的几种不同类型的缺陷标签。具体而言，该数据集包含了钢板表面上的各种特征，例如缺陷区域的位置、尺寸、形状、亮度等信息。同时，钢板上可能存在的缺陷类型也被标记为不同的标签，如糕点、划痕、污渍等。通过分析这些特征和标签数据，可以建立机器学习模型来识别和预测钢板上可能存在的缺陷类型，从而帮助钢铁企业进行质量控制和生产优化。这个数据集对于研究钢板生产过程中缺陷识别和质量改进具有重要的实用价值。项目4_制造业质量控制与缺陷检测10任务4.1数据集简介及准备（2/2）同样，在UCI下载该数据集，在UCI官方网站上，搜索关键字“steelplatesfaults”即可找到该数据集。在下载页面右侧单击“Download”按钮，如图4.2所示。下载完成后，解压“steel+plates+faults.zip”压缩包，会得到两个文件，文件1为“Faults.NNA”，该文件包含了原始数据，文件2为“Faults27x7var”，该文件包含了，27个特征列名称和7个结果列的名称。项目4_制造业质量控制与缺陷检测11任务4.1数据集简介及准备图示补充该页用于课堂中对界面截图、流程结果或图表进行补充说明，适合教师边展示边讲解。项目4_制造业质量控制与缺陷检测12任务4.2数据观察可以通过excel等工具进行数据观察，但是效率偏低，为了更好的进行数据观察，可以采用“ucimlre；po”库来进行。项目4_制造业质量控制与缺陷检测13任务4.2数据观察（1/20）可以通过excel等工具进行数据观察，但是效率偏低，为了更好的进行数据观察，可以采用“ucimlrepo”库来进行。单击步骤1的图4.1中的“IMPORTINPYTHON”按钮，在弹出窗口中可以查看如何安装“ucimlrepo”，以及如何导入数据。【例4.1】导入基础库\子图%matplotlibinline项目4_制造业质量控制与缺陷检测14任务4.2数据观察（2/20）\忽略警告复制粘贴官方推荐的导入数据代码，并适当修改。【例4.2】复制粘贴官方推荐的导入代码\fetchdatasetsteelplatesfaults=fetchucirepo(id=198）项目4_制造业质量控制与缺陷检测15任务4.2数据观察（3/20）\data(aspandasdataframes)X=steelplatesfaults.data.featuresy=steelplatesfaults.data.targets\metadatametadata=steelplatesfaults.metadata项目4_制造业质量控制与缺陷检测16任务4.2数据观察（4/20）\variableinformationvariable=steelplatesfaults.variables然后分别打印输出各变量，X表示特征数据，结果如图4.3所示。该数据集包含27个特征值，27个特征值的含义分别为。．XMinimum：缺陷区域的最小水平位置（X轴上的最小值）。项目4_制造业质量控制与缺陷检测17任务4.2数据观察（5/20）．XMaximum：缺陷区域的最大水平位置（X轴上的最大值）。．YMinimum：缺陷区域的最小垂直位置（Y轴上的最小值）。．YMaximum：缺陷区域的最大垂直位置（Y轴上的最大值）。．PixelsAreas：缺陷区域的像素面积。．XPerimeter：缺陷区域的水平周长。项目4_制造业质量控制与缺陷检测18任务4.2数据观察（6/20）．YPerimeter：缺陷区域的垂直周长。．SumofLuminosity：缺陷区域的亮度总和。．MinimumofLuminosity：缺陷区域的最小亮度。．MaximumofLuminosity：缺陷区域的最大亮度。．LengthofConveyer：输送带的长度。项目4_制造业质量控制与缺陷检测19任务4.2数据观察（7/20）．TypeOfSteelA300：钢板的类型，A300类型的标志。．TypeOfSteelA400：钢板的类型，A400类型的标志。．SteelPlateThickness：钢板的厚度。．EdgesIndex：缺陷区域边缘的指数。．EmptyIndex：缺陷区域为空的指数。项目4_制造业质量控制与缺陷检测20任务4.2数据观察（8/20）．SquareIndex：缺陷区域的正方形指数。．OutsideXIndex：缺陷区域在X轴外部的指数。．EdgesXIndex：缺陷区域X轴上的边缘指数。．EdgesYIndex：缺陷区域Y轴上的边缘指数。．OutsideGlobalIndex:缺陷区域在全局外部的指数。项目4_制造业质量控制与缺陷检测21任务4.2数据观察（9/20）．LogOfAreas：缺陷区域面积的对数。．LogXIndex：缺陷区域在X轴上的对数指数。．LogYIndex：缺陷区域在Y轴上的对数指数。．OrientationIndex：缺陷区域的方向指数。．LuminosityIndex：缺陷区域的亮度指数。项目4_制造业质量控制与缺陷检测22任务4.2数据观察（10/20）．SigmoidOfAreas：缺陷区域面积的S型函数。y表示结果数据，如图4.4所示。该数据集包含7个特征值，表示该钢材具体的缺陷类型，具体含义如下。．Pastry：指钢板上的“糕点”缺陷，这可能是指钢板上出现的小凸起或者不规则形状的缺陷。．ZScratch：指钢板上的“Z形划痕”缺陷，这可能是由于划痕或刮痕导致的缺陷，形状呈现出Z形状。项目4_制造业质量控制与缺陷检测23任务4.2数据观察（11/20）．KScatch：指钢板上的“K形划痕”缺陷，这可能是由于划痕或刮痕导致的缺陷，形状呈现出K形状。．Stains：指钢板上的“污渍”缺陷，这可能是由于钢板表面被涂抹或沾染上的不良物质导致的污渍。．Dirtiness：指钢板上的“脏污”缺陷，这可能是由于钢板表面的不洁净或污染导致的缺陷。．Bumps：指钢板上的“凸起”缺陷，这可能是指钢板表面的隆起或突起部分。．OtherFaults：指钢板上的其他类型缺陷，这可能包括了除上述列举的缺陷类型之外的其他各种不规则、损坏或异常情况。项目4_制造业质量控制与缺陷检测24任务4.2数据观察（12/20）metadata表示元数据，主要介绍了该数据集的ID编号，作者等信息，读者可以自行查看。variable表是各变量的详细信息，打印该变量，输出结果如表4.1所示。|||||||||----|----|----|----|----|----|----||name|role|type|demographic|description|units|missingvalues|项目4_制造业质量控制与缺陷检测25任务4.2数据观察（13/20）|0|XMinimum|Feature|Integer|None|None|None||1|XMaximum|Feature|Integer|None|None|None||2|YMinimum|Feature|Integer|None|None|None||3|YMaximum|Feature|Integer|None|None|None||4|PixelsAreas|Feature|Integer|None|None|None|项目4_制造业质量控制与缺陷检测26任务4.2数据观察（14/20）|5|XPerimeter|Feature|Integer|None|None|None||6|YPerimeter|Feature|Integer|None|None|None||7|SumofLuminosity|Feature|Integer|None|None|None||8|MaximumofLuminosity|Feature|Integer|None|None|None||9|LengthofConveyer|Feature|Integer|None|None|None|项目4_制造业质量控制与缺陷检测27任务4.2数据观察（15/20）|10|TypeOfSteelA300|Feature|Integer|None|None|None||11|TypeOfSteelA400|Feature|Integer|None|None|None||12|SteelPlateThickness|Feature|Integer|None|None|None||13|EdgesIndex|Feature|Continuous|None|None|None||14|EmptyIndex|Feature|Continuous|None|None|None|项目4_制造业质量控制与缺陷检测28任务4.2数据观察（16/20）|15|SquareIndex|Feature|Continuous|None|None|None||16|OutsideXIndex|Feature|Continuous|None|None|None||17|EdgesXIndex|Feature|Continuous|None|None|None||18|EdgesYIndex|Feature|Continuous|None|None|None||19|OutsideGlobalIndex|Feature|Continuous|None|None|None|项目4_制造业质量控制与缺陷检测29任务4.2数据观察（17/20）|||||||||----|----|----|----|----|----|----||name|role|type|demographic|description|units|missingvalues||20|LogOfAreas|Feature|Continuous|None|None|None||21|LogXIndex|Feature|Continuous|None|None|None|项目4_制造业质量控制与缺陷检测30任务4.2数据观察（18/20）|22|LogYIndex|Feature|Continuous|None|None|None||23|OrientationIndex|Feature|Continuous|None|None|None||24|LuminosityIndex|Feature|Continuous|None|None|None||25|SigmoidOfAreas|Feature|Continuous|None|None|None||26|MinimumofLuminosity|Feature|Integer|None|None|None|项目4_制造业质量控制与缺陷检测31任务4.2数据观察（19/20）|27|Pastry|Target|Binary|None|None|None||28|ZScratch|Target|Binary|None|None|None||29|KScratch|Target|Binary|None|None|None||30|Stains|Target|Binary|None|None|None||31|Dirtiness|Target|Binary|None|None|None|项目4_制造业质量控制与缺陷检测32任务4.2数据观察（20/20）|32|Bumps|Target|Binary|None|None|None||33|OtherFaults|Target|Binary|None|None|None|表中，“type”表示是特征值还是结果值，“demographic”表示该变量的数据类型。值“Integer”表示整型数据，“Continuous”表示浮点数型连续数据，“Binary”表示为二进制数据。“description”表示各变量的描述，“units”单位，所有值均为None表示都没有计量单位，“missingvalues”表示缺失值，所有缺失值均为None代表没有缺失值。项目4_制造业质量控制与缺陷检测33任务4.3数据预处理由于原始数据的分类数据分类为7列，而在机器学习中要求将7列合并为1列，分类1用整数0表示，分类2用整；数1表示，以此类推，分类7用整数6表示，我们通过编写python代码来完成该任务。项目4_制造业质量控制与缺陷检测34任务4.3数据预处理（1/3）由于原始数据的分类数据分类为7列，而在机器学习中要求将7列合并为1列，分类1用整数0表示，分类2用整数1表示，以此类推，分类7用整数6表示，我们通过编写python代码来完成该任务。【例4.7】合并分类列\Loadtheoriginaldatadf=steelplatesfaults.data.original项目4_制造业质量控制与缺陷检测35任务4.3数据预处理（2/3）\Defineafunctiontodeterminethelabelbasedonthelast7columnslabels=\['Pastry','ZScratch','KScratch','Stains','Dirtiness','Bumps','OtherFaults'\]\Applythefunctiontoeachrowtogetthelabelsdf\['Label'\]=df.apply(getlabel,axis=1）项目4_制造业质量控制与缺陷检测36任务4.3数据预处理（3/3）\Droptheoriginaltargetcolumns项目4_制造业质量控制与缺陷检测37任务4.4特征分布合并后，通过绘图来查看一下单个特征的分布情况。；可以通过seabor的boxplot箱体图来查看单个特征的数值分布情况，比如钢材厚度。项目4_制造业质量控制与缺陷检测38任务4.4特征分布（1/4）合并后，通过绘图来查看一下单个特征的分布情况。可以通过seabor的boxplot箱体图来查看单个特征的数值分布情况，比如钢材厚度。【例4.8】单个特征分布parameters=df2.columns\[:-1\].tolist()箱体图解读盒子：盒子的高度约为40，说明数据大多分布在底部，比较集中。项目4_制造业质量控制与缺陷检测39任务4.4特征分布（2/4）线：线位于盒子的中间偏上，说明小于中位数的数据要多于大于中位数的数据。胡须：胡须向上延伸约140，向下延伸约40，说明数据的大部分值都在40到140之间。异常值：有若干异常值，落在140和290之间，说明这两个数据点间的与其他数据点明显不同。从箱型图中能够观察到单个特征的取值分布情况。下面绘制全部参数的取值分布箱型图。【例4.9】全部参数的取值分布项目4_制造业质量控制与缺陷检测40任务4.4特征分布（3/4）\两个基本参数：设置行、列fig=makesubplots(rows=7,cols=4）1行2列\fig=go.Figure()\添加两个数据轨迹，形成图形r=i//4+1项目4_制造业质量控制与缺陷检测41任务4.4特征分布（4/4）c=(i+1）%4row=r,col=4)else:row=r,col=c)项目4_制造业质量控制与缺陷检测42任务4.5样本均衡【例4.10】查看每种类别数量；df\["Label"\].valuecounts()项目4_制造业质量控制与缺陷检测43任务4.5样本均衡（1/5）【例4.10】查看每种类别数量df\["Label"\].valuecounts()Label673402391项目4_制造业质量控制与缺陷检测44任务4.5样本均衡（2/5）190158Name:count,dtype:int64根据输出的结果，数据集中不同类别的样本数量差异较大，其中类别6的样本数量最多，为673个，而类别4的样本数量最少，为55个。由于样本数量之间的差距较大，因此可以认为数据集是不均衡的。通常，当各个类别的样本数量相差不超过一倍时，我们才会认为数据集是相对均衡的。项目4_制造业质量控制与缺陷检测45任务4.5样本均衡（3/5）但在这个情况下，最多的类别样本数量是最少的类别样本数量的12倍左右，因此可以明显地看出数据集的不均衡性。因此，对于这个数据集，可以考虑进行样本均衡处理，以提高模型对于少数类别的预测效果。【例4.11】SMOTE样本均衡X=df.drop("Label",axis=1）y=df\[\["Label"\]\]\使用imbalanced-learn库中上采样方法中的SMOTE接口项目4_制造业质量控制与缺陷检测46任务4.5样本均衡（4/5）\设置随机数种子smo=SMOTE(randomstate=42）Xsmo,ysmo=smo.fitresample(X,y)ysmo【例4.12】统计样本数量ysmo\["Label"\].valuecounts()项目4_制造业质量控制与缺陷检测47任务4.5样本均衡（5/5）Label673Name:count,dtype:int64项目4_制造业质量控制与缺陷检测48任务4.6数据归一化在“sklearn”中，提供了最常用的标准化和最小-最大缩放的函数，代码如下。；【例4.13】标准化缩放项目4_制造业质量控制与缺陷检测49任务4.6数据归一化（1/3）在“sklearn”中，提供了最常用的标准化和最小-最大缩放的函数，代码如下。【例4.13】标准化缩放\Standardization\Min-MaxScalingss=StandardScaler()项目4_制造业质量控制与缺陷检测50任务4.6数据归一化（2/3）datass=ss.fittransform(Xsmo)\还原到原数据\origindata=ss.inversetransform(datass)通过以上代码，我们得到了归一化的数据”datass“。接下来，可以将归一化的数据与最终的结果列进行合并。【例4.14】合并特征矩阵项目4_制造业质量控制与缺陷检测51任务4.6数据归一化（3/3）df2=pd.DataFrame(datass,columns=Xsmo.columns)df2.head()df2\["Label"\]=ysmodf2.head()合并后，输出结果图4.8所示。项目4_制造业质量控制与缺陷检测52任务4.7随机打乱数据由于原始数据的结果值是呈顺序排序，这可能导致模型学习到这种顺序的特征，而忽略真正有意义的模式。；通过随机打乱数据，可以减少模型对数据的顺序依赖性，使得模型更好地泛化到新的数据。项目4_制造业质量控制与缺陷检测53任务4.7随机打乱数据（1/3）由于原始数据的结果值是呈顺序排序，这可能导致模型学习到这种顺序的特征，而忽略真正有意义的模式。通过随机打乱数据，可以减少模型对数据的顺序依赖性，使得模型更好地泛化到新的数据。同时，随机打乱数据还具有以下几个重要作用：防止模型陷入局部极值：在训练过程中，模型可能会陷入局部最优解，导致模型收敛速度变慢或者停滞不前。通过随机打乱数据，可以增加训练样本之间的随机性，有助于模型跳出局部最优解，更好地搜索全局最优解。提高模型的稳定性：随机打乱数据可以增加数据集的多样性，使得模型更加稳健和鲁棒。模型在不同的数据排列下训练，可以学习到更多的模式和规律，从而提高模型的泛化能力。项目4_制造业质量控制与缺陷检测54任务4.7随机打乱数据（2/3）避免数据偏差：如果数据集中存在某种顺序性，比如类别不平衡或者样本采集顺序，那么模型可能会偏向于预测常见类别或者特定顺序的样本。通过随机打乱数据，可以减少这种偏差，使得模型更公正地对待每个类别和样本。【例4.15】随机乱序df3=shuffle(df3）df3.head(10）项目4_制造业质量控制与缺陷检测55任务4.7随机打乱数据（3/3）通过随机打乱后，查看结果标签类别，已经乱序，如图4.9所示。项目4_制造业质量控制与缺陷检测56任务4.8导出数据到csv文件至此，数据预处理阶段已经完成，接下来可以将数据导出到csv文件，然后通过Orange3进行机器学习的；实验。项目4_制造业质量控制与缺陷检测57任务4.8导出数据到csv文件至此，数据预处理阶段已经完成，接下来可以将数据导出到csv文件，然后通过Orange3进行机器学习的实验。【例4.15】导出csv文件\ExportDataFrametoCSVfiledf3.tocsv('Faults.csv',index=False)项目4_制造业质量控制与缺陷检测58任务4.9模型构建步骤1：上传数据；打开Orange3软件，新建一个空白文件。项目4_制造业质量控制与缺陷检测59任务4.9模型构建（1/10）步骤1：上传数据打开Orange3软件，新建一个空白文件。在左侧的组件列表中的“Data”类别下，拖曳一个“文件”组件到工作流中，双击打开后，在弹出的“文件”对话框中上传“Faults.csv”文件。加载完成后，Orange3为我们自动推断了字段的类型，将最下方的“Label”字段设置为“target”结果列，如图4.10所示。步骤2：分割数据集项目4_制造业质量控制与缺陷检测60任务4.9模型构建（2/10）将数据资产加载到工作区后，通常都会将数据集分割为两个分组即训练数据和验证数据。分割数据集是为了在机器学习中进行模型训练、验证和测试的过程中保持数据的独立性和可靠性。主要的原因包括：模型评估：将数据集分割成训练集、验证集和测试集可以让我们在不同阶段评估模型的性能。训练集用于模型的训练，验证集用于调整模型的超参数或进行模型选择，而测试集用于评估模型的泛化能力。防止过拟合：过拟合是指模型在训练集上表现良好，但在未见过的数据上表现不佳的情况。项目4_制造业质量控制与缺陷检测61任务4.9模型构建（3/10）通过使用独立的验证集来调整模型的复杂度和参数，可以减少模型对训练集的过拟合程度，提高模型的泛化能力。模型选择：在机器学习中，通常会尝试多个不同的模型或算法。通过在验证集上比较不同模型的性能，可以选择最优的模型用于进一步的评估和测试。泛化能力评估：测试集用于最终评估模型的泛化能力，即模型在未见过的数据上的表现。将测试集与训练集和验证集分开可以保证评估的客观性和可靠性。拖曳组件列表中“Transform”类别下的“数据采样”组件到工作流中，然后与“列选择”组件进行连接，双击打开“数据采样”对话框，默认的数据采样是选70%的数据，使用默认的设置即可，如图4.11所示。项目4_制造业质量控制与缺陷检测62任务4.9模型构建（4/10）步骤3：选择机器学习算法在本任务中，“steelplatesfaults”数据集有结果标签，所以是一个监督学习问题。当处理监督学习问题时，最常见的任务是分类和回归。分析得知“steelplatesfaults”数据集结果标签是离散值，所以该问题是一个分类问题。同时，由于类别有多个，所以使一个多分类问题。在Orange3中对于多分类问题，可以采用“朴素贝叶斯”算法进行分类。朴素贝叶斯算法（NaiveBayesAlgorithm）是一种简单有效的机器学习算法，常用于文本分类、垃圾邮件过滤、医学诊断等领域。项目4_制造业质量控制与缺陷检测63任务4.9模型构建（5/10）其基本原理是基于概率论中的贝叶斯定理和特征独立假设，对新数据进行分类。在左侧组件列表的“Model”类别中，拖曳“朴素贝叶斯”组件到工作流中，与“数据采样”组件进行连接。工作流如图4.12所示。步骤4：模型评估在Orange3中，“EvaluateModel”组件用于对已经训练好的模型进行评估和性能检验。通过这个组件，用户可以将模型应用于测试数据集，并根据预先定义的评估指标来评估模型的性能。项目4_制造业质量控制与缺陷检测64任务4.9模型构建（6/10）在左侧组件列表中拖曳“Evaluate”（评估）类别中的“评测&评分”组件到工作流中，分别与“数据采样”组件和“线性回归”组件进行连接。双击打开。可以通过“Crossvalidation”（交叉验证）的方式对结果进行评估，如图4.13所示。评估指标解读。AUC(AreaUndertheROCCurve)：AUC值代表模型的ROC曲线下面积，取值范围为0到1，越高越好。AUC值0.945表示该模型的区分度很高，能够较好地将正样本和负样本分开。项目4_制造业质量控制与缺陷检测65任务4.9模型构建（7/10）CA(ClassificationAccuracy)：CA值代表模型的准确率，即预测正确的样本占总样本的比例。CA值0.736表示该模型在测试集上的准确率为73.6%，说明模型具有一定的分