人工智能数据挖掘 课件 项目3、4 制造业生产效率优化、制造业质量控制与缺陷检测

数据挖掘课程教学课件项目3制造业生产效率优化通过数据准备、效率建模与优化决策，系统提升制造业生产效率。定位效率瓶颈支撑优化决策数据准备效率建模优化决策课程导航任务3.1数据集简介及准备任务3.2数据观察任务3.3缺失值处理任务3.4异常值分析任务3.5异常点的进一步检测任务3.6相关性分析项目3_制造业生产效率优化2项目描述假设你是一家制造业公司的生产经理，负责管理一条专门生产服装的生产线。最近你注意到生产效率有所降低，但并不清楚问题所在。因此，你需要一种方法来分析生产过程的数据，以便识别可能导致生产效率下降的问题，并采取相应的改进措施。为了解决这个问题，你决定利用数据挖掘技术来分析生产线上的数据。你已经获得了一个名为“服装员工生产率预测”的数据集，这个数据集包含了服装工厂的大量数据，你期望通过收集和分析这些数据，能够找出导致生产效率下降的问题，并进行改进。可能的改进措施包括调整工作安排，优化生产调度，以提高工人的生产效率。项目3_制造业生产效率优化3项目实施数据下载：从UCI官方网站下载数据集“服装员工生产率预测”。数据预处理：对收集的数据进行清洗，处理缺失值、异常值和重复值，以确保数据的质量和准确性。数据观察：通过统计分析和可视化，对数据进行初步的观察和理解，找出可能的关系和模式。数据分析：运用数值型数据挖掘算法，如线性回归、岭回归等，对收集的数据进行深入的分析和建模，找出影响生产效率的关键因素。问题识别：根据数据分析结果，识别出导致生产效率下降的潜在问题。项目3_制造业生产效率优化4项目目标理解针对数值型数据挖掘常用的算法，如线性回归、岭回归等。掌握通过分析制造业生产线上的数值型数据，优化生产效率的方法和技巧。能够利用数值型数据挖掘算法，识别导致生产效率下降的潜在问题，并提出相应的改进措施。项目3_制造业生产效率优化5企业岗位要求岗位：生产线数据分析师要求：具备良好的数值型数据分析能力，能熟练使用数据挖掘工具和算法。熟悉制造业生产流程，了解生产效率优化的基本方法和技巧。有一定的项目管理经验，能够独立完成项目的设计、实施和评估。项目3_制造业生产效率优化6知识链接．数值型数据数值型数据的定义与分类。数值型数据（NumericalData），是指那些具有数值意义或量化意义的数据，常用于表示数量、度量或计数。在统计学和机器学习领域，数值型数据通常被视作连续型数据，与类别型数据相区别。日常生活中常见的数值型数据包括身高、体重等，这些数据能够通过具体的数值来表达量的多少，从而帮助我们对特定现象或事件有一个定量的理解。项目3_制造业生产效率优化8任务3.1数据集简介及准备本任务用UCI数据集中的“ProductivityPredictionofGarmentEmployees”模拟该任务的数据。；该数据集名为“服装员工生产率预测”，包含了大量来自服装工厂的数据，涵盖了工人的个人信息以及生产过程中的各种指标，如工作时长、生产数量等。项目3_制造业生产效率优化9任务3.1数据集简介及准备（1/2）本任务用UCI数据集中的“ProductivityPredictionofGarmentEmployees”模拟该任务的数据。该数据集名为“服装员工生产率预测”，包含了大量来自服装工厂的数据，涵盖了工人的个人信息以及生产过程中的各种指标，如工作时长、生产数量等。数据集的目标是通过分析这些数据，找出影响生产效率的关键因素，从而采取相应的改进措施，如调整工作安排、优化生产调度等，以提高生产线的利用率和生产效率，降低生产成本，提高竞争力。通过在UCI中搜索关键字“ProductivityPredictionofGarmentEmployees”可以找到该数据集。在该数据集页面中单击“DOWNLOAD”按钮，即可下载该数据集的压缩包，解压后，将得到数据集文件“garmentsworkerproductivity.csv”项目3_制造业生产效率优化10任务3.1数据集简介及准备（2/2），如图3.1所示。项目3_制造业生产效率优化11任务3.1数据集简介及准备图示补充该页用于课堂中对界面截图、流程结果或图表进行补充说明，适合教师边展示边讲解。项目3_制造业生产效率优化12任务3.2数据观察在任务3.1中已经完成了数据集的下载，可以通过excel等工具进行数据观察，但是效率偏低，为了更好地；进行数据观察，可以采用“ucimlrepo”库来进行。项目3_制造业生产效率优化13任务3.2数据观察（1/10）在任务3.1中已经完成了数据集的下载，可以通过excel等工具进行数据观察，但是效率偏低，为了更好地进行数据观察，可以采用“ucimlrepo”库来进行。“ucimlrepo”是一个Python库，用于轻松地将数据集从加州大学欧文分校机器学习库导入脚本和笔记本中。在windows搜索框输入“cmd”，在搜索结果中找到“命令提示符”，然后单击菜单中的“以管理员身份运行”。在命令提示符窗口中输入“pipinstallucimlrepo”进行安装。安装完成后，由于在数据观察时我们要通过绘图来观察数据，还需要通过“pipinstallplotlyexpress”命令来安装绘图库。项目3_制造业生产效率优化14任务3.2数据观察（2/10）【例3.4】导入基础库\子图%matplotlibinline\忽略警告然后，复制粘贴官方推荐的导入数据代码，并适当修改。项目3_制造业生产效率优化15任务3.2数据观察（3/10）【例3.5】复制粘贴官方推荐的导入代码\fetchdatasetproductivitypredictionofgarmentemployees=fetchucirepo(id=597）\data(aspandasdataframes)X=productivitypredictionofgarmentemployees.data.features项目3_制造业生产效率优化16任务3.2数据观察（4/10）y=productivitypredictionofgarmentemployees.data.targets\metadatametadata=productivitypredictionofgarmentemployees.metadata\variableinformationvariables=productivitypredictionofgarmentemployees.variables项目3_制造业生产效率优化17任务3.2数据观察（5/10）然后分别打印输出各变量，X表示特征数据，结果如图3.2所示。该数据集包含14个特征值。再打印y值，y表示结果值，是一个数值型数据，并且是连续型的，如图3.3所示。name：变量名称，表示数据集中的各个变量的名称。role：变量角色，指示变量在分析中的角色或用途。通常有Feature（特征）和Target（目标）两种角色。项目3_制造业生产效率优化18任务3.2数据观察（6/10）type：变量类型，表示变量的数据类型，可能是日期、分类、整数或连续值等。demographic：人口统计学，表示该变量是否与人口统计学特征相关，例如年龄、性别等。description：描述，提供了对变量含义的文字描述。units：单位，表示变量的度量单位。missingvalues：缺失值，指示该变量是否存在缺失值。项目3_制造业生产效率优化19任务3.2数据观察（7/10）各变量（字段）的具体含义如下。date：日期，指示数据记录的日期。quarter：季节，表示数据记录所在的季度。department：部门，指示员工所属的部门或工作组。day：天，表示数据记录所在的具体日期。项目3_制造业生产效率优化20任务3.2数据观察（8/10）team：班组，指示员工所在的班组编号或标识符。targetedproductivity：目标生产效率，表示管理层设定的生产效率目标。smv：标准制造时间（StandardMinuteValue），表示完成特定任务所需的标准分钟数。wip：在制品（WorkinProgress），表示在生产线上尚未完成的产品数量。缺失值意味着该记录的这个值缺失。overtime：加班时间，表示员工在工作日外额外工作的时间。项目3_制造业生产效率优化21任务3.2数据观察（9/10）incentive：激励，表示员工获得的激励金额，单位为孟加拉塔卡（BDT）。idletime：空闲时间，表示员工在工作时间内处于非工作状态的时间。idlemen：闲置人员，表示在工作时间内没有被利用的员工数量。noofstylechange：换型次数，表示在观察期间发生的生产类型或款式变更的次数。noofworkers：工人数量，表示在生产线上工作的员工数量。项目3_制造业生产效率优化22任务3.2数据观察（10/10）actualproductivity：实际生产效率，是根据实际生产情况计算出的生产效率。这是目标变量，是我们要预测的内容。项目3_制造业生产效率优化23任务3.2数据观察图示补充该页用于课堂中对界面截图、流程结果或图表进行补充说明，适合教师边展示边讲解。项目3_制造业生产效率优化24任务3.3缺失值处理通过数据观察，发现“wip”列存在缺失值，首先通过pandas来查看具体的数据缺失情况。；【例3.6】查看缺失值项目3_制造业生产效率优化25任务3.3缺失值处理（1/2）通过数据观察，发现“wip”列存在缺失值，首先通过pandas来查看具体的数据缺失情况。【例3.6】查看缺失值\Loadtheoriginaldatadf=productivitypredictionofgarmentemployees.data.original在以上代码中，首先加载“original”原始数据，然后通过df的isnull()方法来查看缺失值，并用sum()方法来统计“wip”列缺失值的总和为506行，偏度约为9.74。项目3_制造业生产效率优化26任务3.3缺失值处理（2/2）原始数据总行数为1197行，“wip”列缺失值比例约为42%，接近50%，可以选择删除或填充，其次，考虑到该数据列对结果的影响，该列含义为生产线上尚未完成的产品数量，可能是影响结果的关键因素。所以优先考虑用平均值或中位数来填充。本任务中，偏度为0.97，有较明显的向右偏移，所以更适合使用中位数填充。【例3.7】中位数填充\fillinginmissingvalueswithmedianasopposedtomeansincethedataisskewed项目3_制造业生产效率优化27任务3.3缺失值处理图示补充该页用于课堂中对界面截图、流程结果或图表进行补充说明，适合教师边展示边讲解。项目3_制造业生产效率优化28任务3.4异常值分析．描述性统计信息；【例3.8】描述性统计信息项目3_制造业生产效率优化29任务3.4异常值分析（1/11）．描述性统计信息【例3.8】描述性统计信息\获取数值列的描述性统计信息numericstats=df.describe()numericstats项目3_制造业生产效率优化30任务3.4异常值分析（2/11）使用describe()方法，会对数据集中的数值列进行统计，主要关注以下几个统计量。最小值（min）：异常值通常会远低于正常范围的最小值。最大值（max）：异常值通常会远高于正常范围的最大值。均值（mean）和中位数（50%）：异常值可能会导致均值明显偏离中位数。标准差（std）：异常值的存在可能会导致标准差较大，表示数据的离散程度增加。项目3_制造业生产效率优化31任务3.4异常值分析（3/11）||||||||||||||----|----|----|----|----|----|----|----|----|----|----|----|||team|targetedproductivity|smv|wip|overtime|incentive|idletime|idlemen|noofstylechange|noofworkers|actualproductivity||count|1197|1197|1197|1197|1197|1197|1197|1197|1197|1197|11项目3_制造业生产效率优化32任务3.4异常值分析（4/11）97||mean|6.426901|0.729632|15.06217|1126.438|4567.46|38.21053|0.730159|0.369256|0.150376|34.60986|0.735091||std|3.463963|0.097891|10.94322|1397.653|3348.824|160.1826|12.70976|3.268987|0.427848|22.19769|0.174488|项目3_制造业生产效率优化33任务3.4异常值分析（5/11）|min|1|0.07|2.9|7|0|0|0|0|0|2|0.233705||25%|3|0.7|3.94|970|1440|0|0|0|0|9|0.650307||50%|6|0.75|15.26|1039|3960|0|0|0|0|34|0.773333||75%|9|0.8|24.26|1083|6960|50|0|0|0|57|0.850253||max|12|0.8|54.56|23122|25920|3600|300|45|2|89|1.120438|项目3_制造业生产效率优化34任务3.4异常值分析（6/11）根据输出结果，可以进行一个初步判断。以下是可能存在异常值的列：wip（在制品）：最小值为7，但第25百分位数为970，最大值为23122。最大值远高于中位数和第75百分位数，这表明可能存在异常值。overtime（加班时间）：最大值为25920，这远远超过了正常范围。此外，第75百分位数为6960，这也是一个比较高的值，可能暗示着存在异常情况。incentive（激励）：最大值为3600，同样远远超过了其他值的范围，可能存在异常值。idletime（空闲时间）：最大值为300，与其他值相比较大，可能是异常值。项目3_制造业生产效率优化35任务3.4异常值分析（7/11）idlemen（闲置人员）：最大值为45，相比其他值较大，可能是异常值。．可视化识别异常值除了统计性描述外，箱线图是一种可视化方法，可以直观地显示数据的分布情况，并帮助识别异常值。【例3.9】异常值可视化分析parameters=df.columns\[5:-1\].tolist()项目3_制造业生产效率优化36任务3.4异常值分析（8/11）\两个基本参数：设置行、列fig=makesubplots(rows=3,cols=3）\fig=go.Figure()\添加两个数据轨迹，形成图形r=i//3+1项目3_制造业生产效率优化37任务3.4异常值分析（9/11）c=(i+1）%3row=r,col=3)else:row=r,col=c)使用可视化的方式，可以得到同样的结果，在目标生产率、加班时间、在制品、激励、空闲时间、闲置人员和实际生产率等列中存在异常值。项目3_制造业生产效率优化38任务3.4异常值分析（10/11）其中的大部分我们暂时不去处理，因为它们很可能是由于不同团队工作流程的自然变异性引起的，一些团队在时间、未完成工作量和生产率方面表现显著高于或低于平均水平。此外，特定团队的表现在不同日期可能会有所变化，某些日期显著高于或低于平均水平。对于“overtime”变量，离群点只有一个，值为25,920，这与其它值相差过大，所以用中位数对该值进行填充。【例3.10】异常值中位数替换\用中位数替换overtime最大值为25920的异常值项目3_制造业生产效率优化39任务3.4异常值分析（11/11）medianovertime=df\['overtime'\].median()项目3_制造业生产效率优化40任务3.5异常点的进一步检测再做一些其他的检测，来进一步查看是否有异常点。；【例3.11】其他的检测项目3_制造业生产效率优化41任务3.5异常点的进一步检测（1/10）再做一些其他的检测，来进一步查看是否有异常点。【例3.11】其他的检测\检测是否有重复行\检测是否有负数值以上两个查看以下是否有重复行，以及是否有负数，也是常用的检测方式，比如学生成绩、身高、年龄不能有负数等。项目3_制造业生产效率优化42任务3.5异常点的进一步检测（2/10）对于类别型数据，我们需要检查每个变量的每个类别的分布情况。例如，一个变量的某个类别只有很少的观察值，这可能会对我们的分析产生影响。我们可以通过计数和可视化来检查类别型数据的分布情况。【例3.12】类别型数据计数\类别型数据\计数项目3_制造业生产效率优化43任务3.5异常点的进一步检测（3/10）quarterQuarter1360Quarter2335Quarter4248Quarter3210项目3_制造业生产效率优化44任务3.5异常点的进一步检测（4/10）Quarter544Name:count,dtype:int64departmentsweing691finishing506项目3_制造业生产效率优化45任务3.5异常点的进一步检测（5/10）Name:count,dtype:int64dayWednesday208Sunday203Tuesday201项目3_制造业生产效率优化46任务3.5异常点的进一步检测（6/10）Thursday199Monday199Saturday187Name:count,dtype:int64【例3.13】类别型数据可视化项目3_制造业生产效率优化47任务3.5异常点的进一步检测（7/10）\可视化axs\[i\].settitle(col)可视化结果如图3.6所示。通过计数与可视化结果，可以明显的看到“quarter”季度列存在异常类别“Quarter5”，数量比其他类别要少太多，进一步查看。【例3.14】查看“quarter”为“Quarter5”的数据项目3_制造业生产效率优化48任务3.5异常点的进一步检测（8/10）从结果看，第五季度被分配给了月份超过28天的日期。由于一月无法被均等地分为四个季度，29日到31日将被分配到第四季度，所以，只需将“Quarter5”替换为“Quarter4”即可。【例3.15】替换“Quarter5”为“Quarter4”df\['quarter'\]=df.quarter.str.replace('Quarter5','Quarter4')接下来，从季度列中删除单词'Quarter'并修改为数字，目的是将数据类型更改为数字。项目3_制造业生产效率优化49任务3.5异常点的进一步检测（9/10）【例3.16】将类别型数据替换为数值型修改完成后，打印结果为：\[1234\]int64，同理，将另外两个类别型数据也转换为数值型。【例3.17】其他类别型数据替换为数值型repldict={'Monday':0,项目3_制造业生产效率优化50任务3.5异常点的进一步检测（10/10）'Tuesday':1,'Wednesday':2,'Thursday':3,'Saturday':4,'Sunday':5项目3_制造业生产效率优化51任务3.6相关性分析对于相关性分析的结果，一般采用热力图来展示。；【例3.14】特征值与结果的相关性项目3_制造业生产效率优化52任务3.6相关性分析（1/4）对于相关性分析的结果，一般采用热力图来展示。【例3.14】特征值与结果的相关性\高亮与结果的相关性corr=df.corr()结果显示，实际生产率（目标列）与目标生产率的相关性最高（中等正相关为0.42）。项目3_制造业生产效率优化53任务3.6相关性分析（2/4）还可以通过热力图来显示数值型列之间的相关系数矩阵。【例3.15】特征值相关性矩阵相关性矩阵是一个包含了各个变量之间相关系数的矩阵。相关系数衡量了两个变量之间的关联程度，其取值范围在-1到1之间。当相关系数接近1时，表示两个变量之间存在强正相关关系，即当一个变量增加时，另一个变量也随之增加。当相关系数接近-1时，表示两个变量之间存在强负相关关系，即当一个变量增加时，另一个变量会减小。项目3_制造业生产效率优化54任务3.6相关性分析（3/4）当相关系数接近0时，表示两个变量之间不存在线性相关关系，即它们之间的变化不具有明显的规律性。热力图，其中使用颜色表示相关性的强度，数字标注在每个单元格中表示对应的相关系数值。在热力图中，颜色越浅表示相关性越强，颜色越深表示相关性越弱。通过热力图观察，实际生产率，即目标列，与目标生产率具有最高的相关性（中等正相关性，0.42）。强正相关关系（\0.5）：项目3_制造业生产效率优化55任务3.6相关性分析（4/4）标准分钟价值与工人数量和加班时间具有较强的正相关关系。加班时间与工人数量、标准分钟价值具有较强的正相关关系。空闲时间和空闲人数之间具有较强的正相关关系。项目3_制造业生产效率优化56任务3.7数据预处理步骤1：数据准备；在前面的任务中，已经通过数据观察与分析，对整个数据集已经有了初步的了解，接下来，进入到模型训练的部分。项目3_制造业生产效率优化57任务3.7数据预处理（1/6）步骤1：数据准备在前面的任务中，已经通过数据观察与分析，对整个数据集已经有了初步的了解，接下来，进入到模型训练的部分。将通过机器学习的方式，让计算机通过算法来挖掘更深层次的数据规律。机器学习的第一步就是数据准备。【例3.15】数据准备项目3_制造业生产效率优化58任务3.7数据预处理（2/6）将数据预处理完成的DataFrame通过toexcel方法导出文件“productivity.xlsx”，注意toexcel()方法的index参数要设置为False，否则会导出index列，这并不是我们想要的。步骤2：数据导入打开Orange3软件，新建一个空白文件。在左侧的组件列表中的“Data”类别下，拖曳一个“文件”组件到工作流窗口中，双击打开后，在弹出的“文件”对话框中上传“productivity.xlsx”文件。项目3_制造业生产效率优化59任务3.7数据预处理（3/6）加载完成后，Orange3自动推断了字段的类型，如图3.10所示。绝大多数的类型是正确的，但是部分类型需要调整。比如“quarter”字段、“team”字段需要修改为“categorical”类别型。最后一列“actualproductivity”的Role规则修改为“target”即目标列。修改后，“文件”对话框的结果如图3.11所示。步骤3：列选择由于数据中的“date”列是训练无关的数据量，所以需要用列选择组件对其忽略。项目3_制造业生产效率优化60任务3.7数据预处理（4/6）拖曳组件列表中“Transform”类别下的“列选择”组件到工作流中，然后与“文件”组件进行连接，双击打开“列选择”对话框，单击选中右侧“Features”列表中的“data”，然后单击中间的“\<”向左移动按钮，使其加入到左侧的“Ignored”（已忽略）列表中。如图3.12所示。步骤4：数据分割拖曳组件列表中“Transform”类别下的“数据采样”组件到工作流中，然后与“列选择”组件进行连接，双击打开“数据采样”对话框，默认的数据采样是选70%的数据，我们是用默认的设置即可，为了观察最后的输出结果，拖曳组件列表中“Data”类别下的“数据表”组件到工作流中，并分别与“数据采样”组件连接，并分别重命名（F2或右击组件项目3_制造业生产效率优化61任务3.7数据预处理（5/6）在下列菜单中选择重命名）为“训练集”和“测试集”，如图3.12所示。双击“数据采样”组件与“测试集”组件的连接线，在“EditLinks”窗口中将“RemainingData”与“Data”连接。如图所示。通过这样的分割，可以将数据集分成训练集和测试集，训练集用于训练模型，测试集用于评估模型的性能。可以通过双击“训练集”组件和“测试集”组件来查看最后的结果。步骤5：特征缩放拖曳组件列表中“Transform”类别下的“预处理器”组件到工作流中，与“训练集”组件进行连接，然后打开“预处理器”对话框，双击左侧“Preprocessors”项目3_制造业生产效率优化62任务3.7数据预处理（6/6）(预处理器)列表中的“NormalizeFeatures”（特征标准化），在右侧窗口中，提供了多种归一化方式，我们选择默认的“Standardize”，将特征缩放到均值为0，标准差为1的标准正态分布，如图3.13所示。不要关闭窗口，单击最下方的输出结果查看。可以看到，除了类别型数据、结果数据，其他的数值型数据都进行了缩放，如图3.14所示。项目3_制造业生产效率优化63任务3.8模型训练训练模型是整个机器学习的核心模块，它向上承接已经分割好的数据，然后选择合适的机器学习算法，向下将训练；好的模型用于模型评估。项目3_制造业生产效率优化64任务3.8模型训练（1/3）训练模型是整个机器学习的核心模块，它向上承接已经分割好的数据，然后选择合适的机器学习算法，向下将训练好的模型用于模型评估。允许用户选择要使用的机器学习算法，并通过提供的数据对模型进行训练。用户可以从平台提供的多种算法中选择适合其问题的算法，例如决策树、逻辑回归、支持向量机等。用户可以自定义模型训练过程中的参数，以调整模型的性能和行为。这些参数可能包括算法特定的参数，如决策树的最大深度、支持向量机的核函数类型等。用户还可以将训练好的模型导出为常见的模型文件格式，以便在其他平台或系统中部署和使用。步骤1：在Orange实验线形回归项目3_制造业生产效率优化65任务3.8模型训练（2/3）在基础知识部分已经分析了该数据集，得出结论该问题是一个回归问题。故首先采用最简单的线性回归来训练模型。在左侧组件列表的“Model”类别中，拖曳“线形回归”组件到工作流中，与“预处理器”组件进行连接，双击连接线，在“EditLink”窗口中，将“PreprocessedData”与“Data”连接，工作流工作流如图3.15所示。连接线设置如图3.16所示。训练完成后，双击打开“线形回归”组件后，单击最下方的输出按钮，查看各个自变量的系数，如图3.17所示。项目3_制造业生产效率优化66任务3.8模型训练（3/3）系数解读，“coef”指的是模型中各个自变量的系数（coefficient），也被称为回归系数。这些系数代表了自变量对因变量的影响程度。“intercept”表示截距，也是就误差项，该值越小越好，回归系数的大小表示了自变量对因变量的影响程度。绝对值较大的回归系数表明自变量对因变量的影响更大。正值表示正相关，负值表示负相关。从coef系数中，可以看到，激励“incentive”、目标生产率“targetedproductivity”与生产效率存在正相关，而“overtime”加班时间与生产效率存在负相关，即加班时间越长，可能生产效率越低。项目3_制造业生产效率优化67任务3.8模型评估在模型训练完成后，可以通过平台提供的评估指标来评估模型的性能，如均方误差、均方根误差、平均绝对误差等。；这些指标可以帮助用户了解模型的表现，并进行进一步的改进和调整。项目3_制造业生产效率优化68任务3.8模型评估（1/4）在模型训练完成后，可以通过平台提供的评估指标来评估模型的性能，如均方误差、均方根误差、平均绝对误差等。这些指标可以帮助用户了解模型的表现，并进行进一步的改进和调整。在左侧组件列表中拖曳“Evaluate”（评估）类别中的“评测&评分”组件到工作流中，分别与“测试集”组件和“线性回归”组件进行连接。双击打开。可以通过“Crossvalidation”（交叉验证）的方式对结果进行评估，如图3.18所示。指标的详细解读。项目3_制造业生产效率优化69任务3.8模型评估（2/4）均方误差（MSE）。均方误差是预测值与真实值之间平方差的平均值。在本例中，MSE为0.025，表示预测值与真实值的平均偏差为0.160的平方。数值越小，表示模型预测越准确。均方根误差（RMSE）：0.159。均方根误差是均方误差的平方根，表示预测值与真实值之间的平均偏差。在本例中，RMSE为0.159，表示预测值与真实值的平均偏差为0.159。数值越小，表示模型预测越准确。项目3_制造业生产效率优化70任务3.8模型评估（3/4）平均绝对误差（MAE）：0.111。平均绝对误差是预测值与真实值之间绝对差值的平均值。在本例中，MAE为0.111，表示预测值与真实值的平均绝对偏差为0.111。数值越小，表示模型预测越准确。平均绝对百分比误差（MAPE）：0.200。平均绝对百分比误差是预测值与真实值之间绝对百分比差值的平均值。在本例中，MAPE为0.200，表示预测值与真实值的平均绝对百分比偏差为20.0%。数值越小，表示模型预测越准确。项目3_制造业生产效率优化71任务3.8模型评估（4/4）决定系数（R2）：0.164。决定系数表示模型解释因变量变化的程度。在本例中，R2为0.164，表示模型能够解释16.4%的因变量变化。数值越大，表示模型解释能力越强。综合来看：您的模型的MSE和RMSE较小，MAE和MAPE也处于中等水平，表明模型能够做出合理的预测。但是，模型的R2较低，说明模型解释能力有限，可能存在欠拟合或过拟合的情况。项目3_制造业生产效率优化72项目总结在这个任务中，研究了如何使用机器学习方法解决生产效率下降的问题。首先，我们使用数据分析方法对数据集进行了统计描述和相关性分析。然后，我们通过Orange3的线性回归算法对生产数据进行建模和训练，得到了一个预测生产效率的模型。我们希望通过分析模型的预测结果和特征重要性，深入了解生产效率下降的原因和可能的改进措施。使用机器学习模型对生产线数据进行分析，识别与生产效率下降相关的特征。通过特征重要性分析或模型解释方法，可以确定哪些因素对生产效率有较大影响。通过编写代码来解决该问题。最后通过对线性回归的coef决定系数进行解读得出，incentive（激励）是重要的特征，这表明激励对于模型预测生产效率的贡献非常打。其次，targetedproductivity（目标生产率）也是非常重要的特征。项目3_制造业生产效率优化73数据挖掘课程教学课件项目4制造业质量控制与缺陷检测通过数据准备、质量建模与缺陷检测，学习用数据挖掘方法提升制造业质量控制效率。质量控制缺陷检测数据准备质量建模缺陷检测课程导航任务4.1数据集简介及准备任务4.2数据观察任务4.3数据预处理任务4.4特征分布任务4.5样本均衡任务4.6数据归一化项目4_制造业质量控制与缺陷检测2项目描述你是一家钢铁企业的技术检测员，负责监督钢板生产过程中的质量控制。最近，你注意到在钢板生产过程中出现了一些缺陷，如糕点、划痕、污渍等。你意识到需要找出引起这些缺陷的主要原因，以便采取相应的措施来减少缺陷的发生，提高产品质量。问题：钢板生产过程中出现了各种缺陷，如何确定引起这些缺陷的主要原因？解决方案：利用机器学习技术对钢板生产过程中的各种特征数据进行分析，找出与缺陷发生相关性最高的特征，从而确定引起缺陷的主要原因。通过构建适当的机器学习模型，并利用特征重要性评估方法，可以识别出对不同类型的缺陷影响最大的特征。项目4_制造业质量控制与缺陷检测3项目实施在UCI网址下载模拟数据集钢板缺陷。观察数据集，了解该数据集的基本结构。用数据转换模块来清洗、标准化和转换数据。训练模型，尝试使用不同的算法进行训练。评估模型，根据评估结果选出最优算法。项目4_制造业质量控制与缺陷检测4项目目标了解对类别型数据挖掘常用的算法。了解钢板缺陷数据集的结构。掌握线形回归、多分类决策森林、支持向量机算法。制造业中，对产品质量进行控制和缺陷检测是至关重要的任务之一。传统的质量控制方法通常依赖于人工检查或基于规则的系统，但这些方法可能存在效率低下、主观性高以及无法处理复杂的数据模式等问题。项目4_制造业质量控制与缺陷检测5企业岗位要求岗位：数据分析工程师要求：收集、整理和标注数据，为机器学习模型的训练提供数据支持。掌握基础的机器学习算法和技术，参与模型的开发和实验。项目4_制造业质量控制与缺陷检测6知识链接．类别型数据类别型数据，也称为分类数据，是指具有有限个取值的数据类型，通常用于表示类别、标签或状态。在数据挖掘和机器学习领域，类别型数据可以分为几种常见的类型。名义型数据（NominalData）：名义型数据是指没有顺序或等级关系的类别型数据。例如，颜色（红、绿、蓝）、性别（男、女）、血型（A、B、O、AB）等。名义型数据的特点是只能进行相等性判断，不能进行大小比较或排序。顺序型数据（OrdinalData）：顺序型数据是指具有一定顺序或等级关系的类别型数据。项目4_制造业质量控制与缺陷检测8任务4.1数据集简介及准备本项目采用"SteelPlatesFaults"数据集来完成，其是一个经常被用于机器学习和数据挖掘的标准数据集之一。；该数据集主要用于钢板质量控制领域的研究和实践。项目4_制造业质量控制与缺陷检测9任务4.1数据集简介及准备（1/2）本项目采用"SteelPlatesFaults"数据集来完成，其是一个经常被用于机器学习和数据挖掘的标准数据集之一。该数据集主要用于钢板质量控制领域的研究和实践。包含了一系列描述钢板表面缺陷的特征，以及钢板上可能存在的几种不同类型的缺陷标签。具体而言，该数据集包含了钢板表面上的各种特征，例如缺陷区域的位置、尺寸、形状、亮度等信息。同时，钢板上可能存在的缺陷类型也被标记为不同的标签，如糕点、划痕、污渍等。通过分析这些特征和标签数据，可以建立机器学习模型来识别和预测钢板上可能存在的缺陷类型，从而帮助钢铁企业进行质量控制和生产优化。这个数据集对于研究钢板生产过程中缺陷识别和质量改进具有重要的实用价值。项目4_制造业质量控制与缺陷检测10任务4.1数据集简介及准备（2/2）同样，在UCI下载该数据集，在UCI官方网站上，搜索关键字“steelplatesfaults”即可找到该数据集。在下载页面右侧单击“Download”按钮，如图4.2所示。下载完成后，解压“steel+plates+faults.zip”压缩包，会得到两个文件，文件1为“Faults.NNA”，该文件包含了原始数据，文件2为“Faults27x7var”，该文件包含了，27个特征列名称和7个结果列的名称。项目4_制造业质量控制与缺陷检测11任务4.1数据集简介及准备图示补充该页用于课堂中对界面截图、流程结果或图表进行补充说明，适合教师边展示边讲解。项目4_制造业质量控制与缺陷检测12任务4.2数据观察可以通过excel等工具进行数据观察，但是效率偏低，为了更好的进行数据观察，可以采用“ucimlre；po”库来进行。项目4_制造业质量控制与缺陷检测13任务4.2数据观察（1/20）可以通过excel等工具进行数据观察，但是效率偏低，为了更好的进行数据观察，可以采用“ucimlrepo”库来进行。单击步骤1的图4.1中的“IMPORTINPYTHON”按钮，在弹出窗口中可以查看如何安装“ucimlrepo”，以及如何导入数据。【例4.1】导入基础库\子图%matplotlibinline项目4_制造业质量控制与缺陷检测14任务4.2数据观察（2/20）\忽略警告复制粘贴官方推荐的导入数据代码，并适当修改。【例4.2】复制粘贴官方推荐的导入代码\fetchdatasetsteelplatesfaults=fetchucirepo(id=198）项目4_制造业质量控制与缺陷检测15任务4.2数据观察（3/20）\data(aspandasdataframes)X=steelplatesfaults.data.featuresy=steelplatesfaults.data.targets\metadatametadata=steelplatesfaults.metadata项目4_制造业质量控制与缺陷检测16任务4.2数据观察（4/20）\variableinformationvariable=steelplatesfaults.variables然后分别打印输出各变量，X表示特征数据，结果如图4.3所示。该数据集包含27个特征值，27个特征值的含义分别为。．XMinimum：缺陷区域的最小水平位置（X轴上的最小值）。项目4_制造业质量控制与缺陷检测17任务4.2数据观察（5/20）．XMaximum：缺陷区域的最大水平位置（X轴上的最大值）。．YMinimum：缺陷区域的最小垂直位置（Y轴上的最小值）。．YMaximum：缺陷区域的最大垂直位置（Y轴上的最大值）。．PixelsAreas：缺陷区域的像素面积。．XPerimeter：缺陷区域的水平周长。项目4_制造业质量控制与缺陷检测18任务4.2数据观察（6/20）．YPerimeter：缺陷区域的垂直周长。．SumofLuminosity：缺陷区域的亮度总和。．MinimumofLuminosity：缺陷区域的最小亮度。．MaximumofLuminosity：缺陷区域的最大亮度。．LengthofConveyer：输送带的长度。项目4_制造业质量控制与缺陷检测19任务4.2数据观察（7/20）．TypeOfSteelA300：钢板的类型，A300类型的标志。．TypeOfSteelA400：钢板的类型，A400类型的标志。．SteelPlateThickness：钢板的厚度。．EdgesIndex：缺陷区域边缘的指数。．EmptyIndex：缺陷区域为空的指数。项目4_制造业质量控制与缺陷检测20任务4.2数据观察（8/20）．SquareIndex：缺陷区域的正方形指数。．OutsideXIndex：缺陷区域在X轴外部的指数。．EdgesXIndex：缺陷区域X轴上的边缘指数。．EdgesYIndex：缺陷区域Y轴上的边缘指数。．OutsideGlobalIndex:缺陷区域在全局外部的指数。项目4_制造业质量控制与缺陷检测21任务4.2数据观察（9/20）．LogOfAreas：缺陷区域面积的对数。．LogXIndex：缺陷区域在X轴上的对数指数。．LogYIndex：缺陷区域在Y轴上的对数指数。．OrientationIndex：缺陷区域的方向指数。．LuminosityIndex：缺陷区域的亮度指数。项目4_制造业质量控制与缺陷检测22任务4.2数据观察（10/20）．SigmoidOfAreas：缺陷区域面积的S型函数。y表示结果数据，如图4.4所示。该数据集包含7个特征值，表示该钢材具体的缺陷类型，具体含义如下。．Pastry：指钢板上的“糕点”缺陷，这可能是指钢板上出现的小凸起或者不规则形状的缺陷。．ZScratch：指钢板上的“Z形划痕”缺陷，这可能是由于划痕或刮痕导致的缺陷，形状呈现出Z形状。项目4_制造业质量控制与缺陷检测23任务4.2数据观察（11/20）．KScatch：指钢板上的“K形划痕”缺陷，这可能是由于划痕或刮痕导致的缺陷，形状呈现出K形状。．Stains：指钢板上的“污渍”缺陷，这可能是由于钢板表面被涂抹或沾染上的不良物质导致的污渍。．Dirtiness：指钢板上的“脏污”缺陷，这可能是由于钢板表面的不洁净或污染导致的缺陷。．Bumps：指钢板上的“凸起”缺陷，这可能是指钢板表面的隆起或突起部分。．OtherFaults：指钢板上的其他类型缺陷，这可能包括了除上述列举的缺陷类型之外的其他各种不规则、损坏或异常情况。项目4_制造业质量控制与缺陷检测24任务4.2数据观察（12/20）metadata表示元数据，主要介绍了该数据集的ID编号，作者等信息，读者可以自行查看。variable表是各变量的详细信息，打印该变量，输出结果如表4.1所示。|||||||||----|----|----|----|----|----|----||name|role|type|demographic|description|units|missingvalues|项目4_制造业质量控制与缺陷检测25任务4.2数据观察（13/20）|0|XMinimum|Feature|Integer|None|None|None||1|XMaximum|Feature|Integer|None|None|None||2|YMinimum|Feature|Integer|None|None|None||3|YMaximum|Feature|Integer|None|None|None||4|PixelsAreas|Feature|Integer|None|None|None|项目4_制造业质量控制与缺陷检测26任务4.2数据观察（14/20）|5|XPerimeter|Feature|Integer|None|None|None||6|YPerimeter|Feature|Integer|None|None|None||7|SumofLuminosity|Feature|Integer|None|None|None||8|MaximumofLuminosity|Feature|Integer|None|None|None||9|LengthofConveyer|Feature|Integer|None|None|None|项目4_制造业质量控制与缺陷检测27任务4.2数据观察（15/20）|10|TypeOfSteelA300|Feature|Integer|None|None|None||11|TypeOfSteelA400|Feature|Integer|None|None|None||12|SteelPlateThickness|Feature|Integer|None|None|None||13|EdgesIndex|Feature|Continuous|None|None|None||14|EmptyIndex|Feature|Continuous|None|None|None|项目4_制造业质量控制与缺陷检测28任务4.2数据观察（16/20）|15|SquareIndex|Feature|Continuous|None|None|None||16|OutsideXIndex|Feature|Continuous|None|None|None||17|EdgesXIndex|Feature|Continuous|None|None|None||18|EdgesYIndex|Feature|Continuous|None|None|None||19|OutsideGlobalIndex|Feature|Continuous|None|None|None|项目4_制造业质量控制与缺陷检测29任务4.2数据观察（17/20）|||||||||----|----|----|----|----|----|----||name|role|type|demographic|description|units|missingvalues||20|LogOfAreas|Feature|Continuous|None|None|None||21|LogXIndex|Feature|Continuous|None|None|None|项目4_制造业质量控制与缺陷检测30任务4.2数据观察（18/20）|22|LogYIndex|Feature|Continuous|None|None|None||23|OrientationIndex|Feature|Continuous|None|None|None||24|LuminosityIndex|Feature|Continuous|None|None|None||25|SigmoidOfAreas|Feature|Continuous|None|None|None||26|MinimumofLuminosity|Feature|Integer|None|None|None|项目4_制造业质量控制与缺陷检测31任务4.2数据观察（19/20）|27|Pastry|Target|Binary|None|None|None||28|ZScratch|Target|Binary|None|None|None||29|KScratch|Target|Binary|None|None|None||30|Stains|Target|Binary|None|None|None||31|Dirtiness|Target|Binary|None|None|None|项目4_制造业质量控制与缺陷检测32任务4.2数据观察（20/20）|32|Bumps|Target|Binary|None|None|None||33|OtherFaults|Target|Binary|None|None|None|表中，“type”表示是特征值还是结果值，“demographic”表示该变量的数据类型。值“Integer”表示整型数据，“Continuous”表示浮点数型连续数据，“Binary”表示为二进制数据。“description”表示各变量的描述，“units”单位，所有值均为None表示都没有计量单位，“missingvalues”表示缺失值，所有缺失值均为None代表没有缺失值。项目4_制造业质量控制与缺陷检测33任务4.3数据预处理由于原始数据的分类数据分类为7列，而在机器学习中要求将7列合并为1列，分类1用整数0表示，分类2用整；数1表示，以此类推，分类7用整数6表示，我们通过编写python代码来完成该任务。项目4_制造业质量控制与缺陷检测34任务4.3数据预处理（1/3）由于原始数据的分类数据分类为7列，而在机器学习中要求将7列合并为1列，分类1用整数0表示，分类2用整数1表示，以此类推，分类7用整数6表示，我们通过编写python代码来完成该任务。【例4.7】合并分类列\Loadtheoriginaldatadf=steelplatesfaults.data.original项目4_制造业质量控制与缺陷检测35任务4.3数据预处理（2/3）\Defineafunctiontodeterminethelabelbasedonthelast7columnslabels=\['Pastry','ZScratch','KScratch','Stains','Dirtiness','Bumps','OtherFaults'\]\Applythefunctiontoeachrowtogetthelabelsdf\['Label'\]=df.apply(getlabel,axis=1）项目4_制造业质量控制与缺陷检测36任务4.3数据预处理（3/3）\Droptheoriginaltargetcolumns项目4_制造业质量控制与缺陷检测37任务4.4特征分布合并后，通过绘图来查看一下单个特征的分布情况。；可以通过seabor的boxplot箱体图来查看单个特征的数值分布情况，比如钢材厚度。项目4_制造业质量控制与缺陷检测38任务4.4特征分布（1/4）合并后，通过绘图来查看一下单个特征的分布情况。可以通过seabor的boxplot箱体图来查看单个特征的数值分布情况，比如钢材厚度。【例4.8】单个特征分布parameters=df2.columns\[:-1\].tolist()箱体图解读盒子：盒子的高度约为40，说明数据大多分布在底部，比较集中。项目4_制造业质量控制与缺陷检测39任务4.4特征分布（2/4）线：线位于盒子的中间偏上，说明小于中位数的数据要多于大于中位数的数据。胡须：胡须向上延伸约140，向下延伸约40，说明数据的大部分值都在40到140之间。异常值：有若干异常值，落在140和290之间，说明这两个数据点间的与其他数据点明显不同。从箱型图中能够观察到单个特征的取值分布情况。下面绘制全部参数的取值分布箱型图。【例4.9】全部参数的取值分布项目4_制造业质量控制与缺陷检测40任务4.4特征分布（3/4）\两个基本参数：设置行、列fig=makesubplots(rows=7,cols=4）1行2列\fig=go.Figure()\添加两个数据轨迹，形成图形r=i//4+1项目4_制造业质量控制与缺陷检测41任务4.4特征分布（4/4）c=(i+1）%4row=r,col=4)else:row=r,col=c)项目4_制造业质量控制与缺陷检测42任务4.5样本均衡【例4.10】查看每种类别数量；df\["Label"\].valuecounts()项目4_制造业质量控制与缺陷检测43任务4.5样本均衡（1/5）【例4.10】查看每种类别数量df\["Label"\].valuecounts()Label673402391项目4_制造业质量控制与缺陷检测44任务4.5样本均衡（2/5）190158Name:count,dtype:int64根据输出的结果，数据集中不同类别的样本数量差异较大，其中类别6的样本数量最多，为673个，而类别4的样本数量最少，为55个。由于样本数量之间的差距较大，因此可以认为数据集是不均衡的。通常，当各个类别的样本数量相差不超过一倍时，我们才会认为数据集是相对均衡的。项目4_制造业质量控制与缺陷检测45任务4.5样本均衡（3/5）但在这个情况下，最多的类别样本数量是最少的类别样本数量的12倍左右，因此可以明显地看出数据集的不均衡性。因此，对于这个数据集，可以考虑进行样本均衡处理，以提高模型对于少数类别的预测效果。【例4.11】SMOTE样本均衡X=df.drop("Label",axis=1）y=df\[\["Label"\]\]\使用imbalanced-learn库中上采样方法中的SMOTE接口项目4_制造业质量控制与缺陷检测46任务4.5样本均衡（4/5）\设置随机数种子smo=SMOTE(randomstate=42）Xsmo,ysmo=smo.fitresample(X,y)ysmo【例4.12】统计样本数量ysmo\["Label"\].valuecounts()项目4_制造业质量控制与缺陷检测47任务4.5样本均衡（5/5）Label673Name:count,dtype:int64项目4_制造业质量控制与缺陷检测48任务4.6数据归一化在“sklearn”中，提供了最常用的标准化和最小-最大缩放的函数，代码如下。；【例4.13】标准化缩放项目4_制造业质量控制与缺陷检测49任务4.6数据归一化（1/3）在“sklearn”中，提供了最常用的标准化和最小-最大缩放的函数，代码如下。【例4.13】标准化缩放\Standardization\Min-MaxScalingss=StandardScaler()项目4_制造业质量控制与缺陷检测50任务4.6数据归一化（2/3）datass=ss.fittransform(Xsmo)\还原到原数据\origindata=ss.inversetransform(datass)通过以上代码，我们得到了归一化的数据”datass“。接下来，可以将归一化的数据与最终的结果列进行合并。【例4.14】合并特征矩阵项目4_制造业质量控制与缺陷检测51任务4.6数据归一化（3/3）df2=pd.DataFrame(datass,columns=Xsmo.columns)df2.head()df2\["Label"\]=ysmodf2.head()合并后，输出结果图4.8所示。项目4_制造业质量控制与缺陷检测52任务4.7随机打乱数据由于原始数据的结果值是呈顺序排序，这可能导致模型学习到这种顺序的特征，而忽略真正有意义的模式。；通过随机打乱数据，可以减少模型对数据的顺序依赖性，使得模型更好地泛化到新的数据。项目4_制造业质量控制与缺陷检测53任务4.7随机打乱数据（1/3）由于原始数据的结果值是呈顺序排序，这可能导致模型学习到这种顺序的特征，而忽略真正有意义的模式。通过随机打乱数据，可以减少模型对数据的顺序依赖性，使得模型更好地泛化到新的数据。同时，随机打乱数据还具有以下几个重要作用：防止模型陷入局部极值：在训练过程中，模型可能会陷入局部最优解，导致模型收敛速度变慢或者停滞不前。通过随机打乱数据，可以增加训练样本之间的随机性，有助于模型跳出局部最优解，更好地搜索全局最优解。提高模型的稳定性：随机打乱数据可以增加数据集的多样性，使得模型更加稳健和鲁棒。模型在不同的数据排列下训练，可以学习到更多的模式和规律，从而提高模型的泛化能力。项目4_制造业质量控制与缺陷检测54任务4.7随机打乱数据（2/3）避免数据偏差：如果数据集中存在某种顺序性，比如类别不平衡或者样本采集顺序，那么模型可能会偏向于预测常见类别或者特定顺序的样本。通过随机打乱数据，可以减少这种偏差，使得模型更公正地对待每个类别和样本。【例4.15】随机乱序df3=shuffle(df3）df3.head(10）项目4_制造业质量控制与缺陷检测55任务4.7随机打乱数据（3/3）通过随机打乱后，查看结果标签类别，已经乱序，如图4.9所示。项目4_制造业质量控制与缺陷检测56任务4.8导出数据到csv文件至此，数据预处理阶段已经完成，接下来可以将数据导出到csv文件，然后通过Orange3进行机器学习的；实验。项目4_制造业质量控制与缺陷检测57任务4.8导出数据到csv文件至此，数据预处理阶段已经完成，接下来可以将数据导出到csv文件，然后通过Orange3进行机器学习的实验。【例4.15】导出csv文件\ExportDataFrametoCSVfiledf3.tocsv('Faults.csv',index=False)项目4_制造业质量控制与缺陷检测58任务4.9模型构建步骤1：上传数据；打开Orange3软件，新建一个空白文件。项目4_制造业质量控制与缺陷检测59任务4.9模型构建（1/10）步骤1：上传数据打开Orange3软件，新建一个空白文件。在左侧的组件列表中的“Data”类别下，拖曳一个“文件”组件到工作流中，双击打开后，在弹出的“文件”对话框中上传“Faults.csv”文件。加载完成后，Orange3为我们自动推断了字段的类型，将最下方的“Label”字段设置为“target”结果列，如图4.10所示。步骤2：分割数据集项目4_制造业质量控制与缺陷检测60任务4.9模型构建（2/10）将数据资产加载到工作区后，通常都会将数据集分割为两个分组即训练数据和验证数据。分割数据集是为了在机器学习中进行模