人工智能数据挖掘 课件 项目3-制造业生产效率优化

数据挖掘课程教学课件项目3制造业生产效率优化通过数据准备、效率建模与优化决策，系统提升制造业生产效率。定位效率瓶颈支撑优化决策数据准备效率建模优化决策课程导航任务3.1数据集简介及准备任务3.2数据观察任务3.3缺失值处理任务3.4异常值分析任务3.5异常点的进一步检测任务3.6相关性分析项目3_制造业生产效率优化2项目描述假设你是一家制造业公司的生产经理，负责管理一条专门生产服装的生产线。最近你注意到生产效率有所降低，但并不清楚问题所在。因此，你需要一种方法来分析生产过程的数据，以便识别可能导致生产效率下降的问题，并采取相应的改进措施。为了解决这个问题，你决定利用数据挖掘技术来分析生产线上的数据。你已经获得了一个名为“服装员工生产率预测”的数据集，这个数据集包含了服装工厂的大量数据，你期望通过收集和分析这些数据，能够找出导致生产效率下降的问题，并进行改进。可能的改进措施包括调整工作安排，优化生产调度，以提高工人的生产效率。项目3_制造业生产效率优化3项目实施数据下载：从UCI官方网站下载数据集“服装员工生产率预测”。数据预处理：对收集的数据进行清洗，处理缺失值、异常值和重复值，以确保数据的质量和准确性。数据观察：通过统计分析和可视化，对数据进行初步的观察和理解，找出可能的关系和模式。数据分析：运用数值型数据挖掘算法，如线性回归、岭回归等，对收集的数据进行深入的分析和建模，找出影响生产效率的关键因素。问题识别：根据数据分析结果，识别出导致生产效率下降的潜在问题。项目3_制造业生产效率优化4项目目标理解针对数值型数据挖掘常用的算法，如线性回归、岭回归等。掌握通过分析制造业生产线上的数值型数据，优化生产效率的方法和技巧。能够利用数值型数据挖掘算法，识别导致生产效率下降的潜在问题，并提出相应的改进措施。项目3_制造业生产效率优化5企业岗位要求岗位：生产线数据分析师要求：具备良好的数值型数据分析能力，能熟练使用数据挖掘工具和算法。熟悉制造业生产流程，了解生产效率优化的基本方法和技巧。有一定的项目管理经验，能够独立完成项目的设计、实施和评估。项目3_制造业生产效率优化6知识链接．数值型数据数值型数据的定义与分类。数值型数据（NumericalData），是指那些具有数值意义或量化意义的数据，常用于表示数量、度量或计数。在统计学和机器学习领域，数值型数据通常被视作连续型数据，与类别型数据相区别。日常生活中常见的数值型数据包括身高、体重等，这些数据能够通过具体的数值来表达量的多少，从而帮助我们对特定现象或事件有一个定量的理解。项目3_制造业生产效率优化8任务3.1数据集简介及准备本任务用UCI数据集中的“ProductivityPredictionofGarmentEmployees”模拟该任务的数据。；该数据集名为“服装员工生产率预测”，包含了大量来自服装工厂的数据，涵盖了工人的个人信息以及生产过程中的各种指标，如工作时长、生产数量等。项目3_制造业生产效率优化9任务3.1数据集简介及准备（1/2）本任务用UCI数据集中的“ProductivityPredictionofGarmentEmployees”模拟该任务的数据。该数据集名为“服装员工生产率预测”，包含了大量来自服装工厂的数据，涵盖了工人的个人信息以及生产过程中的各种指标，如工作时长、生产数量等。数据集的目标是通过分析这些数据，找出影响生产效率的关键因素，从而采取相应的改进措施，如调整工作安排、优化生产调度等，以提高生产线的利用率和生产效率，降低生产成本，提高竞争力。通过在UCI中搜索关键字“ProductivityPredictionofGarmentEmployees”可以找到该数据集。在该数据集页面中单击“DOWNLOAD”按钮，即可下载该数据集的压缩包，解压后，将得到数据集文件“garmentsworkerproductivity.csv”项目3_制造业生产效率优化10任务3.1数据集简介及准备（2/2），如图3.1所示。项目3_制造业生产效率优化11任务3.1数据集简介及准备图示补充该页用于课堂中对界面截图、流程结果或图表进行补充说明，适合教师边展示边讲解。项目3_制造业生产效率优化12任务3.2数据观察在任务3.1中已经完成了数据集的下载，可以通过excel等工具进行数据观察，但是效率偏低，为了更好地；进行数据观察，可以采用“ucimlrepo”库来进行。项目3_制造业生产效率优化13任务3.2数据观察（1/10）在任务3.1中已经完成了数据集的下载，可以通过excel等工具进行数据观察，但是效率偏低，为了更好地进行数据观察，可以采用“ucimlrepo”库来进行。“ucimlrepo”是一个Python库，用于轻松地将数据集从加州大学欧文分校机器学习库导入脚本和笔记本中。在windows搜索框输入“cmd”，在搜索结果中找到“命令提示符”，然后单击菜单中的“以管理员身份运行”。在命令提示符窗口中输入“pipinstallucimlrepo”进行安装。安装完成后，由于在数据观察时我们要通过绘图来观察数据，还需要通过“pipinstallplotlyexpress”命令来安装绘图库。项目3_制造业生产效率优化14任务3.2数据观察（2/10）【例3.4】导入基础库\子图%matplotlibinline\忽略警告然后，复制粘贴官方推荐的导入数据代码，并适当修改。项目3_制造业生产效率优化15任务3.2数据观察（3/10）【例3.5】复制粘贴官方推荐的导入代码\fetchdatasetproductivitypredictionofgarmentemployees=fetchucirepo(id=597）\data(aspandasdataframes)X=productivitypredictionofgarmentemployees.data.features项目3_制造业生产效率优化16任务3.2数据观察（4/10）y=productivitypredictionofgarmentemployees.data.targets\metadatametadata=productivitypredictionofgarmentemployees.metadata\variableinformationvariables=productivitypredictionofgarmentemployees.variables项目3_制造业生产效率优化17任务3.2数据观察（5/10）然后分别打印输出各变量，X表示特征数据，结果如图3.2所示。该数据集包含14个特征值。再打印y值，y表示结果值，是一个数值型数据，并且是连续型的，如图3.3所示。name：变量名称，表示数据集中的各个变量的名称。role：变量角色，指示变量在分析中的角色或用途。通常有Feature（特征）和Target（目标）两种角色。项目3_制造业生产效率优化18任务3.2数据观察（6/10）type：变量类型，表示变量的数据类型，可能是日期、分类、整数或连续值等。demographic：人口统计学，表示该变量是否与人口统计学特征相关，例如年龄、性别等。description：描述，提供了对变量含义的文字描述。units：单位，表示变量的度量单位。missingvalues：缺失值，指示该变量是否存在缺失值。项目3_制造业生产效率优化19任务3.2数据观察（7/10）各变量（字段）的具体含义如下。date：日期，指示数据记录的日期。quarter：季节，表示数据记录所在的季度。department：部门，指示员工所属的部门或工作组。day：天，表示数据记录所在的具体日期。项目3_制造业生产效率优化20任务3.2数据观察（8/10）team：班组，指示员工所在的班组编号或标识符。targetedproductivity：目标生产效率，表示管理层设定的生产效率目标。smv：标准制造时间（StandardMinuteValue），表示完成特定任务所需的标准分钟数。wip：在制品（WorkinProgress），表示在生产线上尚未完成的产品数量。缺失值意味着该记录的这个值缺失。overtime：加班时间，表示员工在工作日外额外工作的时间。项目3_制造业生产效率优化21任务3.2数据观察（9/10）incentive：激励，表示员工获得的激励金额，单位为孟加拉塔卡（BDT）。idletime：空闲时间，表示员工在工作时间内处于非工作状态的时间。idlemen：闲置人员，表示在工作时间内没有被利用的员工数量。noofstylechange：换型次数，表示在观察期间发生的生产类型或款式变更的次数。noofworkers：工人数量，表示在生产线上工作的员工数量。项目3_制造业生产效率优化22任务3.2数据观察（10/10）actualproductivity：实际生产效率，是根据实际生产情况计算出的生产效率。这是目标变量，是我们要预测的内容。项目3_制造业生产效率优化23任务3.2数据观察图示补充该页用于课堂中对界面截图、流程结果或图表进行补充说明，适合教师边展示边讲解。项目3_制造业生产效率优化24任务3.3缺失值处理通过数据观察，发现“wip”列存在缺失值，首先通过pandas来查看具体的数据缺失情况。；【例3.6】查看缺失值项目3_制造业生产效率优化25任务3.3缺失值处理（1/2）通过数据观察，发现“wip”列存在缺失值，首先通过pandas来查看具体的数据缺失情况。【例3.6】查看缺失值\Loadtheoriginaldatadf=productivitypredictionofgarmentemployees.data.original在以上代码中，首先加载“original”原始数据，然后通过df的isnull()方法来查看缺失值，并用sum()方法来统计“wip”列缺失值的总和为506行，偏度约为9.74。项目3_制造业生产效率优化26任务3.3缺失值处理（2/2）原始数据总行数为1197行，“wip”列缺失值比例约为42%，接近50%，可以选择删除或填充，其次，考虑到该数据列对结果的影响，该列含义为生产线上尚未完成的产品数量，可能是影响结果的关键因素。所以优先考虑用平均值或中位数来填充。本任务中，偏度为0.97，有较明显的向右偏移，所以更适合使用中位数填充。【例3.7】中位数填充\fillinginmissingvalueswithmedianasopposedtomeansincethedataisskewed项目3_制造业生产效率优化27任务3.3缺失值处理图示补充该页用于课堂中对界面截图、流程结果或图表进行补充说明，适合教师边展示边讲解。项目3_制造业生产效率优化28任务3.4异常值分析．描述性统计信息；【例3.8】描述性统计信息项目3_制造业生产效率优化29任务3.4异常值分析（1/11）．描述性统计信息【例3.8】描述性统计信息\获取数值列的描述性统计信息numericstats=df.describe()numericstats项目3_制造业生产效率优化30任务3.4异常值分析（2/11）使用describe()方法，会对数据集中的数值列进行统计，主要关注以下几个统计量。最小值（min）：异常值通常会远低于正常范围的最小值。最大值（max）：异常值通常会远高于正常范围的最大值。均值（mean）和中位数（50%）：异常值可能会导致均值明显偏离中位数。标准差（std）：异常值的存在可能会导致标准差较大，表示数据的离散程度增加。项目3_制造业生产效率优化31任务3.4异常值分析（3/11）||||||||||||||----|----|----|----|----|----|----|----|----|----|----|----|||team|targetedproductivity|smv|wip|overtime|incentive|idletime|idlemen|noofstylechange|noofworkers|actualproductivity||count|1197|1197|1197|1197|1197|1197|1197|1197|1197|1197|11项目3_制造业生产效率优化32任务3.4异常值分析（4/11）97||mean|6.426901|0.729632|15.06217|1126.438|4567.46|38.21053|0.730159|0.369256|0.150376|34.60986|0.735091||std|3.463963|0.097891|10.94322|1397.653|3348.824|160.1826|12.70976|3.268987|0.427848|22.19769|0.174488|项目3_制造业生产效率优化33任务3.4异常值分析（5/11）|min|1|0.07|2.9|7|0|0|0|0|0|2|0.233705||25%|3|0.7|3.94|970|1440|0|0|0|0|9|0.650307||50%|6|0.75|15.26|1039|3960|0|0|0|0|34|0.773333||75%|9|0.8|24.26|1083|6960|50|0|0|0|57|0.850253||max|12|0.8|54.56|23122|25920|3600|300|45|2|89|1.120438|项目3_制造业生产效率优化34任务3.4异常值分析（6/11）根据输出结果，可以进行一个初步判断。以下是可能存在异常值的列：wip（在制品）：最小值为7，但第25百分位数为970，最大值为23122。最大值远高于中位数和第75百分位数，这表明可能存在异常值。overtime（加班时间）：最大值为25920，这远远超过了正常范围。此外，第75百分位数为6960，这也是一个比较高的值，可能暗示着存在异常情况。incentive（激励）：最大值为3600，同样远远超过了其他值的范围，可能存在异常值。idletime（空闲时间）：最大值为300，与其他值相比较大，可能是异常值。项目3_制造业生产效率优化35任务3.4异常值分析（7/11）idlemen（闲置人员）：最大值为45，相比其他值较大，可能是异常值。．可视化识别异常值除了统计性描述外，箱线图是一种可视化方法，可以直观地显示数据的分布情况，并帮助识别异常值。【例3.9】异常值可视化分析parameters=df.columns\[5:-1\].tolist()项目3_制造业生产效率优化36任务3.4异常值分析（8/11）\两个基本参数：设置行、列fig=makesubplots(rows=3,cols=3）\fig=go.Figure()\添加两个数据轨迹，形成图形r=i//3+1项目3_制造业生产效率优化37任务3.4异常值分析（9/11）c=(i+1）%3row=r,col=3)else:row=r,col=c)使用可视化的方式，可以得到同样的结果，在目标生产率、加班时间、在制品、激励、空闲时间、闲置人员和实际生产率等列中存在异常值。项目3_制造业生产效率优化38任务3.4异常值分析（10/11）其中的大部分我们暂时不去处理，因为它们很可能是由于不同团队工作流程的自然变异性引起的，一些团队在时间、未完成工作量和生产率方面表现显著高于或低于平均水平。此外，特定团队的表现在不同日期可能会有所变化，某些日期显著高于或低于平均水平。对于“overtime”变量，离群点只有一个，值为25,920，这与其它值相差过大，所以用中位数对该值进行填充。【例3.10】异常值中位数替换\用中位数替换overtime最大值为25920的异常值项目3_制造业生产效率优化39任务3.4异常值分析（11/11）medianovertime=df\['overtime'\].median()项目3_制造业生产效率优化40任务3.5异常点的进一步检测再做一些其他的检测，来进一步查看是否有异常点。；【例3.11】其他的检测项目3_制造业生产效率优化41任务3.5异常点的进一步检测（1/10）再做一些其他的检测，来进一步查看是否有异常点。【例3.11】其他的检测\检测是否有重复行\检测是否有负数值以上两个查看以下是否有重复行，以及是否有负数，也是常用的检测方式，比如学生成绩、身高、年龄不能有负数等。项目3_制造业生产效率优化42任务3.5异常点的进一步检测（2/10）对于类别型数据，我们需要检查每个变量的每个类别的分布情况。例如，一个变量的某个类别只有很少的观察值，这可能会对我们的分析产生影响。我们可以通过计数和可视化来检查类别型数据的分布情况。【例3.12】类别型数据计数\类别型数据\计数项目3_制造业生产效率优化43任务3.5异常点的进一步检测（3/10）quarterQuarter1360Quarter2335Quarter4248Quarter3210项目3_制造业生产效率优化44任务3.5异常点的进一步检测（4/10）Quarter544Name:count,dtype:int64departmentsweing691finishing506项目3_制造业生产效率优化45任务3.5异常点的进一步检测（5/10）Name:count,dtype:int64dayWednesday208Sunday203Tuesday201项目3_制造业生产效率优化46任务3.5异常点的进一步检测（6/10）Thursday199Monday199Saturday187Name:count,dtype:int64【例3.13】类别型数据可视化项目3_制造业生产效率优化47任务3.5异常点的进一步检测（7/10）\可视化axs\[i\].settitle(col)可视化结果如图3.6所示。通过计数与可视化结果，可以明显的看到“quarter”季度列存在异常类别“Quarter5”，数量比其他类别要少太多，进一步查看。【例3.14】查看“quarter”为“Quarter5”的数据项目3_制造业生产效率优化48任务3.5异常点的进一步检测（8/10）从结果看，第五季度被分配给了月份超过28天的日期。由于一月无法被均等地分为四个季度，29日到31日将被分配到第四季度，所以，只需将“Quarter5”替换为“Quarter4”即可。【例3.15】替换“Quarter5”为“Quarter4”df\['quarter'\]=df.quarter.str.replace('Quarter5','Quarter4')接下来，从季度列中删除单词'Quarter'并修改为数字，目的是将数据类型更改为数字。项目3_制造业生产效率优化49任务3.5异常点的进一步检测（9/10）【例3.16】将类别型数据替换为数值型修改完成后，打印结果为：\[1234\]int64，同理，将另外两个类别型数据也转换为数值型。【例3.17】其他类别型数据替换为数值型repldict={'Monday':0,项目3_制造业生产效率优化50任务3.5异常点的进一步检测（10/10）'Tuesday':1,'Wednesday':2,'Thursday':3,'Saturday':4,'Sunday':5项目3_制造业生产效率优化51任务3.6相关性分析对于相关性分析的结果，一般采用热力图来展示。；【例3.14】特征值与结果的相关性项目3_制造业生产效率优化52任务3.6相关性分析（1/4）对于相关性分析的结果，一般采用热力图来展示。【例3.14】特征值与结果的相关性\高亮与结果的相关性corr=df.corr()结果显示，实际生产率（目标列）与目标生产率的相关性最高（中等正相关为0.42）。项目3_制造业生产效率优化53任务3.6相关性分析（2/4）还可以通过热力图来显示数值型列之间的相关系数矩阵。【例3.15】特征值相关性矩阵相关性矩阵是一个包含了各个变量之间相关系数的矩阵。相关系数衡量了两个变量之间的关联程度，其取值范围在-1到1之间。当相关系数接近1时，表示两个变量之间存在强正相关关系，即当一个变量增加时，另一个变量也随之增加。当相关系数接近-1时，表示两个变量之间存在强负相关关系，即当一个变量增加时，另一个变量会减小。项目3_制造业生产效率优化54任务3.6相关性分析（3/4）当相关系数接近0时，表示两个变量之间不存在线性相关关系，即它们之间的变化不具有明显的规律性。热力图，其中使用颜色表示相关性的强度，数字标注在每个单元格中表示对应的相关系数值。在热力图中，颜色越浅表示相关性越强，颜色越深表示相关性越弱。通过热力图观察，实际生产率，即目标列，与目标生产率具有最高的相关性（中等正相关性，0.42）。强正相关关系（\0.5）：项目3_制造业生产效率优化55任务3.6相关性分析（4/4）标准分钟价值与工人数量和加班时间具有较强的正相关关系。加班时间与工人数量、标准分钟价值具有较强的正相关关系。空闲时间和空闲人数之间具有较强的正相关关系。项目3_制造业生产效率优化56任务3.7数据预处理步骤1：数据准备；在前面的任务中，已经通过数据观察与分析，对整个数据集已经有了初步的了解，接下来，进入到模型训练的部分。项目3_制造业生产效率优化57任务3.7数据预处理（1/6）步骤1：数据准备在前面的任务中，已经通过数据观察与分析，对整个数据集已经有了初步的了解，接下来，进入到模型训练的部分。将通过机器学习的方式，让计算机通过算法来挖掘更深层次的数据规律。机器学习的第一步就是数据准备。【例3.15】数据准备项目3_制造业生产效率优化58任务3.7数据预处理（2/6）将数据预处理完成的DataFrame通过toexcel方法导出文件“productivity.xlsx”，注意toexcel()方法的index参数要设置为False，否则会导出index列，这并不是我们想要的。步骤2：数据导入打开Orange3软件，新建一个空白文件。在左侧的组件列表中的“Data”类别下，拖曳一个“文件”组件到工作流窗口中，双击打开后，在弹出的“文件”对话框中上传“productivity.xlsx”文件。项目3_制造业生产效率优化59任务3.7数据预处理（3/6）加载完成后，Orange3自动推断了字段的类型，如图3.10所示。绝大多数的类型是正确的，但是部分类型需要调整。比如“quarter”字段、“team”字段需要修改为“categorical”类别型。最后一列“actualproductivity”的Role规则修改为“target”即目标列。修改后，“文件”对话框的结果如图3.11所示。步骤3：列选择由于数据中的“date”列是训练无关的数据量，所以需要用列选择组件对其忽略。项目3_制造业生产效率优化60任务3.7数据预处理（4/6）拖曳组件列表中“Transform”类别下的“列选择”组件到工作流中，然后与“文件”组件进行连接，双击打开“列选择”对话框，单击选中右侧“Features”列表中的“data”，然后单击中间的“\<”向左移动按钮，使其加入到左侧的“Ignored”（已忽略）列表中。如图3.12所示。步骤4：数据分割拖曳组件列表中“Transform”类别下的“数据采样”组件到工作流中，然后与“列选择”组件进行连接，双击打开“数据采样”对话框，默认的数据采样是选70%的数据，我们是用默认的设置即可，为了观察最后的输出结果，拖曳组件列表中“Data”类别下的“数据表”组件到工作流中，并分别与“数据采样”组件连接，并分别重命名（F2或右击组件项目3_制造业生产效率优化61任务3.7数据预处理（5/6）在下列菜单中选择重命名）为“训练集”和“测试集”，如图3.12所示。双击“数据采样”组件与“测试集”组件的连接线，在“EditLinks”窗口中将“RemainingData”与“Data”连接。如图所示。通过这样的分割，可以将数据集分成训练集和测试集，训练集用于训练模型，测试集用于评估模型的性能。可以通过双击“训练集”组件和“测试集”组件来查看最后的结果。步骤5：特征缩放拖曳组件列表中“Transform”类别下的“预处理器”组件到工作流中，与“训练集”组件进行连接，然后打开“预处理器”对话框，双击左侧“Preprocessors”项目3_制造业生产效率优化62任务3.7数据预处理（6/6）(预处理器)列表中的“NormalizeFeatures”（特征标准化），在右侧窗口中，提供了多种归一化方式，我们选择默认的“Standardize”，将特征缩放到均值为0，标准差为1的标准正态分布，如图3.13所示。不要关闭窗口，单击最下方的输出结果查看。可以看到，除了类别型数据、结果数据，其他的数值型数据都进行了缩放，如图3.14所示。项目3_制造业生产效率优化63任务3.8模型训练训练模型是整个机器学习的核心模块，它向上承接已经分割好的数据，然后选择合适的机器学习算法，向下将训练；好的模型用于模型评估。项目3_制造业生产效率优化64任务3.8模型训练（1/3）训练模型是整个机器学习的核心模块，它向上承接已经分割好的数据，然后选择合适的机器学习算法，向下将训练好的模型用于模型评估。允许用户选择要使用的机器学习算法，并通过提供的数据对模型进行训练。用户可以从平台提供的多种算法中选择适合其问题的算法，例如决策树、逻辑回归、支持向量机等。用户可以自定义模型训练过程中的参数，以调整模型的性能和行为。这些参数可能包括算法特定的参数，如决策树的最大深度、支持向量机的核函数类型等。用户还可以将训练好的模型导出为常见的模型文件格式，以便在其他平台或系统中部署和使用。步骤1：在Orange实验线形回归项目3_制造业生产效率优化65任务3.8模型训练（2/3）在基础知识部分已经分析了该数据集，得出结论该问题是一个回归问题。故首先采用最简单的线性回归来训练模型。在左侧组件列表的“Model”类别中，拖曳“线形回归”组件到工作流中，与“预处理器”组件进行连接，双击连接线，在“EditLink”窗口中，将“PreprocessedData”与“Data”连接，工作流工作流如图3.15所示。连接线设置如图3.16所示。训练完成后，双击打开“线形回归”组件后，单击最下方的输出按钮，查看各个自变量的系数，如图3.17所示。项目3_制造业生产效率优化66任务3.8模型训练（3/3）系数解读，“coef”指的是模型中各个自变量的系数（coefficient），也被称为回归系数。这些系数代表了自变量对因变量的影响程度。“intercept”表示截距，也是就误差项，该值越小越好，回归系数的大小表示了自变量对因变量的影响程度。绝对值较大的回归系数表明自变量对因变量的影响更大。正值表示正相关，负值表示负相关。从coef系数中，可以看到，激励“incentive”、目标生产率“targetedproductivity”与生产效率存在正相关，而“overtime”加班时间与生产效率存在负相关，即加班时间越长，可能生产效率越低。项目3_制造业生产效率优化67任务3.8模型评估在模型训练完成后，可以通过平台提供的评估指标来评估模型的性能，如均方误差、均方根误差、平均绝对误差等。；这些指标可以帮助用户了解模型的表现，并进行进一步的改进和调整。项目3_制造业生产效率优化68任务