kappa-AttributeMSA黑带资料.ppt

测量系统分析 属性数据 属性数据Kappa操作定义属性测量系统指导列联表分级员之间的KappaMinitab例子练习 6 改进过程 确认小目标 确认业务机会定义目前状态收集并陈列基础数据确认并定义关键需求决定过程能力 确定可能的根本原因利用收集的静态数据寻找因果关系研究可能的根本原因阐明问题陈述缩小潜在的KPIV sKPOV s确认根本原因提出潜在的解决方法 主动确认根本原因决定最优方案文书将来的过程估计财务收益提出执行计划 提出控制计划 SOP监测性能提出沟通计划确定并提出替代及标准机会提出项目停止计划研究附加机会 流程图SIPOC集思广义名义小组技术亲合力图表Pareto图表因果图表因果模型检查单移动图表s控制图表量表R R过程能力QFD 绘图工具 技巧抽样策略概率假设检验简单回归变异成分多变量图FMEA 失效模式分析 过程绘制多元主观评价Kappa ICC 多元回归单向方差分析双向方差分析全因素实验部分因素实验对表面设计的反应财务基础过程绘图FMEA过程能力绘图工具 技巧 CUSUM控制图EWMA控制图过程控制计划执行计划沟通计划Poka Yoke5SKaizen 可能工具 目标 改进 控制 分析 测量 阶段 学习目标 概念上理解如何评估 通过 失败 测量系统和顺序测量系统认识到各种Kappa方法的存在练习使用Minitab支持属性测量系统数据的分析认识到低质量测量系统带来的问题 能为我做什么 是评估属性测量系统的可重复性和再现性的一种简单方法能够辨别你的属性测量系统中的弱操作定义 属性测量系统 大多数物理测量系统都使用能够提供连续数据的测量装置对于连续数据测量系统分析 我们可以使用控制图或量具R R方法属性 顺序测量系统使用了接受 拒绝标准或分级 例如 用 1 5 确定是否达到可以接受的质量水平Kappa技术可以用来评估这些属性和顺序测量系统 你真的拥有太多的属性数据吗 很多检验过程能够收集连续数据并选择属性数据以简化检验员的任务例如 很多功能测验将连续地评估一项产品 温度 压力降低 电压降低 维量 硬度等等 并以通过 失败记录其结果设法获取连续数据 属性和顺序测量 属性和顺序测量经常依靠主观分类或分级例子包括 把部件特征分级为好或坏在品尝之后分级葡萄酒的香味和口感从1到5给雇员的表现分级给体操打分在利用这些测量系统在6 工程中决策之前 我们应该评估它们吗 不评估它们的后果是什么呢 测量系统分析 属性数据 什么方法适于评估属性测量系统 属性系统 同等处理所有误分类的Kappa技术顺序系统 考虑误分类等级的Kappa技术例如 如果我们从1到5判断一油漆产品的等级 检验员A把它评为1级 检验员B评为5级 比起检验员A把它评为4级而检验员B评为5级来 具有更大的误分类 数据 Scales 常态 包含不具有排序基础或可以分别出量的差别的数字例 如 标签 例子 一公司中 A部门 B部门 C部门一车间中 机器1 机器2 机器3运输的类型 船 火车 飞机顺序 包含可以分等级的数字 但是不能根据该标度推断出数字之间差别的程 例子 产品性能 优秀 很好 好 一般 差沙司品尝试验 味淡 辣 很辣 辣得难受客户调查 强烈同意 同意 反对 强烈反对 Kappa技术 Kappa适用于非定量系统 如好或坏通过 不通过区分声音 嘶嘶声 叮当声 重击声 通过 失败 Kappa技术 适用于属性数据的Kappa同等处理所有误分类不假定分级是平均分布于可能的范围要求单元之间相互独立 并且判定员或分级员是独立作出分级的要求评估类别是相互排斥的 小练习 课堂上有多少人穿白色衬衫 操作定义 存在着一些质量特点 或者难以定义或者定义很耗费时间要一致地评估分类 几个单元必须由一个以上的评估人或判定人作出分类如果评估员之间达成足够的一致 那么就有可能 尽管不能保证 分级是正确的如果评估员不能达成足够的一致 那么分级的可用性就很有限了 差劲的属性测量系统几乎总是可以归咎于差劲的操作定义 属性测量系统中的 和 风险 风险 生产者风险合格产品被拒绝不必要的碎片 返工的原因被人为削减的过程性能 风险 消费者风险接受了不合格产品太多的保证要求不满意的客户夸大的过程性能 假设 重要性 测验中的风险 你已经漏掉一个重要的效应 你已经 发现 一些实际不存在的东西 结果 哪些是重要的应关心的问题 如果检验员之间和内部不能达成很好的一致 会有什么风险呢 次品正在流向下一步操作或客户吗 优质品正在被返工或处理掉吗 评估的标准是什么 如何度量一致性 评估的操作定义是什么呢 什么是Kappa Pobserved判定员一致同意的单元的比率 判定员一致判定为优良的比率 判定员一致判定为次劣的比率Pchance预期偶然达成一致的比率 判定员A判定为优良的比率 判定员B判定为优良的比率 判定员A判定为次劣的比率 判定员B判定为优良的比率 注意 上述等式适用于两类分析 即优良或次劣 Kappa 要达成完全一致 Pobserved 1且K 1一般说来 如果Kappa值低于0 7 那么测量系统是不适当的如果Kappa值为0 9或更高 那么测量系统是优秀的Kappa的下限为0到 1如果Pobserved Pchance那么K 0因而Kappa值为0表示达成一致和随机偶然预期达成的一致是一样的 属性测量系统指导 在选择研究的部件时 要考虑以下几方面因素 如果你只有两个类别 优良和次劣 你至少应该选择20个优良品和20个次劣品最多可选择50个优良品和50个次劣品尽量保持大约50 的优良品和50 的次劣品选择不同程度的优良和次劣 如果只选择优良品进行研究 那么P chance会如何呢 属性测量系统指导 如果你的类别超过2种 其中一类是优良 其它类别是不同的缺陷方式 那么你至少应该选择大约50 的优良品和和每重缺陷方式中的最少为10 的产品你可以把一些缺陷方式合并称为 其它 这些类别应该互相排斥 否则它们应该合并起来 分级员内部 可重复性考虑 让每个分级员至少两次判定同一单元为每个分级员建立独立的Kappa表 计算他们的Kappa值如果某个分级员的Kappa测量值很小 那么该分级员自己没有很好地重复判定如果分级员自己没有很好地重复判定 那么他也不能和其它分级员很好的做重复判定 这将掩盖其它分级员内部重复判定的好坏根据每个分级员的首次判定建立一个Kappa表 计算不同分级员之间的Kappa值不同分级员之间的Kappa值将进行两两对比 A和B B和C A和C Kappa例子 1 BillBlackbelt正在努力改进一个具有高退货率的油漆过程在工程早期 由于很明显的检验员之间和检验员内部的差别 所以测量系统就是一个关注的问题下一页的数据是在测量系统研究中收集的 需要计算每个操作员的Kappa和操作员之间的Kappa 考虑下列数据 分级员A的应急表 在每个单元格中填入收集到的信息 应急表 第一格代表分级员A在第一次和第二次测量中判定为优良的次数 应急表 第二格代表分级员A在第一次测量中判定一个单元为次劣 在第二次测量中判定为优良的次数 应急表 第三格代表分级员A在第一次测量中判定一个单元为优良 在第二次测量中判定为次劣的次数 应急表 第四格代表分级员A在第一次测量和第二次测量中判定一个单元为次劣的次数 应急表 边格的数字代表行和列的总和 应急表 比例 分级员A比例 下表代表上表的数据 其中每个单元格用总数的百分比来表示 代表10 20 应急表 比例 由行和列的总和计算而得 对Kappa的定义将有所不同 取决于我们是在定义分级员内部Kappa 还是在定义分级员之间的Kappa 记得怎样计算Kappa吗 Pobserved判定员一致同意的单元的比率 判定员A B一致判定为优良的比率 判定员A B一致判定为次劣的比率Pchance预期偶然达成一致的比率 判定员A判定为优良的比率 判定员B判定为优良的比率 判定员A判定为次劣的比率 判定员B判定为优良的比率 Pobserved等于上表对角线上概率的总和 Pobserved 0 500 0 350 0 850Pchance等于每个分类概率乘积的总和 Pchance 0 600 0 55 0 400 0 45 0 51那么KraterA 0 85 0 51 1 0 51 0 693 计算分级员A的Kappa KRaterB 数字 比例 计算分级员B的Kappa 分级员之间的Kappa 我们使用相同程序估计分级员之间的Kappa计算中 我们将限于我们感兴趣的一对检验员的首次判定如果有检验员的可重复性很差 低于85 那么在计算检验员间分级中不用到他 她 Kappa 分级员A对分级员B 两个分级员都判定为优良的次数 使用首次测量 分级员之间的Kappa 分级员A判定一单元为优良而分级员B判定为次劣的次数 使用首次测量 分级员A对分级员B的Kappa 分级员A判定一单元为优良而分级员B判定为次劣的次数 使用首次测量 分级员之间的Kappa 两个分级员都判定为次劣的次数 使用首次测量 分级员之间的Kappa 数字 计算分级员之间的Kappa 下表代表上表中的数据 其中每个单元格以总数的百分比来表示 对Kappa的定义将有所不同 取决于我们是在定义分级员内部Kappa 还是在定义分级员之间的Kappa 记得怎样计算Kappa吗 Pobserved判定员一致同意的单元的比率 判定员一致判定为优良的比率 判定员一致判定为次劣的比率Pchance预期偶然达成一致的比率 判定员A判定为优良的比率 判定员B判定为优良的比率 判定员A判定为次劣的比率 判定员B判定为优良的比率 Pobserved等于上表对角线上概率的总和 Pobserved 0 450 0 300 0 750Pchance等于每个分类概率乘积的总和 Pchance 0 600 0 55 0 400 0 45 0 51那么KraterA B 0 75 0 51 1 0 51 0 489 计算分级员A对分级员B的Kappa 一些改进想法 我们可以怎样改进这一测量系统呢 额外的培训实物标准 样品分级员认证过程更好的操作定义 Kappa结论 当前测量系统够能用吗 你将把你的改进努力集中在哪些方面 你将对哪些分级员进行必需的培训 Minitab例子 一教育测试公司正在培训五名评估员 评估第12级标准化作文测验评估员给文章分级的能力要和评估的标准化需要一致每个评估员给15篇文章评级 级别为 2 1 0 1 2 公司也对文章分级 并提供 官方评分 每篇文章分级两次 所得数据存储于文件attributeordinal mtw打开文件 并评估评估员的表现 Minitab和属性测量系统 Minitab对话框 输入变量 在评估员的百分比之内 这一结果代表达成一致的百分比 和一致性收敛于该百分比的95 的可信度 评估员内部的对话窗口输出 评估员自己内部评估一致评估员 被检验 一致百分比 95 0 CIDuncan151493 3 68 1 99 8 Hayes151173 3 44 9 92 2 Holmes151066 7 38 4 88 2 Montgomery151066 7 38 4 88 2 Simpson151493 3 68 1 99 8 评估员之间评估一致 被检验 一致百分比 95 0 CI15320 0 4 3 48 1 这一输出提供的信息和图包含的信息一样 除了增加了对评估员之间的评估 再做一次 选择Stat 开始 QualityTools 质量工具 AttributeGageR RStudy 记数型量具R R研究 如果我们知道如何分级部件 那要怎么办 如果你有一个产品检验的已知标准 实际的答案 那么必须让Minitab知道这些信息放在哪一列上 评估员vs 标准 评估员内部 评估员内部评估一致评估员 被检验 一致百分比 95 0 CIDuncan151493 3 68 1 99 8 Hayes151173 3 44 9 92 2 Holmes151066 7 38 4 88 2 Montgomery151066 7 38 4 88 2 Simpson151493 3 68 1 99 8 除了评估员内部图外 Minitab将给出百分比 每个评估员vs 标准 每个评估员vs标准评估一致评估员 被检验 一致百分比 95 0 CIDuncan15853 3 26 6 78 7 Hayes151066 7 38 4 88 2 Holmes151066 7 38 4 88 2 Montgomery151066 7 38 4 88 2 Simpson151280 0 51 9 95 7 一些检验员将很好的重复他们自己的分级 但是可能和标准不怎么一致 请见Duncan 更多的对话窗口输出 评估员之间评估一致 被检验 一致百分比 95 0 CI15320 0 4 3 48 1 所有评估员vs标准评估一致 被检验 一致百分比 95 0 CI15320 0 4 3 48 1 该对话窗口将给出关于所有评估员是如何作出违反标准判定的百分比信息 我们要怎么从Minitab中获取Kappa Minitab可以计算类别数据 通过 失败 和顺序数据的Kappa 我们如何使Minitab报告Kappa 点击Results 结果 选择附加输出 这将在对话窗口输出中加入Kappa统计 Kappa和Minitab Kappa统计评估员内部评估员反应KappaSEKappaZP vs 0 Duncan 21 00000 25823 87300 000 11 00000 25823 87300 00000 76000 25822 94350 00210 84130 25823 25820 00121 00000 25823 87300 000总计0 91300 13896 57540 000Hayes 2 0 07140 2582 0 27660 609 10 65910 25822 55260 00500 81370 25823 15130 00110 42310 25821 63860 05120 84130 25823 25820 001总计0 65010 14034 63250 000 Minitab将计算每个类别的每个评估员 内部 的Kappa Kappavs 标准 每个评估员vs标准Kappa统计评估员反应KappaSEKappaZP vs 0 Duncan 20 58330 18263 19500 001 10 16670 18260 91290 18100 51220 18262 80520 00310 55000 18263 01270 00120 42310 18262 31730 010总计0 45310 09274 88690 000Hayes 20 62960 18263 44860 000 10 81370 18264 45660 00000 90680 18264 96690 00010 52000 18262 84820 00220 73640 18264 03330 000总计0 74430 09497 84580 000 Minitab也将计算每个评估员与标准相比的Kappa统计 Kappa和Minitab 评估员Kappa统计反应KappaSEKappaZP vs 0 20 64930 038516 86980 000 10 55270 038514 36020 00000 46150 038511 99040 00010 44940 038511 67700 00020 66380 038517 24490 000总计0 54370 019527 83260 000所有评估员vs标准Kappa统计反应KappaSEKappaZP vs 0 20 80560 08169 86600 000 10 72940 08168 93370 00000 65320 08168 00020 00010 59750 08167 31740 00020 78390 08169 60070 000总计0 71240 041917 01040 000 Minitab将不提供某一对特定的评估员之间的Kappa 但是将为反应的每个可能类别提供一个所有判定员之间的总体Kappa 这一输出能怎么帮助我们改进我们的测量系统呢 如果我的数据是顺序的 那应该怎么办 选择Stat 开始 QualityTools 质量工具 AttributeGageR RStudy 记数型量具R R研究 顺序数据 如果你的数据是顺序的 选中该方框 什么是Kendall s 评估员内部Kendall的和谐相关系数评估员CoefChi SqDFPDuncan0 990127 7219140 015Hayes0 975827 3226140 017Holmes0 954026 7114140 021Montgomery0 947126 5194140 022Simpson0 990227 7263140 015 Kendall的相关系数可以认为是R平方值 它是把数据作为属性处理的反应和把数据作为顺序处理的反应之间的相互关系 该值越小 误分类越严重 Kendall s 评估员内部vs标准Kendall的相关系数评估员CoefSECoe