数据标准化处理方法

精品文档 1欢迎下载 数据标准化处理方法数据标准化处理方法 在数据分析之前 我们通常需要先将数据标准化在数据分析之前 我们通常需要先将数据标准化 normalizationnormalization 利用标准化后的数据进行数据分析 数据标准化 利用标准化后的数据进行数据分析 数据标准化 也就是统计数据的指数化 数据标准化处理主要包括数据同趋化处理也就是统计数据的指数化 数据标准化处理主要包括数据同趋化处理 和无量纲化处理两个方面 数据同趋化处理主要解决不同性质数据问和无量纲化处理两个方面 数据同趋化处理主要解决不同性质数据问 题 对不同性质指标直接加总不能正确反映不同作用力的综合结果 题 对不同性质指标直接加总不能正确反映不同作用力的综合结果 须先考虑改变逆指标数据性质 使所有指标对测评方案的作用力同趋须先考虑改变逆指标数据性质 使所有指标对测评方案的作用力同趋 化 再加总才能得出正确结果 数据无量纲化处理主要解决数据的可化 再加总才能得出正确结果 数据无量纲化处理主要解决数据的可 比性 数据标准化的方法有很多种 常用的有比性 数据标准化的方法有很多种 常用的有 最小最小 最大标准化最大标准化 Z score Z score 标准化标准化 和和 按小数定标标准化按小数定标标准化 等 经过上述标准化处理 等 经过上述标准化处理 原始数据均转换为无量纲化指标测评值 即各指标值都处于同一个数原始数据均转换为无量纲化指标测评值 即各指标值都处于同一个数 量级别上 可以进行综合测评分析 量级别上 可以进行综合测评分析 一 一 Min maxMin max 标准化标准化 min maxmin max 标准化方法是对原始数据进行线性变换 设标准化方法是对原始数据进行线性变换 设 minAminA 和和 maxAmaxA 分别为属性分别为属性 A A 的最小值和最大值 将的最小值和最大值 将 A A 的一个原始值的一个原始值 x x 通过通过 min maxmin max 标准化映射成在区间标准化映射成在区间 0 1 0 1 中的值中的值 x x 其公式为 其公式为 新数据新数据 原数据 原数据 极小值 极小值 极大值 极大值 极小值 极小值 二 二 z scorez score 标准化标准化 精品文档 2欢迎下载 这种方法基于原始数据的均值 这种方法基于原始数据的均值 meanmean 和标准差 和标准差 standardstandard deviationdeviation 进行数据的标准化 将 进行数据的标准化 将 A A 的原始值的原始值 x x 使用使用 z scorez score 标准化标准化 到到 x x z scorez score 标准化方法适用于属性标准化方法适用于属性 A A 的最大值和最小值未知的情况 的最大值和最小值未知的情况 或有超出取值范围的离群数据的情况 或有超出取值范围的离群数据的情况 新数据新数据 原数据 原数据 均值 均值 标准差标准差 spssspss 默认的标准化方法就是默认的标准化方法就是 z scorez score 标准化 标准化 用用 ExcelExcel 进行进行 z scorez score 标准化的方法 在标准化的方法 在 ExcelExcel 中没有现成的函中没有现成的函 数 需要自己分步计算 其实标准化的公式很简单 数 需要自己分步计算 其实标准化的公式很简单 步骤如下 步骤如下 1 1 求出各变量 指标 的算术平均值 数学期望 求出各变量 指标 的算术平均值 数学期望 xixi 和标准差和标准差 sisi 2 2 进行标准化处理 进行标准化处理 zijzij xijxij xixi sisi 其中 其中 zijzij 为标准化后的变量值 为标准化后的变量值 xijxij 为实际变量值 为实际变量值 3 3 将逆指标前的正负号对调 将逆指标前的正负号对调 标准化后的变量值围绕标准化后的变量值围绕 0 0 上下波动 大于上下波动 大于 0 0 说明高于平均水平 说明高于平均水平 小于小于 0 0 说明低于平均水平 说明低于平均水平 三 三 DecimalDecimal scalingscaling 小数定标标准化小数定标标准化 精品文档 3欢迎下载 这种方法通过移动数据的小数点位置来进行标准化 小数点移动这种方法通过移动数据的小数点位置来进行标准化 小数点移动 多少位取决于属性多少位取决于属性 A A 的取值中的最大绝对值 将属性的取值中的最大绝对值 将属性 A A 的原始值的原始值 x x 使使 用用 decimaldecimal scalingscaling 标准化到标准化到 x x 的计算方法是 的计算方法是 x x 10 j x x 10 j 其中 其中 j j 是满足条件的最小整数 是满足条件的最小整数 例如例如 假定假定 A A 的值由的值由 986 986 到到 917917 A A 的最大绝对值为的最大绝对值为 986986 为使用 为使用 小数定标标准化 我们用小数定标标准化 我们用 10001000 即 即 j 3j 3 除以每个值 这样 除以每个值 这样 986 986 被规范化为被规范化为 0 986 0 986 注意 标准化会对原始数据做出改变 因此需要保存所使用的标注意 标准化会对原始数据做出改变 因此需要保存所使用的标 准化方法的参数 以便对后续的数据进行统一的标准化 准化方法的参数 以便对后续的数据进行统一的标准化 除了上面提到的数据标准化外还有对数除了上面提到的数据标准化外还有对数 LogisticLogistic 模式 模糊量化模式 模糊量化 模式等等 模式等等 对数对数 LogisticLogistic 模式 新数据模式 新数据 1 1 1 e 1 e 原数据原数据 模糊量化模式 新数据模糊量化模式 新数据 1 2 1 2sin 1 2 1 2sin 派派 3 1415 3 1415 极