第10章 灰色系统理论与方法.ppt

数据挖掘技术与应用 陈燕教授 第10章灰色系统理论与方法 大连海事大学 本章提纲 10 1灰色系统的基础理论 10 1 1灰色系统理论介绍 10 1 2灰色系统的特点 10 1 3灰色系统建模与适用范围 10 1 1灰色系统理论介绍 灰色系统理论 GreySystemTheory 的创立源于20世纪80年代 邓聚龙教授在1981年上海中美控制系统学术会议上所作的 含未知数系统的控制问题 的学术报告中首次使用了 灰色系统 一词 1982年 邓聚龙发表了 参数不完全系统的最小信息正定 灰色系统的控制问题 等系列论文 奠定了灰色系统理论的基础 他的论文在国际上引起了高度的重视 美国哈佛大学教授 系统与控制通信 杂志主编布罗克特 Brockett 给予灰色系统理论高度评价 因而 众多的中青年学者加入到灰色系统理论的研究行列 积极探索灰色系统理论及其应用研究 10 1 1灰色系统理论介绍 灰色系统是通过对原始数据的收集与整理来寻求其发展变化的规律 这是因为 客观系统所表现出来的现象尽管纷繁复杂 但其发展变化有着自己的客观逻辑规律 是系统整体各功能间的协调统一 因此 如何通过散乱的数据系列去寻找其内在的发展规律就显得特别重要 灰色系统理论认为 一切灰色序列都能通过某种生成弱化其随机性的模型而呈现本来的规律 也就是通过灰色数据序列建立系统反应模型 并通过该模型预测系统的可能变化状态 灰色系统理论认为微分方程能较准确地反应事件的客观规律 即对于时间为t的状态变量 通过方程就能够基本反映事件的变化规律 10 1 1灰色系统理论介绍 目前 灰色系统理论得到了极为广泛的应用 不仅成功地应用于工程控制 经济管理 社会系统 生态系统等领域 而且在复杂多变的农业系统 如在水利 气象 生物防治等方面也取得了可喜的成就 灰色系统理论在管理学 决策学 战略学 预测学 未来学 生命科学等领域有极为广泛的应用前景 10 1 2灰色系统的特点 概率统计 模糊数学和灰色系统理论是三种最常用的不确定性系统的研究方法 如表10 1所示 研究对象都具有不确定性 这是三者的共同点 正是研究对象在不确定性上的区别派生出三种各具特色的不确定性学科 10 1 2灰色系统的特点 表10 1灰色系统与概率 模糊的对比 10 1 2灰色系统的特点 灰色系统着重研究概率统计 模糊数学所不能解决的 小样本 贫信息不确定 问题 并依据信息覆盖 通过序列生成寻求现实规律 其特点是 少数据建模 与模糊数学不同的是 灰色系统理论着重研究 外延明确 内涵不明确 的对象 比如 到2050年 中国要将总人口控制在15亿到16亿之间 这 15到16亿之间 就是一个灰概念 其外延是非常明确的 但如果进一步要问到底是哪个具体值 则不清楚 灰色系统理论与概率论 模糊数学一起并称为研究不确定性系统的三种常用方法 具有能够利用 少数据 建模寻求现实规律的良好特性 克服了数据不足或系统周期短的矛盾 10 1 3灰色系统建模与适用范围 灰色系统GM n h 建模灰色建模是进行灰色预测与灰色决策的基础 其建模过程可分为五步 语言模型 网络模型 量化模型 动态模型 优化模型 五步建模过程事实上是信息不断补充 系统因素及其关系不断明确 明确的关系进一步量化 量化后关系进行判断改造的过程 是系统由灰变白的过程 10 1 3灰色系统建模与适用范围 灰色模型和其他任何模型一样 不可能具有普遍适用性 而是有其特定的建模条件 灰色模型的特点在于其建模机理与其他模型不同 在建模的数据处理上 通过灰色序列生成找寻数据演变的规律性 在进行灰色系统建模前需要判断序列是否是光滑序列 数据序列是否满足灰指数规律 灰色系统的模型GM n h 是以灰色模块概念为基础 以微分拟合法为核心的建模方法 其中n表示微分方程阶数 h表示参与建模的序列个数 用得较多的是GM 1 1 模型 GM n h 建模原理如下 10 1 3灰色系统建模与适用范围 定理 给定下列序列 i 1 2 h t 1 2 N 有相应的一阶累加序列 i 1 2 h t 1 2 N 其中 为一次累加序列 并有相应的多次累差序列 i 1 2 h t 1 2 N j 1 2 m 10 1 3灰色系统建模与适用范围 当j 1时有 10 1 当j 2时有 10 2 当j 3时有 10 3 10 1 3灰色系统建模与适用范围 再构造如下累差矩阵A 累加矩阵B及常向量yn 10 4 10 1 3灰色系统建模与适用范围 10 4 10 6 10 1 3灰色系统建模与适用范围 若记h个序列n阶微分方程所表达的动态模型 即GM n h 模型为 10 7 则微分方程的系数向量为 可以通过最小二乘法求解 式中为由A B组成的分块矩阵 10 1 3灰色系统建模与适用范围 灰色模型适用范围分析 一 作为预测模型 常用GM n 1 模型 即只有一个序列变量的GM模型 这是因为对社会 经济 农业等系统效益 效果 产量 产值等 的发展变化进行分析和预测时 只需研究一个变量 即 效果 的数据序列 二 作为状态模型 常用GM 1 h 模型 因为它可以反映h 1个变量对某一变量一阶导数的影响 当然 这需要h个时间序列 并且事先必须作尽可能客观的分析 以确定哪些因素的时间序列应计入这h个变量中 但GM 1 h 模型只能反映其它h 1个变量对某一变量的一阶导数的影响 不能反映多因素系统内各变量之间的相互作用 10 1 3灰色系统建模与适用范围 三 作为静态模型 一般是GM 0 h 模型 即n 0 表示不考虑变量的导数 所以是静态 它与线性回归模型形式相似 但有本质区别 即它建立在生成数列的基础上 而线性回归模型建立在原始数据基础上 四 Verhulst模型是对序列数据呈饱和S型曲线的情况进行预测 将二次幂非线性微分模型称为Verhulst模型 常用于人口预测 生物生长 生命周期预测和产品经济寿命预测等 如果X本身呈S形 而其一次累加呈增长型 对X仍建立GM 1 h 模型最合适 10 2灰色预测模型 10 2 1建立灰色预测模型 10 2 2灰色预测模型实例 10 2 1建立灰色预测模型 灰色预测是指基于灰色动态模型GM 1 1 的预测 灰色预测模型一般指GM 1 1 模型 数列灰色预测的步骤如下 第一步 级比检验 建模可行性分析 对于给定序列 能否建立精度较高的GM 1 1 预测模型 一般可用的级比的大小与所属区间 即其覆盖来判断 事前检验准则 设 且级比为则当时 序列可作GM 1 1 建模 10 1 3灰色系统建模与适用范围 第二步 数据变换处理数据变换处理的原则是经过处理后的序列级比落在可容覆盖中 从而对于级比不合格的序列 可保证经过选择数据变换处理后能够进行GM 1 1 建模 通常的数据变换有平移变换 对数变换 方根变换 10 1 3灰色系统建模与适用范围 第三步 GM 1 1 建模 1 检验序列的非负性 如果序列中的数据有负数 则进行非负化处理 即所有序列数据加最小负数绝对值 对含有零的序列在事前检验时 一般要做一次累加处理 消除序列中的零 2 设原始数据为 对含有负数的序列 则是经过非负处理并进行了一次累加以后的序列 计算一次累加序列 10 1 3灰色系统建模与适用范围 3 建立矩阵 10 8 10 1 3灰色系统建模与适用范围 4 根据公式10 9 求估计值和其中 10 9 10 1 3灰色系统建模与适用范围 5 用时间响应方程 计算拟合值 6 用后减运算还原 即 i 2 n 10 1 3灰色系统建模与适用范围 3 建立矩阵 10 8 10 3灰色聚类分析 10 3 1基于灰色关联度的聚类分析 10 3 2基于灰色白化权函数的聚类方法 10 3 1基于灰色关联度的聚类分析 灰色关联分析的基本思想是根据系统内部各因素之间发展态势的相似 相异程度来衡量因素之间关联程度的一种方法 即根据灰色时间序列曲线几何形状的相似程度来判断其联系是否紧密 曲线越接近 相应灰色时间序列之间的关联度就越大 反之就越小 它与传统的系统相关分析有所不同 它克服了传统的系统相关分析中的缺憾 它不受变量 典型分布等的限制 10 3 1基于灰色关联度的聚类分析 定义10 1灰关联度设X x0 x1 xm 为灰色关联因子集 系统特征序列为x0 x0 1 x0 2 x0 n 相关因素序列为xi xi 1 xi 2 xi n x0 k xi k 分别为x0与xi的第k个数据点 给定r x0 k xi k 为实数 wk为k点权重 满足 10 10 10 3 1基于灰色关联度的聚类分析 若满足以下四个条件 1 规范性 若 若 或x0与xi同构 2 偶对对称性 3 整体性 有4 接近性 越小 越大 则称 为x0对xi的灰关联度 亦称为灰关联映射 通常简记为 为xi对x0在第k点的关联系数 简记为 并称上述4个条件为灰色关联四公理 10 3 1基于灰色关联度的聚类分析 几种常用的灰色关联度利用位移差和斜率 速度 加速度 来表示关联度 是目前许多关联度量化模型的基本思路 一 邓氏关联度 10 11 10 3 1基于灰色关联度的聚类分析 10 12 其中 为分辨系数 这是邓聚龙教授提出的灰色关联度 在众多的关联度量化模型中最为典型 按照公式 10 12 中定义的算式可以得灰色关联度的计算步骤如下 10 3 1基于灰色关联度的聚类分析 第一步 求各序列的初值像 或均值像 令 10 13 第二步 求两极最大差与最小差 记为M m 10 14 第三步 求关联系数 10 15 10 3 1基于灰色关联度的聚类分析 第四步 计算关联度 10 16 10 3 1基于灰色关联度的聚类分析 二 广义灰色绝对关联度 10 17 其中 10 18 10 19 10 3 1基于灰色关联度的聚类分析 其中 k 1 2 n 广义灰色绝对关联度的适用范围较广 它对等时距序列 非等时序列以及序列中有多个数据空缺的情形均适用 甚至还可用计算长度不同的序列间的关联度 10 3 1基于灰色关联度的聚类分析 三 B型关联度 10 21 10 3 1基于灰色关联度的聚类分析 其中 10 22 10 23 10 24 10 3 1基于灰色关联度的聚类分析 分别为离散函数与的位移差 一阶斜率差和二阶斜率差 上述关联度是根据事物发展过程中的相近性与相似性而提出的 其基本思想是用描述相近性的物理特征位移差及描述相似性的物理特征速度差 一阶斜率差 加速度差 二阶斜率差 来共同反映序列间的关联程度 10 3 1基于灰色关联度的聚类分析 三 灰色关联聚类模型设有n个观测对象 每个对象观测含有m个特征数据 得到序列如下 对所有的计算出的绝对关联度 得上三角矩阵A称为特征变量的关联矩阵 10 3 1基于灰色关联度的聚类分析 10 25 取临界值 一般要求 当时 则视Xj与Xi为同类特征 10 3 1基于灰色关联度的聚类分析 定义10 2灰色关联聚类特征变量X1 X2 Xn在临界值r下的分类称为特征变量的r灰色关联聚类 r可根据实际问题的需要确定 r越接近于1 分类越细 每一组分类中的变量相对地越少 r越小分类越粗 这时每一组分类中的变量相对地越多 10 4灰色综合评价方法 10 4 1多层次灰色综合评价方法计算步骤 10 4 2多层次灰色综合评价方法应用案例 10 4 1多层次灰色综合评价方法计算步骤 一 确定评价指标结构设待评对象序号为c c 1 2 q 指标按最高层 目标W 中间层 一级评价指标Ui i 1 2 n 和最低层 二级评价指标Vij i 1 2 n j 1 2 m 建立评价指标体系如图10 2所示 10 4 1多层次灰色综合评价方法计算步骤 图10 2多层次评价体系结构 10 4 1多层次灰色综合评价方法计算步骤 二 指标处理由于各种指标的量纲不一致 因而无法直接进行比较分析 为此 对于不同类型的指标 应采用不同的处理方法 1 定量指标针对所涉及到的指标信息 通过定性分析可分为 越大越优型 和 越小越优型 对原信息矩阵进行指标测度的统一处理 即 10 4 1多层次灰色综合评价方法计算步骤 1 评价指标 越大越优 时 可用上限效果测度 记统一后的元素为 2 评价指标 越小越优 时 可用下限效果测度 记统一后的元素为 10 4 1多层次灰色综合评价方法计算步骤 2 定性指标 由专家评判法得到定性指标值 三 确定指标加权子集评价指标Ui Vij对目标W的重要程度是不同的 利用层次分析法确定指标权重 求得Ui的权重为ai 指标的权重集为A a1 a2 an 满足ai 0 并归一化 指标层Vij的权重为aij 权重集Ai ai1 ai2 aim 满足aij 0 并归一化 i 1 2 n j 1 2 m 10 4 1多层次灰色综合评价方法计算步骤 四 制定评价指标的评分等级标准设评价灰类序号为e e 1 2 g 有g个评价灰类 如g 3 则将评价灰类取为三级 强 中 弱 若g 4 则评价灰类取为四级 优 良 中 差 若g 5 则评价灰类取五个等级 强 较强 一般 较弱 弱 同时评分也可以选择介于两相邻等级之间的数值 如评分为4 5 3 1 2 7 1 5等 10 4 1多层次灰色综合评价方法计算步骤 五 组织专家评分 确定评价值矩阵设专家序号为k k 1 2 p 组织p个专家对第c个候选方案按评价指标Vij评分等级标准打分 得分为 并填写评价分值表 由此可得到关于某方案的多人评价矩阵 10 4 1多层次灰色综合评价方法计算步骤 10 29 10 4 1多层次灰色综合评价方法计算步骤 利用灰色系统理论确定评估灰类 将分散的专家评价信息描述成属于不同评价灰类的向量 最后对此向量进行单值化处理 六 确定评价灰类视实际评价问题分析确定评价灰类的等级g所对应的灰类灰数e及灰数的白化权函数fe dijk 白化权函数的转折点的值为阈值 可以从样本以外照准则或经验用类比的方法获得 这样得到的阈值称为客观阈值 从评价样本矩阵D A 中寻找最大 最小和中等值 分别作为上限 下限和中等值的阈值 这种阈值称为相对阈值 10 4 1多层次