基于Sugeno模糊积分神经网络分类器融合方法在手写数字识别中的应用

1、neural network multiple classifier fusion method to handwrittennumeral recognition based on sugeno fuzzy integral杨丽丽张洪成白艳萍（中北大学理学院 ，山西 太原 030051）李烁（中北大学机电工程学院 ，山西 太原 030051）摘 要神经网络是模式识别中一种常见的分类器 。 针对同一个分类问题 ，构建多个分类器并把多个分类器进行融合可以提高 分类系统的分类正确率 、改善系统的稳健性 。 首 先 介 绍 了 sugeno 模 糊 积 分 及 sugeno 模 糊积分神经网络分类器

2、融合方法 的 一 般 原 理 ，而后将其应用于手写数字识别 ，通过实际的案例验证了该融合方法的有效性和可行性 。关 键 词 ：关 神 经 网 络 ，sugeno 模 糊 积 分 ，多 分 类 器 融 合 ，手 写 数 字abstractthe neural network is a common kind of classifier of pattern recognitionthe accuracy and robustness of classification system can be improved through fusion of multiple classifiersthi

3、s paper,firstly,introduces sugeno fuzzy integral and the the- ory of the multiple classifiers fusion method which is based on sugeno fuzzy integralthen the method is used to solve the handwritten numeral recognition problemskeywords:neural network,sugeno fuzzy integral,multiple classifier fusion,han

4、dwritten numeral仪仪（1gi）1 仪1in神经网络是模式识 别中一种常见的分类器 。 常 见 的 神 经 网络 分 类 器 bp 神 经 网 络 、rbe 神 经 网 络 等 。 但是在设计神经网络 分 类 器 的 时 候 ， 有 很 多 对分类起性能有影响的因素 ， 如 网 络 结构 ，学习算法及相关参数的确定等 。 而这些算法的缺点是算法本 身 固 有 的 ，如 bp 学习算法是基于最 速 梯 度 下 降 ，易 陷 入 局 部 极 小 、过 度 拟 合 、收敛速度慢和引起振荡效应 。 因 此 ，可 以 把 几 个 已经训练好的神经网络分 类器同时用于分类 ， 希望它们之间能

5、够 取 长 补 短 ，达到更好的分 类 效 果 。 另 外 ，在一些复杂的实际问题 中 ，属 性 （特 征 ）个 数 越 多 ，并且这些属性多是相 互 独 立 的 ，于 是 可用样例的部分属性作 为输入训练神经分类器 ， 然 后 把 这 些 分 类器对待识别样例的分类结果融合得到它的类别 。多分类器融合是一 种利用分类器之间的互补性来降低分类 不确定性的融合技术 ， 基于模糊积分的多分类器融合是一种基 于模糊密度的非线性决 策 的 方 法 ， 它不仅可以融合各分类器提 供 的 结 果 ，还能够考虑到 分类器本身的在融合过程中的重要性 。本 文 首 先 介 绍 了 sugeno 模 糊 积 分

6、及 sugeno 模糊积分神经网 络分类器融合方法的一般 原 理 ，而后将其应用于手写数字识别 ，通过实际的案例验证了该融合方法的有效性和可行性 。1 sugeno 模糊积分的定义 1g （ai ）gi g （ai1 ）gi g （ai1 ）xie其 中 ， 的值可以由下列等式求出 ：n1仪（1gi ）i 1其 中 ，（1，），0。对 于 a哿x，其 中 xx1，x2， ，xn是 一 个 有 限 集 合 （即 可 计 算 模 糊 积 分 ），以 及 hk：x0，1是 一 个 函 数 。 设 hk（x1）hk（x2）hk（xn），则 hk 在 a 上 关 于 g 的 sugeno 模糊积分定义为

7、 e （s） 乙h dg nhk （yi ）g （a）i1kk其 中 ，axi1，xi2， ，xin。2 基 于 sugeno 模糊积分神经网络分类器融合原理 从数学角度来看 ， 神经网络可以看作是一个由函数的复合 构 成 的 多 输 入 、多 数 出 的 系 统 ，每一个非输入节点都是一个单值 多 元 函 数 。 人 工 神 经 网 络的实质反映了转化成输出的一种表达 式 ，这种数学关系是由网 络的结构确定的 ，而网络根据具体问题 进行设计和训练 。图 1 是一神经网络分器 ，其中 ，输 入 层 有 t 个 神 经 元 ，隐 含 层 有 h 个神经元 ， 输 出 层 有c 个 神 经 元 。

8、 这 里 ，t 是 属 性 （特 征 ）数 ，c 是 类 别 数 。这个网络可以 看 作 是 非 线性 的 决 策 过 程 。 假 设 有 一令 g 是一种模糊测度 ，ab，则 有 ：并满足如下性质 ：若 a，b奂x 和g （ab）g （a）g （b）g （a）g （b），1（1）则 称 g 为 sugeno 测 度 ，亦 称 模 糊 测 度 。 g 模 糊 测 度 具有 以 下 性 质 ：设 xx1，x2， ，xn是 一 个 有 限 集 合 ， 且 gig（xi）， 则 称待 识 别 样 例 xx ，x ， ，1 2x ，类 别 集 为 （w ， ，n1kj表 1 模糊测度和相应的 om的

9、权 重 ；wik 是 第 k 个隐含层神经元和第 i 个 输 出 神 经 元 之 间 的x权 重 ，f 是 sigmoid 函 数 ，如 f（x）1 （1e ）。多个神经元融合的主要思想是 ： 首 先 采 用 n 个 已 经 训 练 好 的神经网络分类器 （每 一 神经网络的输出层都相同 ，即 该 样 例 属于 c 个 类 别 的 程 度 ）对于待识别样 例 进 行 分 类 ，然后选用某种融 合 方 法 对 n 个神经元分类器的分 类结果进行融合 ， 最 终 得 到 该样 例 的 分 类 。本 实 验 将 选表 2 各分类器分类精度均值和方差 用sugeno模 糊积 分 作 为 融 合 工具

10、， 其 中 ， 测 度 为 g 模 糊 测 度 。 图 2 即 为 基 于 模 糊 积 分 的 多 神 经 网 络 融 合 算 法 。基 于 sugeno模 糊 积 分 的 多 神 经 网 络 融 合 的 具 体 过 程 ：注 ：snn 表 示 基 于 sugeno 模糊积分的融合系统 基于模糊积分的多 神经网络融合方法和一些传统融合方法 在阿拉伯数字分类精度比较 ，如 表 3 所 示 。表 3 基于模糊积分的融合方法和其他融合方法分类精度比较 图 2 基于模糊积分的多神经网络融合算法 设 （w1， ，wc） 为 识 别 类 集 合 ，yy1，y2， ，yn 为 n 各神经网络构成的一个集合

11、，a 是一待识别样例 。 设 hk：y0，1表 示 示 例 a 属 于 程 度 ，即 hk（yi）表 示 网 络 yi 把 示 例 a 分 为 第 k类 的 概 率 ，则 ek （s） 乙hk dg ，即融合后该样例属于第 k 类 的 概率 。 然后只需要根据最大值原则 ，取 最 大 的 ek （s） 乙hk dg ，k1，2， ，c。 假 设 hk （y1 ）hk （y2 ）hk （yn ），ek （s） 乙hk dg hk （yi ）g （ai ）n由上面手写数字识 别的实验结果可以看到 ： 基 于 模 糊 积 分的多神经网络融合比单 个神经网络分类效果好 ， 并 且 基 于 模 糊 积分

12、的融合方法由于其他融合方法 。4 结 束 语本 文 将 基 于 sugeno 模糊积分的多分类器融合 方 法 用 于 手 写数字识别问题 ， 并 通 过实际的案例验证了该融合方法的有效 性 和 可 行 性 ，分 类 结 果 也 符 合 实 验 要 求 。 透 过 实 验 ，可 以 知 道 构 建多个分类器并把多个 分类器进行融合可以有效提高分类系统 的分类正确率以及改善系统的稳健性 。 值 得 注 意 的 是 ，在 运 用 该 方 法 时 ， 积分函数的选 择以及反映各决策方法重要性的模糊测 度密度的确定是影响最终结果的两个关键环节 。 因 此 ，如 何 根 据 具体的问题选择合适的 积 分

13、函 数 ， 如何更加科学地确定手写字 符识别是值得进一步讨论的问题 。i1其 中 ，aiy1，y2， ，yi。g 模糊测度的模糊密度 yi 表 示 第 i 个神经网络对于第 k 类 的 重 要 性 ，可由专家给出或者学习 的 到 。 从 而 ，参 数 可 以 由 下列 等 式 求 出 ：n1仪（1gi ）i 1其 中 ，（1，），0。进 而 ：g （a1 ）g （y1 ）g1g （ai ）gi g （ai1 ）gi g （ai1 ），1in需 要 注 意 的 是 ，我们对于所有类别 ，我 们 可 以 选 用 同 一 个 g模 糊 测 度 ，也可以选用不同的 g 模 糊 测 度 。3 基 于 s

14、ugeno 模糊积分神经网络分类器融合算法 在 手 写 数 字识别中的的应用 我 们 收 集 20 个人手写的阿 拉 伯 数 字 （0、1、2、3、4、5、6、7、8、9），从中抽取每一类中的 50 个 作 为 样 例 ，共 150 个 作 为 样 例 训 练 集 ，再 取 500 个样例作为检验集 。 首先采用学习速率衰减的 ebp 算法训练三个神经网络分类器 ，为了防止网络的 过 适 应 ，当 神经网络在检验集上的 分类精确率最高时停止训练 。 训 练 时 的学 习 速 率 为 01，动 量 因 子 为 09。 三个神经网络的隐含层都含 有 20 个节点的两层网络 。 不同的是输入点个数 ，nn1 含 有 10 个参 考 文 献1丛 爽 面 向 matlab 工具箱的神经网络理论和应用 m合 肥 ：中 国 科学技术大学出版社 ，2009（4）：64992刘 承 水基于构造型神经网络的分类算法 j中 南 大 学 学 报 （自 然 科学 版 ），2009（6）3 段 宝 彬sugeno 模糊积分综合评价方法的改进 j 统 计 与 决 策 ，2007，247（19）：1584张 德 丰matlab 神 经 网 络 仿 真 m北 京 ：电 子 工 业 出 版 社 ，20096：176241file:/d|/我的资料/desktop/新建文本文档.txtappli