基于自组织映射与概率神经网络的增量式学习算法.pdf

第37卷第l 期 南京理工大学学报 V 01 37N o 1 兰Q 三生呈旦 竺竺型堕翌兰尘 墨兰垫 竺 兰 堡竺兰兰竺尘三墅皇竺尘兰垒 至坠兰 三一 基 于 自 组 织 映 射 与 概 率 神 经 网 络 的 增 量 式 学 习 算 法 戚溺1 2 胡俊1 於东军1 2 1 南京理工大学计算机科学与工程学院 江苏南京210094 2 南京理工大学常熟研究院 江苏常熟215513 摘要 为解决传统学习算法不能有效利用新可用数据这一不足 提出一种基于自组织映射 SO M 和概率神经网络 PN N 的增量式学习算法 增量式模块化自组织映射概率神经网络 IM SOM PN N 使用模决化SOM 对每类训练数据进行学习 以训练后SO M 的原型向量作为此 类别的模式神经元来构建PN N I M SO M PNN 可以方便地实现对不同类型的新数据进行增量式 学习 并且在进行增量学习时 不再需要利用到原始的训练数据 仅使用新的数据对已有模型进 行局部调整 最后 IM SO M PN N还具有较强的抗噪能力 在U C I Landsat Sat ell i t e数据集上的实 验验证了该文所述方法的有效性 关键词 自组织映射 概率神经网络 增量式学习 机器学习 中图分类号 TP391 41文章编号 1005 9830 2013 01 000l 一06 Increm ent al l earIli ngal gori t hmbased on self orgaIli zi ngm ap 锄d probabi l i st i c neur alnet w or k QiY on91 HuJunl Y uD on西unl 2 1 School of Com put er Sci enceand Engi neeri ng NU ST N anj ing2l 0094 Chi na 2 C hangshuInst i t ut e NU ST C hangshu215513 C hina A bst ract Tosol vet hedefbct soft het radit i onall eam ingal gor i t hm sthatt henewavai l abl edat acan notbe e日bct i vel yut il i zed a newi ncrem ent al l eam ingm et hod cal led i ncrem ent alm odul arse o唱ani zi ngm appm babi l i st i c neum l net w ork IM SO M PN N based on sem o唱anizingm ap SO M and pr obabi li st i cneuralnet w ork PN N i spr oposed Sam pl esofeachclass areusedt ot rai nam odular SO Mandt hecodebookveet or soft het rai nedSO M sareusedas pat temneur ons for const rt l cti ng PN N The pr oposed I M SO M PN Npossessesseveral advant agessuchas 1 it caneasi ly1eamt he know ledge buri edi ndif 珀rent t ypes ofnewavai l abl e data 2 only t henewavai l abl edat aareusedt o 收稿日期 2012 09 18修回日期 2012 11 l l 基金项目 国家自然科学基金 61272419 江苏省自然科学基金 BI 2011371 江苏省博士后科研资助计划 1201027c 江苏省产学研联合创新资金前瞻性联合研究项目 BY 2叭2022 中国航天cA LT创新基 金项目 CA m ol l02 作者简介 戚滂 1970一 男 博士 教授 主要研究方向 机器学习 智能网络 E 哪ai l qyong nj ust edu cn 引文格式 戚滂 胡俊 於东军 基于自组织映射与概率神经网络的增量式学习算法 J 南京理工大学学报 2013 37 1 l一6 投稿网址 ht tp nj lgd b paperonce org 2 南京理工大学学报 第37卷第l 期 updat e t hetI ained m odel and t l le or igi nal dat adonot need 3 thepr oposedI M SOM PN Nhasgood pe而珊aJlce eV e non noi sy dat a Experim ental r esul t sont heU C ILandsatSat el l it edat aset dem onst r at et hee E宅ctivenessoft he pr oposed m et hod K eyw ords se擤 唱ani zi ngm 印 probabi l i st i cneum l network increm ent all eam ing m achinel e踟i ng 传统的机器学习算法通常基于静态的数据集来 构造决策模型 不能有效利用蕴含在新的可用数据 中的知识 当有新的可用数据时 传统的学习算法 不得不重新训练整个决策模型 导致计算复杂度高 并且效率低下 增量式学习技术是有效解决该问题 的途径 近年来日益得到学术界与工业界的重视 1 一般新的可用数据分为两大类悼J 一种是决策 模型已知类标的新数据 另一种是决策模型未知类 标的新类别数据 具有增量学习能力的决策模型应 该能够有效处理这两种类型的新数据 至于增量式 学习本身 又可以分为两个不同的层次 特征级增量 式学习和决策级增量学习 分类 预测问题中一个 关键的步骤是抽取有效的鉴别特征 很多传统的特 征抽取方法 例如主分量分析 蹦nci palco 印nent aJl al ysi s PC A 线性鉴别分析 unear di scdII linaJl t anal ysis A 等均是由 个静态的数据集构建特征 抽取模型 当有新的可用数据时 必须重新从头开 始训练特征抽取模型 特征级增量式学习旨在利用 新的可用数据来更新原有的特征抽取模型 而无需 重新训练 例如经典的主分量分析和线性鉴别分析 已经分别被研究人员推广为具有增量学习能力的特 征抽取模型 即增量式主分量分析 Incr em ent al PC A 旧1和增量式线性鉴别分析 I ncrem ental LD A H 在观A和Iul A 中新的数据可以增量的 形式更新已有的特征抽取模型 与特征级增量学习 使用新数据更新特征抽取模型不同 决策级增量学 习直接利用新数据来更新决策模型 本文重点研究决策级增量式学习 提出一种基 于自组织映射 Se o孵血zi ngm ap SO M 和概率 神经网络 Pm babil i st i c neural net w or k PNN 1的 增量式学习算法 作为一种非参数方法 PNN 本 身非常简明并且在很多分类问题上表现出色 然 而 PN N 存在的一个重要不足之处是在决策阶段 需要用到所有的训练样本 因而不可避免地会导致 存储空间大 计算效率低下 事实上 在很多实际 问题中 新的可用数据会不断产生 上述问题就会 进一步恶化 很多研究人员已经采取不同的法 来降低传统PN N 的计算复杂度 同时保持其优秀 特性 蔼j 例如 使用聚类方法 尽m eans fuzzy c m eaJl s clust eri ng 拉 对训练数据进行聚类 然后使 用聚类中心代替原始数据构建PN N 然而 此类方 法的缺陷是需要事先设定聚类中心的个数 受主观 性影响较大 最近 本文作者曾使用SOM 对训练 数据进行学习 然后使用训练好的SO M 的原型向 量构建PN N sO M PN N 这样得到的PN N 结构紧 致 显著降低了PN N 计算的复杂度和存储空间需 求 并在蛋白质跨膜螺旋预测问题上得到了成功应 用旧1 虽然s0M PN N 能够有效解决传统PN N 的 一些问题 但是还不具备增量学习的能力 在本文 中 使用模块化技术 为自组织映射概率神经网络 SO M PN N 配备增量式学习能力 将其推广为增量 式模块化自组织映射概率神经网络 Incr em ent al m odul arSOM PN N I M SOM PN N 1PN N PN N 源自Specht提出的基于P淝en窗的概 率密度估计器K3 设瓦 工叫 工础 工蚶 为类别m 的训练数据集 其中Js 为x 中样本的 个数 那么 可用式 1 来对类别m 的概率密度 函数进行估计 戈 2叮r 丁cr dS bp 堕掣 式中 d为训练样本的维数 矿为平滑因子 可使 用式 2 进行估计 盯 击耋萼善鼎 在预测 分类阶段 当式 3 成立时 新样本工 被分类到类别m m4 ar g m a p 以 工 3 式中 p 为类别m 的先验概率 肘为总的类别数 PNN 的优点是无需学习 直接利用所有的样 本进行分类预测 然而 正是由于该性质 当原始 训练样本多时会导致决策时间过长 耗费存储空 总第188期戚滂胡俊於东军基于自组织映射与概率神经网络的增量式学习算法 3 间太大 极大地限制了PN N在大规模实际问题中 的应用 2SO M K ohonen等提出的SO M 具有自适应学习数 据分布特性的能力怕J 能够在输出空间中保留输 人模式的拓扑结构关系 sO M 通常由两层组成 一是输入层 另一是输出层 输出层由若干输出 节点组成网格结构 一维或是二维 输人层节 点与输出层节点全互联 通过竞争机制完成SOM 的学习 学习后的SOM 能保证相似的输入得到 的输出亦相似 假设SO M 的输入节点个数为d 对应于模式的输入维数 输出神经元的个数为 K 表示为 忌 每个输出神经元有一个d维的 原型向量 w 尺4 和d个输入神经元连接 SO M 可以使用序列学习算法或是批量学习 算法来进行训练 当训练数据集规模较大时 优 先选用批量学习算法 简述如下 9 1 将训练数据集中的所有样本依据SO M 的原型向量集 w 划分为相应的V om noi 区域 K 也就是说 如果z 菇i 竺 的最佳匹配 单元是输出神经元 那么 样本工被划分到 V om noi 区域圪 2 设n 为被划分到V or onoi 区域K中的样 本个数 计算这些样本的均值如式 4 所示 弓 吉 4 式中 z 巧 1 p 3 更新原型向量 吣 糌 重复上述3个步骤 直到满足训练结束条件 5l 3n压SO M 吧N N 图1给出了所提出的具有增量学习能力的 I M SO M PN N 系统结构图 在IM SO M PN N 中 使用 了多SOM 策略 也就是说为每一类的数据训练一 个SOM 然后每一类SO M 的原型向量作为该类的 模式神经元用于后续构建PNN 使用此种模块化 的多SOM 策略 可方便地实现对两种不同类型新 数据的增量式学习 而无需对整个模型重新训练 首先 对于模型已知类别的新数据 只需要将 对应类别的sOM 进行局部的调整学习 其他的 SO M 模块无需做调整 其次 对于新类别的数据 则新独立训练一个 的SO M 然后将它的原型向量加入到PN N 即可 最后 IM SOM PN N具有较强的抗噪能力 该 能力受益于SOM 的去噪能力以及系统模块化的 结构 抽取的模式神经元 类别l 的 原型向量 类别2的 原型向量 刊 鲎 丝 一 局部学习 类别M 的 原型向量 圃 圊一器 圈 l新类另忧的l 一 I类别朋 一 印一一 J 类别朋g 训练数据训练数据X i p原型向量 L 图1 IM SO M PN N 系统结构图 PN N j 初始学习阶段 一 j增量学习阶段 囵蜀 4 南京理工大学学报 第37卷第1期 下面 用3个部分来描述I M SO M PN N 的学习 过程 1 初始模型的学习 设x 置u鼍u 矗 u 为初始训练集 其中X 为类别m 的训练数据集 首先 使用每 个x 训练一个SO M 表示为S伽 用心表示 S伽 中原型向量的个数 c 表示第后个输出节 点对应的原型向量 1 忌 K c X 表示 训练样本集x 中被映射到输出节点c础的样本 个数 c x l 工Iz x BM u 工 c I 6 式中 B M U 表示BestM at chi ngunit 含义是最佳 匹配单元 Js伽 第后个原型向量的重要程度用式 7 来度量 p c c X 7 使用s伽 中的原型向量 而不是瓦中的训 练样本来估计类别m 的概率密度函数 牟M 工 21T 丁盯 如 知p 坚掣 8 再结合每个原型向量的重要程度 式 8 进 一步描述为 露M 咖赢 知蚶叫一坚掣 9 Km 式中 叫叫 p c p c叫 为s伽 中第后 个原型向量的权重 最终的PNN 可以统一表示为如下形式 尸 p 舞M x 10 式中 肘为类别总数 p 为第m 类的先验概率 在决策阶段 新样本工按照式 11 被分类 到类别m m a唱m ax p 弗M 工 11 设初始的PNN 训练完毕后 又有新数据x 到达 不失一般性 假设x 中的数据持有相同 的类标 即属于同一类别 当X 中包含不同类别 的数据时 总可以将其划分为若干不相交的子集 使得每个子集中的数据属于同一类别 下面分2种情况来考察如何进行增量式 学习 2 已知类别的新数据 记如6ez x 为集合x 中样本的类标 并 且Z06ef x 在已经训练好的PNN 模型中已经 存在 不妨记为如捌 r m 下面 使用新数据x 来对第m 个SO M 进行 增量式学习 r u c础 罂 组合新的训练集来训练一个新 的SO M 并替换原有的第m 个SO M 训练得到的 新soM 的原型向量集记为 c二 缝 其中群是原 型向量的个数 需要注意的是 这磁个原型向量的重要性需 按照式 12 进行更新 p c J c x 卢 p c蚶 12 I xm B M u cm t 2c孟 其中0邻 1为继承因子 3 新类别的数据 记f口6以 X m 若m 在已经训练好的 PN N模型中没有出现过 则使用X 创建一个新 的SO M 并将此新sO M 的原型向量作为类别m 一 的模式神经元 加入到已有的模型 用于构 建PN N 4实验结果与分析 本文使用U C I 机器学习库中Stadog Landsat Sat el l i t e 数据集 该数据集共有36个属性 6个 类别 6435个样本 其中4435个是训练样本 2000个为测试样本 4 1 己知类别的新数据的增量学习性能 将训练样本随机分为10份 首先使用1份构 建初始的PNN 并使用测试样本测试模型的性 能 然后逐步将剩余的9份训练样本用于增量式 学习 并在每一步中使用测试样本进行测试 以验 证其增量学习能力 上述实验重复10次 图2 给出了PN N SO M PN N 和本文方法I M SO M PN N 的 性能对比图 从图2 a 可以发现 随着学习样本的不断增 多 PNN 的模式神经元快速增长 原因是PNN 会 将每个训练样本当作模式神经元 而SO M PNN 和 IM SO M PN N 是从训练样本中使用SO M 技术抽取 典型样本 因而增长的速度较慢 模式神经元个 的多少 会直接影响预测时间 如图2 c 所示 可以看出SO M PN N 和IM SO M PN N 的预测时间显 总第188期 戚溺胡俊於东军基于自组织映射与概率神经网络的增量式学习算法 5 著地低于PN N 再从训练时间上来看 IM SO M PN N 是优于 SOM PN N 的 如图2 b 所示 其根本原因在于 SOM PN N不具备增量学习能力 每当有新数据达 籁 1鼍 骶 蹙 型 羹 蕃 hbhhhhhhhh 到时 需要将新数据和原来的数据合并起来 重新 训练sO M 而I M SO M PN N在新数据到达时 只需 要使用其来更新相关的个别sOM 因而降低了训 练时间 I ln且 I lIjlI 零0 85卜 讲 瑙 蜒o 80 一 一SO M PN N I M SO M PN N 图2增量学习性能对比图 最后 从学习精度上来看 如图2 d 所示 可以 发现随着学习样本的不断增加 PN N SO N N 以及 IM so 删 的 预 测 精 度 都 在 不 断 增 加 这 表 明 当 学 习样本增加时 可用知识增多 确实有助于提高模型 的 预 测 精 度 此 外 IM Soh删 在 开 始 时 精 度 低 于 PNN 但 是 随 着 样 本 的 增 多 IM sOh删 的 精 度 一 致 性 地 高 于PNN 表 明IM So 删 可 以 更 有效 地 利 用 新样本中蕴含的知识 4 2新类别数据的增量学习性能 本小 节验证I胀的 删对新类 别数据的 增量 学习能力 用I和巨分别表示第i类 1 i 6 的 U C IIand鞠tSatell it e数据集中的训练和测试样本 首先 使用正u疋来训练一个初始的 IM SOM PN N 然后使用E u如来对模型行进行测 试 在第 步 2 5 时 将Z 提交至 I M SO M PNN进行增量学习 然后使用E u易u uE川测试模型 表1给出了增量学习的每一步 中 模型分类性能的变化 由于IM SOM PNN 使用了模块化的技术 因此 可以方便地加入新类别的数据 而不需要影响到 其他类别已经训练好的模块 当问题类别数增多 时 必然会增加分类的难度 表1中预测精度的 变化反映了这一现象 不可否认的是 随着类别 数的增多 IM sO M PNN 依旧取得了令人满意的预 测精度 表ln缁0 PN N 在U CIL蛆dsatSat em t e 数据集中新类别数据的增量学习 4 3容噪性能 在数据集的样本中加入均值为零不同方差 从0 01至0 05 的高斯白噪声来验证所提出的 IM SOM PN N的容噪能力 在给定噪声强度下 实 验重复十次 并计算均值 表2给出了在不同噪 声强度下不同模型预测精度的均值和方差 茹 菇 O6 燎 4 m 茹 6 南京理工大学学报 第37卷第1期 表2模型在不同噪声强度下的预测精度 方法 噪声方差 0 0l0 02 0 030 040 05 从表2可以看出 SO M PN N 以及IM SO M PN N 的容噪能力明显优于PN N 并且IM SO M PN N 优于 SO M PN N 由于PN N 将每个带噪样本作为模式 神经元 因而最终的模型受噪声影响较大 而 SO M 具有自适应去噪能力 而SO M PN N 和 IM SO M PN N 使用训练后的SO M 的原型向量作为 模式神经元 因而具有较强的容噪性能 5 结论 本文提出了一种基于自组织映射的具有增量 学习能力的概率神经网络模型 该模型充分利用 了SO M 的自适应学习能力 可以构建更为紧凑的 PN N 并具有较强的容噪性能 此外 采用模块化 结构 可以方便地实现对不同类型新数据的增量 式学习 在UC ILands atSat ell i te数据集上的实验 结果验证了所述方法的有效性 参考文献 1 2 H eHB C henS bK eta1 Inerem entalkam i ngf 南m stre锄dat a J IEEET砌sact i onsonNeur al Net wor ks 2011 22 12 1901一1914 W aI l g Z L Ji 蚰gM Hu YH eta1 Ani ncrefr砖nt al l洲ngInetIl od basedonpmbabili sti cne蒯netw orks a11d adjllstabIef II zzycl ust er i ng fbrhum an act ivi t y rec倒tionbyll s iIl gwe锄bl e嘲l sors J IEEE naI l sact io璐onI血髓碹tion7I hnologyi nB i o艇疝cine 2012 16 4 回l瑚9 3 H uangD Y iz Pu xR Anewi ncr em ent alPcA 8l g矗t hm W i t l appli cation t o vi sual l eanl ing and reco伊i t ion J NeuralProcessi ngI 烈t er s 2009 30 3 171 185 4 zhaoH Y uenPC I ncr em ent al l i neardiscr im i nant analysi s forf l ce reco伊i t i on J IEE ETr龃