（计算机软件与理论专业论文）madaline敏感性研究.pdf

摘要 神经网络的输出对参数扰动的敏感性是神经网络设计和实现中的一个重要问题 参数的 扰动对网络的输出会有怎样的影响 如何度量神经网络对参数扰动的敏感程度 本文着重 计算和分析了一种前馈神经网络 m a d a l i n e 对丁输入和权扰动的敏感性 基于m a d a l i n e 的结构特点 本文采 j 自底向上的方法计算m a d a l i n e 的敏感性 首先 我们研究神经元 a d a l i n e 的敏感性 在此基础上 逐层计算a d a l i n e 的敏感性 最后输 出层的a d a l i n e 的敏感性就是整个m a d a l i n e 的敏感性 敏感性在本文中定义为网络输出由于其参数的扰动而发生改变的数学期望 对于一个训 练后的网络而言 它的网络结构和权都已给定 论文从两个不同的角度来计算它对了 输入和 权扰动的敏感性 第一个角度是要求敏感性计算的结果比较精确 为此 本文提出了能准确 表示m a d a l i n e 输入空间的超立方模型 然后给出了基于超立方模型的计算敏感性的算法 尽管算法有一定的复杂度 但是实验表明该算法得到结果比较精确 第二个角度要求给出复 杂度较低的敏感性计算方法 然后尽可能地提高计算的精度 为此 本文提出了概率模型 并在概率模型基础上给出了敏感性计算方法 基于概率模型的敏感性计算方法不仅复杂度非 常低 而且实验表明 当输入维数较大时 计算的精度也可以满足要求 接着 又用概率模 型来研究训练前的m a d a l i n e 对于输入和权扰动的敏感性 此时m a d a l i n e 的权尚未确定 研 究目标是分析整个一类m a d a l i n e 的共性 利用对训练前m a d a i i n e 的敏感性研究的结果 文 中还就m a d a l i n e 网络结构参数对敏感性的影响进行了分析 这些分析的结果可以被崩米指 导m a d a l i n e 网络的设计 最后 本文指出了敏感性在神经网络领域的应用前景 关键词 m a d a l i n e 网络 神经网络 敏感性 超立方 概率 a b s t r a c t t h e s e n s i t i v i t yo f n e u r a ln e t w o r k s 0 u t o u tt op a r a m e t e rp e r t u r b a t i o ni sa l l i m p o r t a n ti s s u ei n t h e d e s i g na n di m p l e m e n t a t i o no fn e u r a ln e t w o r k s w h a tw i l l b et h ee f f e c t so f p a r a m e t e r p e r t u r b a t i o no nt h eo u t p u to fn e u r a ln e t w o r k s h o wc a nt h ed e g r e eo ft h er e s p o n s eo fn e u r a l n e t w o r k sd u et o p a r a m e t e rp e r t u r b a t i o n b em e a s u r e d i nt h i s d i s s e r t a t i o n t h e s e n s i t i v i t yo f m a d a l i n e st oi n p u ta n dw e i g h tp e r t u r b a t i o n si ss y s t e m a t i c a l l ya n d t h e o r e t i c a l l ys t u d i e d b a s e do nt h es t r u c t u r a lc h a r a c t e r i s t i c so fm a d a l i n e s ab o t t o m u pa p p r o a c hi s a d o p t e d i h e s e n s i t i v i t yo fas i n g l en e u r o n i e a na d a l i n e i sc o n s i d e r e df i r s t t h e nf o l l o w e di st h es e n s i t i v i t y o f t h ee n t i r em a d a l i n en e t w o r k s s e n s i t i v i t yi sd e f i n e da st h em a t h e m a t i c a le x p e c t a t i o no fo u t p u td e v i a t i o nd u et oi n p u ta n d w e i g h tp e r t u r b a t i o n s f o rat r a i n e dm a d a l i n e w h o s ea r c h i t e c t u r ea n dw e i g h ta r ea l l g i v e n t h e d i s s e r t a t i o np r o p o s e sah y p e r c u b em o d e la n dap r o b a b i l i t ym o d e lt oe o m p m ei t s s e n s i t i v i t y t h e h y p e r c u b em o d e li ss u c c e s s f u l l yu s e dt oc o m p m et h es e n s i t i v i t yw i t hh i g ha c c u r a c y w h i l et h e p r o b a b i l i t y m o d e li s s u c c e s s f u l l y u s e dt o c o m p u t et h es e n s i t i v i t y w i t hl o wc o m p l e x i t y t h e p r o b a b i l i t ym o d e li sa l s ou s e dt oc o n s i d e rt h es e n s i t i v i t yo fu n t r a i n e dm a d a l i n e s t h es e n s i t i v i t y a n a i y s i so fm a d a l i n e sw i t h o u tf i x e dw e i g h ti sa l s oc o n d u c t e d w h i c hi sh o p e f u lt op r o v i d eu s e f u l g u i d e l i n e s t oa i dt h e d e s i g no f a m a d a l i n e f i n a l l y t h ed i r e c t i o no f t h ef u t u r er e s e a r c hi sd i s c u s s e d k e y w o r d s m a d a l i n e n e u r a ln e t w o r k s s e n s i t i v i t y h y p e r c u b e p r o b a b i l i t y 学位论文独创性声明 本人所呈交的学位论文是我个人在导师指导下进行的研究工作 及取得的研究成果 尽我所知 除了文中特别加以标注和致谢的地方 外 论文中不包含其他人已经发表或撰写过的研究成果 与我一同工 作的同事对本研究所做的任何贡献均已在论文中作了明确的说暇并 表示了谢意 如不实 本人负全部责任 论文作者 签名 弦 蒸 4 学位论文使用授权说明 州7 年莎月乙日 河海大学 中国科学技术信息研究所 国家图书馆 中国学术期 刊 光盘版 电子杂志社有权保留本人所送交学位论文的复印件或电 子文档 可以采用影印 缩印或其他复制手段保存论文 本人电子文 档的内容和纸质论文的内容相一致 除在保密期内的保密论文外 允 许论文被查阅和借阅 论文全部或部分内容的公布 包括刊登 授权河 海大学研究生院办理 论文作者 签名 丝耋坐别 年 占月2 日 m a d a l i a e 敏感性研究 州海大学坝十学位论文 第一章绪论 探索智能的机理 用人一 一智能实现人脑智能 让机器完成人脑的工作是人类氏期以来 梦寐以求的理想 传统的基于符号表达和逻辑推理的人工智能方法是对人脑智能进行宏观功 能的模拟 虽然对于特征明确 推理或运算规则清楚的问题取得了显著的成效 但是对于处 理含有不确定及多变性的问题显得笨拙和无能 人 神经网络研究是着眼于从人脑生理结构 上来模仿利探索人脑的机理咀解决那些用传统人工智能方法难于解决的问题 例如模式识 别 机器学习 和联想记忆等 该研究领域的重要性是不言而喻的 它是当今世界最前沿的 研究领域之一 目前 该顿域在理论和应用上都已有 大的进展 但是离能彻底解释人脑的 作原理还相差甚远 许多有关人j 二神经网络的结构平 行为的基本问题都还有待进一步深入 探索 本文主要研究m a d a l i n e 对输入和权扰动的敏感性 1 1 动机 本文涉及的是人工神经网络的一个基础课题 即神经网络敏感性研究 理论上 神经 网络是在一定的结构框架f 通过自身的学习机制来调整权值 从而在网络的输入和输出之间 建立一种映射关系 然而 这个理论上的映射在现实世界中不可避免地会遇到这样或那样的 干扰 例如 在神经网络的实现过程中 权值会网为硬件的精度限制被截断 另外 在神经 网络的使用时输入值会受到环境噪音的影响而波动 这些干扰会使得输入车 权偏离理想值 那么它们的偏离对神经网络的输出会产生怎样的影响 神经网络敏感性研究上e 是要回答网 络参数的扰动对网络输出的影响 本文的研究对象 m a d a l i n e 作为一种重要的前馈人r 神经网络 使用有导师的学习 算法 由丁二其出现较早 结构简单 已经被虑用在很多方面 因为m a d a l i n e 靠其内部的权 建立输入输出映射 所以研究m a d a l i n e 对权扰动的敏感性显得尤为必要 同时 因为输入 也对m a d e t l i n e 网络的最后输出起着决定左右 所以研究网络对输入扰动的敏感性也很重要 基于上述理由 本文研究m a d a l i n e 对输入扰动和权扰动的敏感性的计算和分析 1 2 研究现状 神经网络敏感性的研究在国际上已得到越来越多的重视 有不少围绕该课题的研究成果 相继在期刊文i r 酞 1 3 l 中见诸报道 研究人员从不同的角度 针对不同的神经网络模型 采 用不同的方法来进行敏感性研究 这其中包括h o p f i e l d s 网络 m a d a l i n e 网络p 5 1 n e o c o g n i t r o n 网络 6 7 和m l p 网络f 8 l 在这些研究基础上 研究人员应用敏感性研究的结 果来解决神经网络研究领域里的一些热点问题 3 就m a d a l i n e 而言 目前的研究方法主 m a d a l i r a e 敏感性研究河海大学硕士学位论文 耍有两种 它们大多都源自s t a n f o r d 大学著名教授 m a d a l i r l e 发明人w i d r o w 博士和他领导 的课题组提出的几何方法1 2 1 建立一个超球模型 年 统计方法l 定义一个随机模型 s t e v e n s o n 等人 2 1 首先系统的考察了m a d a l i n e 澍权扰动盼敏感性 文献f 2 使用超球模型 近似地用半径为 2 的超球面表示m a d a l i n e 的2 个可能输入 在假设扰动很小 且输入维 数很高的前提下 文献 2 给出了m a d a l i r t e 敏感性的计算公式 之后 a l i p p i 等人 扩展了超 球模型 并取得了一些的结果 但是超球模型存在着不精确的缺点 实际上 m a d a l i n e 的输 入空间并不构成一个超球自 而只是超球的一个内切超立方的所有顶点 在文献 2 中 s t e v e n s o n 用权扰动的模与权的模之比来近似a d a l i n e 的敏感性 显然 当权分最的符号发生 改变时 a d a l n e 的敏感性实际可能已经发生了变化 但是文献 2 1 的计算公式的结果不会有 f f n 变化 p i c h 6t 4 1 使用随机模型解决敏感性问题 但是他要求输入 权以及它们的扰动都满足独 立同分布且均值为0 由于这些过强的假设 使得文献 4 的结果只适用于对整个一类网络进 行敏感性分析 此外 o h 和l e e t 5 也对m a d a l i n e 网络的敏感性进行了研究 但是他们的结果仅适用于 单隐层的m a d a l i n e 1 3 本文的主要工作 与以上提到的工作不同 本文使用了一些新的方法来研究m a d a l i n e 的敏感性 文中相 继研究了训练前和训练后的m a d a l i n e 的敏感性 对于硼练后的m a d a l i n e 酋先提出了超立方模型来精确计算它的敏感性 由于超立方 模型能十分准确的表示m a d a l i n e 的输入空问 所以能用相对较低的复杂度 得到比较精确 的计算结果 然后 提出了基于中心极限定理的概率模型 该模型被用来快速地计算m a d a l i n e 的敏感性 经过严格的推导 我 f j 得到了比较简洁的计算公式 实验证明 当输入维数大予 2 0 的时候 计算结果就已经相当糖确了 之后 概率模型继续被用来计算训练前m a d a l i n e 的敏感性 在此基础上 对m a d a l i n e 网络的各个参数进行了敏感性分析 取得了一系列的结果 这些分析结果可以被用来指导 m a d a l i n e 网络的殴计 1 4 本文的组织 论文的安排如f 第一章 绪论 介绍了论文的研究背景和主要1 作 2 m a d a l i n e 敏感性研究州海大学硕士学位论文 第 二蕈 介绍了m a d a l i n e 模型 文中使用的符号和敏感性的定义 第三誊 分别使用用超立方模型和概率模型计算训练后m a d a l i n e 的敏感性 第四蕈 使 f 概率模型计算训练前m a d a l i n e 的敏感性 升进行了敏感性分析 第五章 对本文进行了总结 并对今后的工作进行了展望 附录 提供了论文中提到的火部分算法的实现代码 m a d a l i n e 敏感性研究河海犬学项k 学位论文 第二章m a d a l i n e 模型 符号和敏感性定义 2 1a d a l i n e 模型及符号定义 神经元a d a t i n e 是神经网络m a d a l i n e 的基本构造元素 构成网络中的一个节点 也是的 m a d a i n e 网络的最简单形式 a d a l i n e 的结构如图2 1 所示 其中 输入表示为向量 x x 而 7 与之相关联的权记为 w 2 r 0 是一闽值 y 是输出 这些参数中 输入元素和输出是二值的离散鼍 其余可以是任意的实数 在有扰动的情况下 设扰动后的输入记为x x z x j 权记为w w f w 2 w 7 它们的扰动 分别记为a x a x 2 a x 7 和a w a w l a w 2 a w 7 不必一般性 我们瑷 输入元素和输出取值为1 或 1 相庞的激活函数为如f 形式 r 1 l 厂 x 一 l l 一1 x 0 z 0 2 1 a d a l i n e 的工作原理是通过调整权值来实现在给定的训j 练数据集 z y 9 l1 q 牌 中蕴 涵的输入输出对应关系少 戈 d 从而实现某种特定的逻辑函数功能 权值固 定后 a d a l i n e 功能就等价于函数 f z x m 口 它不仅能对训练集中出现的输入数 据给出对应的输出 而且期望能对不在训练集中出现的输入数据也能给出正确的输出 输入权阈值 扫 图2 1 a d a l i n e 的结构示意图 输出 4 坚 塑 旦 曼壁堡塑垄 塑叁堂塑 二兰垡堡苎 2 2m a d a l i n e 模型及符号定义 m a d a l i n e 由每一层的a d al i n e 根据一定的规则连接而成 m a d a l i n e 的结构如图2 2 所示 每一层的a d a l i n e 只和它前一层和后 层上的各个a d a l i n e 用权相连 本文中 l 表示m a d a l i n e 的层数 第f 1 l 层上有n 70 7 1 个a d a l i n e 闰此 可以用矿一门 一一行 表 示m a d a l i n e 的结构 在这里 不仅从左至右代表包括输入层在内的m a d a l i n e 各层 还指出 了各层a d a l i n e 的个数 其中 o 是个例外 它代表输入层并且指山输入维数 代表输b 层 因为在第t l 层上的a d a l i n e 个数就是该层的输出维数 也是它 f 一层 即第l 层 的 输入维数 所以第 层的输入维数为 对第 层的第f 1 i n 个a d a l i n e 输入表示为向量 7 x l 7 与之相关 联的权记为彬7 w i w i 7 偏置为纠 输出为y f f x 彤 纠 对第f 层而言 每个a d a l i n e 都有相同的输入向量x 7 它的权的集合为w 弼7 w 输出向量为 y y k z 对照个m a d a l i n e 而言 输入向量记为x 或l o 权记为 矽 u u 形 输出记为y 文中 彬7 w l 血心 7 表示扰动向量 x r 一 2 和彬 1 蟛 以 7 分别表示相应地扰动后的输入向鼍和权向 量 5 m a d a t i n e 敏感性研究 f 海人学硕士学位论文 x l 3 7 2 输入x 第1 层 筇 l 1 层第l 层输出层y 输入分量 n la d a l i n e s扩 a d a l i n e sn a d a l i n e s 图2 2 m a d a l i n e 的结构示意图 2 3a d a l i n e 敏感性定义 如何定义台适的敏感性使其能正确反映出a d a l i n e 的输出受参数扰动影响盼清况 实 际上 敏感性要反映的是因参数的扰动而引起的输出偏差 敏感性研究就是要找出输出偏 差与参数扰动之间的函数依赖关系 井据此关系来分析a d a l i n e 的一些行为特性和构造一个 可评测a d a l i n e 输出偏差的尺度 影响a d a l i n e 输出的主要参数有权和输入 权决定了输入 和输出之间的对应关系 因而它的扰动势必耍对输入和输出关系产生影响 进而影响输出 权闽定之后 输入决定了输出 输入扰动也势必要对输出产生影响 由丁对输入扰动的处 理可转化为对权扰动的处理 为了简化起见且又不失一般性 f 面仅就权有扰动的情况来 考虑 对于a d a l i n e 最自然和直接地表示因输入扰动和权扰动而导致输出产生偏差的方法 可由下式给出 a y g x 硝 w a w 4 埘 z a r e 一 x w 2 2 显然 式 2 2 中输出偏差是输入 权 输入扰动和权扰动的函数 给定这些自变量的 值就能轻易地计算出输出偏差的值 但是在实际应用中 这样直接算得的结果有时并没有 多大的实用价值 例如不能仅根据对一个输入值算得的结果来衡量给定a d a l i n e 的有关性 能 敏感性应该在能反映输出偏差与输入及权扰动之间依赖关系的同时也能从整体上反映 a d a l i n e 的性能 另外 由于输出是个二值的开关量 没有必要细究其偏差的具体詹值 同 6 m a d a l i n e 敏感性研究河海大学颇l 擘位论文 时 闽值可以作为常量 基于这些考虑 我们将输入参数和权参数作为统计变量来处理 从而给出下面的敏感性定义 定义1 对于输入 一1 妒 权值w r 给定输入扰动值 z r 权扰动值a w r 和阈值日 r a d a l i n e 的敏感性定义为 对于所有可能的输入和权 4 y 的绝对值的数学期 望的上 记为 2 s 硝 委e g x i 去e 1 厂 x 醚 4 矽十 一厂 彳4 形叫 2 3 显然s 是关于 x 和a w 的函数 独立与特定的x 和矿 在定义中 绝对值避免了输 入正偏差和负偏差的相互抵消 系数三保证了j o l l 使得a d a l i n e 冉勺敏感性实质土表示 由输入扰动和权扰动引起输入发生错误的概率 式 2 3 是一个辫适的表达式 在不同的麻刚 环境f 有不同的变化 例如在考察训练后的m a d a l i n e 网络中 权已经给定 这时 2 3 r 将输入参数爿作为统计变量 当然 如果有必要 a a 和a w 也可以作为统计变量来考虑 2 4m a d a l i n e 敏感性的定义 我们的最终目际是求m a d a l i n e 对于输入扰动和权扰动的敏感性 从整体上看 m a d a l i n c 的敏感性反映的是有输入层的输入扰动和网络内权扰动引起的输出层的输出改变 由于每一 层的输出都是后一层的输入 因此发生在第一层的扰动会在网络内部传播 一直传到输出层 nj k 根据m a d a l i n e 的这些网络结构特点 我们作如f 定义 定义2 m a d a l i n e 中 第 i f 蔓三 层的敏感性是一个以该层的所有a d a t i n e 对输入扰动 和权扰动敏感性分萱的向量 记为 s s j j 7 2 4 定义3 m a d a l i n e 的敏感性就是它输出层的敏感性 记为 s s s 韪l 2 5 2 s 小结 本章分别介绍了m a d a l i n e 及其基本构造元素a d a l i n e 的模型 并给山了它们的敏感性定 义 卜面的两章将分别将根据这些定义对m a d a l i n e 的敏感性进行研究 7 m a d a i i n e 敏感性研究t h 海大学硕上学位论文 第三章对训练后m a d a l i n e 敏感性的计算 m a d a l i n e 完成训练后 权值都已经给定 此时的敏感性完全可以通过按照m a d a l i r t ec 作原理的仿真计算完成 但是复杂度很高 在理论上有两种不同的技术路线来达到来解决这 个问题 一种是在确保精确性的基础上 尽可能降低复杂度 另一种则咀牺牲精确性为代价 尽可能降低复杂度 本章分姒使j j 起立方模型和概率模型从以上两条妓术路线研究训缘焉 m a d a l i n e 列丁输入平l j 权扰动的敏感性 3 1 基于超立方模型的m a d a l i n e 敏感性计算 3 1 1a d a i i n e 的敏感性计算 由a d a l i n e 的定义可知 对r 一个t l 维a d a l l n e 而言 它共有2 不同的输入向量 冈为 权值都已给定 所以与此相对应 它共有2 可能的输出 i n 此 2 3 可以写为 s 惫 t 其中 是所有输入的个数 m 是所有输出改变 输出偏差绝对值为2 的个数 现实中输入参数的扰动是一个不容忽视的因素 理论上 输入扰动可以转换成权扰动来 考虑 因为输入元素是二值量 对任一元素z 1 门 扰动结果只可能有 膏 一x a 叉因为有 巧哆 月 h 心 一叶 j 引 引 l 3 2 其中w w w j 一2 w 从而 w j 一2 w j 这就证明了输入元素的扰动可以归结为权 扰动来考虑 对于输入和权都有扰动的情况 类似地也可化归为仅对权扰动的考虑 出于节 省篇幅的考虑 本节下面不再论及输入扰动的情况 同时为了使表达式更简洁 那些记录 a d a l i n e 在层中的位置以及a d a l i n e 所在层在携个m a d a l i n e 中位置的下标在本节都被省略了 从几何的角度来看 一个n 维a d a l i n e 的输入空间构成一个n 维超立方q 所有顶点的集 合 而超平面p 一 p o 将超立方的顶点划分成二部分 分别对应a d a l i n e 的二 j l 个输出值 当权有扰动后 超平面将随之改变为p w x 口 o 显然 尸 对空间 j i 8 m a d a i n c 敏感性 c i f 究河海太学硕士学位论文 的划分与p 会有所不同 而那些在p 和p 的空间划分中对虑不同输出值的超立方顶点就是 受到权扰动影响的输入点 而这些点将落在由p 和p7 所同成的特定空间区域中 这样一来 n 的计算就归结为对特定空闯区域中所包含的超立方顶点数目的计算 一般而言 超平 面j d 年uj d 将n 维空间划分成四个部分 如图3i 所示 图中p 和p 将2 维空间划分成四个 部分 分别标记为l i i l i 和i v 选定任一坐标轴盼正方向为上方 负方向为下方 例如 图3 1 中的垂直轴矗 根据对超平面p 和p 中相应坐标变量前系数的符号的异同就能确定 要找的项点的区域 还是以图3 1 为例 若变量x 2 的系数w 2 和w 同号 l 和i i i 区域中包 禽的顶点数就是n 即图中实心顶点数 若w 2 秆iw 异号 l i 和i v 区域中包含的顶点数 就是虬 即图中空心顶点数 它也等于埔 减盖l 和1 1 1 区域中包含的顶点数 在假设 输入是均匀分布的情况下rn 2 敏感性的计算就门结为对i 和i i i 区域所包含的超立 方顶点数目的计算 z p w 0 0 j i i n j k i i ii k l 7 i v 7 v 1 u p7 渺 x 0 o 图3 1 二个超甲面划分超立方顶点的2 维示意图 借助艇析几何方法 可以有如下的方法来计算i 和i j l 区域中包含的超立方顶点数舀 基本思路是超立方有2 1 条平行于任一坐标轴的边 每条边与二顶点关联 它们在相应坐标 轴上的坐标值分别是1 和一1 另外 在w 0 和w 0 1 h 的条件r 每条边的 延长线与超平面p 和户 有且仅有 个交点 将求得的 二交点在相应坐标轴上的坐标值与j 9 m a d a l i n e 敏感降州究 州海人学硕士学位论史 和一1 进行比较 就可得出与该超立方边相关联的二顶点是否被包含在i 和1 1 l 区域中 具体 地以x 坐标轴为例 超立方与x 轴平行的边有2 条 每条边的延艮线方群可以通过对 月一l 卜坐标 一 也 x h 赋以x j l 或x 一1 1 一1 联立得生 j 即每条边的延 长线由1 1 1 个l 或一1 坐标值曜 确定 这样该直线与超平面p 和p 的交点在x 轴的坐标 值分剐可由f 面二式算出 w 其 扣 设 一 一霎詈q o w 驴n i p 3 4 一旦 j 一 一 0 1 7 1 根据j w w h 和 的值可以确定与z 轴平行的每条边的二个顶点是否在1 和i l l 区域中 然而 若要对2 条边都计算一次 计算复杂性的阶不会减少 将仍是o n 2 为了要降低敏感性的计算复杂性 可将着眼于每条边的处理思想首先拓展到同时考虑所 有2 l 条平行边 这样可有以f 几种特殊的情况 i 二个超平匠都在起立方的下方 i 和i l i 区域中不包含顶点 如图3 2 1 所示 2 二个超平面都在超立方的上方 l 和i i i 区域中不包含顶点 如图3 2 2 所示 3 二个超平面都从超立方的中间通过 i 和i i i 区域中不包含顶点 如图3 2 3 所示 4 二个超平面把超立方夹在中间 i 和川区域中包含了超立方所有顶点 如图3 2 4 所 示 囊事奉 3 2 1 3 2 23 2 3 3 2 4 图3 2 区域i 和i i i 不包含超立方中的顶点或包会超立方中的所有顶点的2 维示意 o 挈 一 r h h 哆一 p 厶丛 蜕 一 j j f r m a d a l i n e 敏感性研究 u 海人学硕一l 学位论文 为了剀别这四种特殊情况 设i 1 为超立方的与x 轴平行的边延长线与超平面p 的交点在 x 轴的最大坐标值 耍 为最小坐标值 由 3 3 式可得 量 m a x l o l t x m l n t j 2 1 o j 2 i n i i t x k 川 r x 一 jof 由于式 35 和式 3 6 中第一项 和式 的对称性 最人值和最小值之间有换算关系 量 一圣 2 r 3 5 36 37 这个关系适刷丁j 其它以点 0 0 00 为对称的交点在x 轴的坐标值 因而不需分别重复 计算和式 对超平面尸 发相应的最人值和最小值为圣 和王 同样可有与 3 5 3 6 和 3 7 相应的计算公式 满足上述四种特殊情况的条什可写成 1 正 量 2 一1 n 曼 1 i 1 3 毛 圣 一1 曼 1 4 瓦2 带 1 v i 1 除了以上四种情况外 为了达到减少计算复杂陛的目的 要设法处理尽可能少的边 实际上 有些边是不需要处理的 如那些与二个超平面的交点在 轴的坐标值落在 一1 1 之间的边 如图3 2 3 中边的情形 就不用考虑 问题是如何有效地剔除这些边 这个问题可换个角 度来看 它等价于找出那些与二个超平面的交点在x 轴的坐标值落在卜1 1 之外的边 以 超平面p 为例 就是要找出交点坐标满足条件毫 o 1 和 产i n i i o x l 即可 男 对称交点儿 j i 乎不需额外的计算开销就可兼顾到 然而仅仅靠毛无法判断对应的顶点是否在p a r t l 和f i i 中 必须再看相麻的毫的值 只 m a d a l i n e 敏感性研究 河海大学倾上学位论文 有当毛 1 和 1 下面 我们通过树的深度优先搜索 来孵决这个问题 该算法的通过将2 1 个节点根据 量 的偏序关系米达到目标 对丁给定的月 唯一地存在这样 棵禽育2 个h 点的树 这棵树每个 点的内容可以 用6 i b 2 b h 来表示 其中b 为1 或0 1 兰月一1 若 3 3 中 4 石 lr j f 则相应的 q 1 n i a t i n 3 3 中r 4 一1 0 则相应的6 0 图3 3 显示了n 2 5 时 树的结构a 这种树具有以下特征 树根节点在第一层 记为b i b 以一 1 1 1 代表露 多若用h 1 s 矗 哟节点所在表示层数 1 i n 1 表示该节点在兄弟节点中 的序号 则对任一绘定的节点 a 它的儿子都可以用以下方式生成 即将该节点的一个 b b j sj n 一1 从l 改为o 其中i 1 n 1 是扶树根到给定节点的路径中第f 层 所经过节点的序号 任一给定节点 矗 的所有儿子 按照它们产生的次序t 即从 到疗一1 进行排 1 1 序 第一产生的节点排在最左边 序号为1 它的弟弟依次排在它的右侧 序号依次增加 所以 当所有的 1 s 一2 满足i 01 1 那么它的子孙节点和它布侧的兄弟节点也可以旨定都不满足 毛 1 这样人大提高了搜索的效率 虽然树的结构由输入维数h 米决定 但是搜索的路径 是由 1 j 口一1 的值来决定的 实质就是由w 来狄定 从算法实现的角度看 唯一要做的额外r 作就是将矽的各个分量按绝对值人小进行排 序 以便满足fr j 1 则置6 卜1 一0 良 1 且 量 t i 2 1 l i 2 l j i 2 f 气 若以上两种情况都不成立 则停止搜索 练上所述 可有下面计算敏感性的算法 其中只给出对超平面p 的处理并假设 l 王 i l 叠 i 对于f 量 p lt 的情况和对超平面尸 的处理同理可得 a d a l i n e s a w 计算 a d a l i n e 的敏感性 1 初始化 诸如 2 等 2 按绝对值大小递增排序 调整矿 使 和矽分鼍对应关系得以保持 m a d a l i n e 敏感性研究 河海大学硕r l 学位论文 3 计算r 1 1 i 尺 可1 1 i 茗 矗a m i a n di 4 根据判别条件耳 正 瓦和 分枝如r 情况1 墨v 疋v 正为真 堰 枷 退出 1 和j j i 中不包含q 的项点 情况2 l 为真 m 卜z 退出 1 和川中包含了q 所有顶点 情况3 五v 五v 五v 瓦为假 m 计算1 年 i i l 中包含q 顶点数 j 统计p 的交点 设 曼 圈x n t i 4 2 用深度优先搜索满足i 1 的节点 对每个这样的节点循环做 计算与矗相应的式 笔i 1 n 七 n 七1 若 一毛 2 1 虬 m 1 4 2 按绝对值大小递增排序r 一 并同步调整r 一饥 4 3 类似于4 1 统计p 的交点 5 苇w w 0 ne r r 七一n 一n j r l 6 卅甏是敏摩雌 从上面的算法 我们可以清楚地看出 算法的复杂度和给定的权值及它们的扰动密切相 关 即和陌个超平面的相对位置相关 如果情况1 或情况2 满足 那么算法的复杂度其实只 有排序所需的0 0 l 0 9 2 n 否则情况3 满足 那么算法复杂度介于o n l 0 9 2 和0 2 之 间 具体取决于深度优先搜索的情况 最坏的情况就是搜索全部2 1 个节点 但是这种情况 已经被包括在前面的几种特殊情况中了 并且当臼 0 时 这种情况很少出现 从以上分析 可以看出 这种搜索的平均复杂度非常低 事实上 a d a i n e 的敏感性完全可以通过按照 a d a l i n e 工作原理的仿真计算完成 但是复杂度高达o n 2 因此即使在最坏情况下 我 们的算法的复杂度也要比仿真算法低 最后 还有一个边界条件值得考虑 那就是超平面有可能通过超立方的顶点 此时的交 1 4 m a d a l i n e 敏感性研究河海大学顾士学位论文 点恰好就是顶点 从而有王 1 或曼 1 对这个特昧的情形 可报据式 21 中x o 的 条件调整上述三种情况的判别条件 以i 1 为例 调整的目标是要使位r 超平面上的顶 点等价于超平面上方 当 0 或f 方 当 0 毛 1 和 i 1 和 毫 一1 保持不变 2 若 1 和 毫 一1 分别改为 女 1 利 纛 1 而 i 1 和 只 一1 保持不变 对丁 1 的场合可得同样的结论 这样 根据 和嵋符号的正负就可轻易地改弓上面 算法中有关的判别条件 如z 至瓦等 使它们也适用于这个特殊的情形 为了验证算法的正确性我们做了大量实验 这里给出输入维数 为5 1 0 1 5 2 0 2 5 和3 0 的六种不同结构的a d a l i n e 的实验结果数据 对于每种结构的a d a l i n e 权 为一组不 同的实数值 对各种不同结构的a d a l i n e 权值从全为正数 剑既有正数义有负数 到最后 一个结构全为负数 为了与s t e v e n s o n 的结果相比较 阑值全部取零 权扰动的每个分量a w 都取相同的值 实验中 对给定结构 权值和权扰动值的每个a d a l i n e 一方面用计算机根 据a d a l i n e s a w 参见附录a i 来计算它的敏感性s 另一方面剧计算机来模拟 a d a l i n e 的 r 作过程 计算它的出错概率p 相荚的参数和计算结果列于袁3 1 中 囡为s 和 p 二者的值完全相同 实验结果验证了理论结果和仿真结果是 致的 我们对表3 1 中给出 的六个a d a t i n e 用文献 2 中的方法也进行了计算 计算的结果s 也在分别列出 通过比较可 以看出 2 1 的方法没有本文的精确 m a d a l i u e 敏感性研究河海人学硕士学位论文 h 缈 w n s s f s i m u l a t i o n s 1 o u r s s t e v e n s o n s 1 5 11 3 8 9 22 0 2 8 31 9 8 7 46 0 3 8 0l0 0 0 0 0 0 00 0 0 0 0 0 000 0 8 8 0 3 52 7 2 2 f 11 3 8 9 2 2 0 2 8 3 9 8 7 46 0 3 8 1 05 2 7 2 2 61 9 8 8 70 1 5 3 一87 4 6 8 020 0 0 5 8 5 9o 0 0 5 8 5 90 0 0 9 6 1 7 94 4 5 i 1 09 3 t 8 1 1 3 8 9 一22 0 2 8 31 9 8 7 一46 0 3 8 5 2 7 2 2 6 1 9 8 8 70 1 5 3 87 4 6 8 1 594 4 5 1 1 09 3 1 8 1 1 4 6 6 0 1 2 4 1 8 6 0 3 0 0 9 6 4 40 0 0 9 6 4 400 1 0 0 3 7 1 38 4 6 2 1 45 2 5 2 15 2 0 2 6 1 l3 8 9 一2 2 0 2 8 31 9 8 7 一46 0 3 8 52 7 2 2 61 9 8 8 7 0 1 5 3 一87 4 6 8 2 0 94 4 5 i 1 09 3 1 8 i l4 6 6 0 1 24 i8 6 04 00 0 7 5 2 000 0 7 5 2 000 1 0 2 5 8 1 3 8 4 6 2 一1 45 2 5 2 1 52 0 2 6 1 6 6 7 2 i r 1 78 3 8 1 一j g0 1 9 6 1 9 6 8 1 3 2 0 3 7 9 5 一i 1 3 8 9 2 2 0 2 8 31 9 8 7 一4 6 0 3 8 52 7 2 2 61 9 8 8 一7 0 1 5 3 8 7 4 6 8 94 4 5 1 一1 09 3 1 8 一1 14 6 6 0 一1 2 4 1 8 6 1 3 6 2 1 4 5 2 5 2 1 52 0 2 6 1 6 6 7 2 1 2 5一1 7 8 3 8 1 1 80 1 9 6 1 9 6 8 1 3 2 0 3 7 9 5 0500 0 6 8 2 40 0 0 6 8 2 40 d 1 0 3 9 2 2 1 8 3 1 8 2 2 5 0 2 8 2 3 7 0 9 5 2 4 4 2 8 9 2 5 3 0 4 6 f 一1 1 3 8 9 22 0 2 8 3 1 9 8 7 46 0 3 8 52 7 2 2 61 9 8 8 7 0 5 3 b7 4 6 8 94 4 5 1 1 0 9 3 1 8 i i4 6 6 0 1 24 1 8 6 1 38 4 6 2 1 45 2 5 2 一1 5 2 0 2 6 1 6 6 7 2 1 3 0 1 7 8 3 8 i 1 8 0 1 9 6 1 9 6 8 1 3 一2 0 3 7 9 5 0 6 0 0 0 4 9 3 50 0 0 4 9 3 50 0 1 0 5 1 2 一2 l8 3 1 8 一2 25 0 2 8 2 3 7 0 9 5 2 44 2 8 9 2 5 3 0 4 6 2 6 1 8 9 7 2 71 9 3 4 一2 86 8 2 2 2 9 3 0 2 8 一3 05 4 1 7 j 表3 1 与a d a l i n e 敏感性计算有关的参数和实验结果 3 1 2m a d a l i n e 敏感性计算 m a d a l i n e 敏感性的计算是我们的主要目标 显然 定义3 是一个递归性的定义 要求 得s 必须先求得s 1 而要求得s 必须先求得s 2 依此类推 一商可以追溯到 s o s s 2 0 s 矿o 7 即输入发生扰动的概率 因此 计算m a d a g n e 的敏感性必须要按照 一定的偏序关系 逐层逐个的计算a d a l i n e 的敏感性 对m a d a l i n e 的每一层而言 它的输出就是下一层的输入 闵此 每一瑶上a d a l i n e 的敏 m a d a l i n e 敏感性研究 河海人学硕上学位论文 感性就是卜一层输入发生错误的概率 这意味着第1 层上的第i 1si 个a d a l i n e 的敏 感性就是第f 1 层的输八的第f 个分量发生扰动的概率 对每一层而言 它的输入向量的某 些分量发生扰动有很多种组合 对于第 层 每一种这样的组合发生的概率都是一个h 1 个 不同项的乘积 如果输入向量的第i 个分量发生扰动 那么乘积中的相庶的因式就为j j 否则该分鼍没有扰动 则乘积中相应的冈式为 1 一s 州爿来表示第 层有k k n 1 k 个输入分量发生扰动的概率 因此有 爿 1 一s f 1 一s 1 一 一1 1 只2 s 1 一s 1 1 0 4 1 一s s 1 1 一屯 1 1 一s 1 一s i 1 1 一s 2 i 1 i s i i u j 乓 s s i is 1 1 1 5 女l 十1 1 1 一s i 1 一s f 1 1 一s 2 1 一j i 1 t s l i 1 一j 爿 3 8 每个尼都是不同组台的概率的和 假醴第f 层的输入有自 自e n 0 h 1 1 2 i i 个输入分餐 发生扰动 则共有c 一 种可能的组台 我们将其中第埘 脚 n 1 m c 0 种组合记为 丑0 它发生的概率记为尸 尽乙 p b 是h 1 个含s 因式相乘魄积 如果输入向量的 第i 个分量发生扰动 那么乘积中的因式就为s j 否则该分量没有扰动 则乘积中相应的 一 因式为 1 一s 因此 j d 彰 是彰的嘭 个加数中的一个 井有 以b 乙 群成立 由此可得 3 9 h om l 式中j 是表示当第z 层的输入向量有 个分量发生扰动且发生扰动分量为第m 种组 合时 该层第f 个a d a l i n e 的敏感性 显然 s k 是将权扰动和给定的输入扰动合成新的权 7 墓 一s h醮 厶一 5 m a d a l i n e 敏感性研究河海大学硕士学位论文 扰动后得到的相应的a d a l i n e 的敏感性 感性 很明显 剧式 3 9 计算s 复杂度相当高 因此下面使用概率模型计算m a d a l i n e 的敏 3 2 基于概率模型的m a d a l i n e 敏感性计算 本节通过建立概率模型 给出了m a d a l i n e 敏感性的另一种计算方法 其中为了公式推 导方便 本1 似设阎值为0 3 2 1a d a l i n e 敏感性的计算 和3 ii 节 样 通过式 3 2 输入扰动可以被转化为权扰动 因此输入扰动在本竹也不 再被讨论 同时出于和3 1 i 节一样的理由 那些记录a d a l i n e 在层中的位置以及a d a l i n e 所 在层在整个m a d a l i