（计算数学专业论文）基于人工免疫网络的分类算法研究.pdf

j-1ll 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均己在论文中作了明 确的说明并表示谢意。 签名：一一雒一日期：和如年占月a d 日 论文使用授权 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 繇牟新躲华丝 日期：加年5 - 月助日 v 摘要 摘要 随着信息化技术的发展，计算智能方法在数据挖掘中的应用已成为人们研究 的重点。人工免疫系统通过模拟自然免疫机制，具有学习、记忆、自组织、分布 式等特点，如果将人工免疫思想尤其是人工免疫网络恰当地应用到分类的学习和 识别中，能够增强分类算法的学习记忆能力，提高其识别准确度。本文在深入分 析免疫机理工作方式的基础上，提出了两种基于人工免疫网络的分类算法。 论文首先对免疫系统和数据挖掘中的分类进行了简要的介绍，对自然免疫系 统理论、人工免疫系统的仿生机理、机器学习及现有分类算法进行了较为详细的 说明。然后，论文提出了一种带有阴性选择的人工免疫网络分类算法和一种基于 自适应半径的人工免疫网络分类算法，并分别进行了实验分析。 带有阴性选择的人工免疫网络分类算法通过将自然免疫系统中b 细胞在胸腺 中的成熟机制引入免疫网络，使不同类别之间的抗体协同进化，保证了最终的网 络抗体都能代表各类的典型样本，减少了记忆细胞的数目，并得到了较好的分类 效果。 基于自适应半径的人工免疫网络分类算法将多粒度引入算法，通过在学习过 程中自适应调整抗体抑制半径，保留了训练数据的密度信息，同时引入半径衰减 及反馈机制，对未能学习成功的数据进行重新学习，得到了更具代表性的记忆细 胞。 关键词：人工免疫系统，分类，阴性选择，自适应半径 ， 多 一一 a b s t r a c t a b st r a c t a l o n g w i t ht h e d e v e l o p m e n t o fi n f o r m a t i o n t e c h n o l o g y , t h em e t h o do f c o m p u t a t i o n a li n t e l l i g e n c ei nt h ea p p l i c a t i o no fd a t am i n i n gh a sb e c o m eaf o c u so ft h e s t u d y a r t i f i c i a l i m m u n e s y s t e m h a ss u c hf e a t u r e sa s l e a r n i n g ，m e m o r y , s e l f - o r g a n i z a t i o n ，d i s t r i b u t e de t c ，b ys i m u l a t i n gm e c h a n i s m so ft h en a t u r a li m m u n e s y s t e m i ft h ea r t i f i c i a li m m u n ea l g o r i t h m ，e s p e c i a l l yt h ea r t i f i c i a li m m u n en e t w o r k a l g o r i t h mi sp r o p e r l ya p p l i e dt ot h ec l a s s i f i c a t i o nl e a r n i n ga n dr e c o g n i t i o na l g o r i t h m s ， t h el e a r n i n ga n dm e m o r yc a p a c i t yo fc l a s s i f i c a t i o n a l g o r i t h mc a nb ee n h a n c e dt o i m p r o v et h e i rr e c o g n i t i o na c c u r a c y b a s e do nt h ei n d e p t ha n a l y s i so ft h ei m m u n e m e c h a n i s m ，t w ok i n d so fc l a s s i f i c a t i o na l g o r i t h mb a s e do na r t i f i c i a li m m u n en e t w o r k a r ep r o p o s e di nt h i sp a p e r f i r s to fa l l ，t h ep a p e ri n t r o d u c e st h ei m m u n es y s t e ma n dc l a s s i f i c a t i o ni nt h ed a t a m i n i n gb r i e f l y , i n c l u d i n gt h et h e o r yo fn a t u r a li m m u n es y s t e m ，a r t i f i c i a li m m u n es y s t e m m e c h a n i s m ，m a c h i n el e a r n i n ga n dt h ee x i s t i n gc l a s s i f i c a t i o na l g o r i t h mi nm o r ed e t a i l s t h e n ，t h ep a p e rp r e s e n t saa r t i f i c i a li m m u n ec l a s s i f i c a t i o na l g o r i t h mw i t hn e g a t i v e s e l e c t i o nm e c h a n i s ma n daa r t i f i c i a li m m u n ec l a s s i f i c a t i o na l g o r i t h mb a s e do na d a p t i v e r a d i u sr e s p e c t i v e l y , e x p e r i m e n t a la n a l y s i sa r ec o n d u c t e d r e s p e c t i v e l y , t o o t h ec l a s s i f i c a t i o na l g o r i t h mw i t hn e g a t i v es e l e c t i o nm e c h a n i s mb a s e do na r t i f i c i a l i m m u n en e t w o r ki n t r o d u c e st h em a t u r em e c h a n i s mo fbc e l l si nt h et h y m u st o t h e a r t i f i c i a li m m u n en e t w o r k ，s ot h a tt h ec o e v o l u t i o no ft h ea n t i b o d i e so fd i f f e r e n tt y p e s m a k e st h ef i n a ln e t w o r ko fa n t i b o d i e sc a n r e p r e s e n tt h et y p i c a ls a m p l e s ，r e d u c i n gt h e n u m b e ro fm e m o r yc e l l sa n do b t a i n i n gb e t t e rc l a s s i f i c a t i o nr e s u l t t h ec l a s s i f i c a t i o n a l g o r i t h mb a s e do na d a p t i v er a d i u sa n da r t i f i c i a li m m u n e n e t w o r ki n t r o d u c e st h em u l t i g r a n u l a r i t yi n t o a l g o r i t h m ，t h ea l g o r i t h mr e t a i n st h e d e n s i t yi n f o r m a t i o no ft r a i n i n gd a t at h r o u g ha d j u s t i n gt h ei n h i b i t i n gr a d i u so fa n t i b o d i e s a d a p t i v e l ya n di n t r o d u c e sam e c h a n i s mo fr a d i u sa t t e n u a t i o na n df e e d b a c k ，t h ed a t a s f a i l e dt ob el e a r n e dw i l lb er e l e a r n e di nas m a l l e rg r a n u l a r i t y , i no r d e rt oo b t a i nt h em o r e r e p r e s e n t a t i v em e m o r yc e l l s i i n e g a t i v es e l e c t i o n ，a d a p t i v e 一 l 、 目录 第一章绪论 目录 1 1 研究意义和背景1 1 2 本文研究内容和创新点4 1 3 本文的组织结构4 第二章免疫系统与分类 5 2 1 自然免疫系统5 2 j j 兔发分类6 2 j 2 兔疫莠纺力膨6 2 j 3 兔癌赛统銎趁一8 2 2 人工免疫系统。9 2 2 1 人i 免疫系统仿生机理9 2 2 2 稚迸撑曹笋珐1 1 2 2 3 召i 皇z 鳘务e 鸯艺 j 3 2 3 分类1 4 2 3 j 衍岔一j 彳 2 7 2 祝器学刀1 4 2 3 3 自动推理1 8 2 3 4 传统分类方法及其优缺点1 8 第三章人工免疫网络模型及其分类算法 3 1 人工免疫网络模型2 2 3 j ja i n e f j ： 3 1 ，2 资源受限人i 免疫网络系统r l a i s 2 4 3 1 3 多值免疫网络2 5 3 2 基于人工免疫网络的分类算法研究现状2 7 3 2 j 彳凇2 8 3 2 2 人i 免疫溺络记忆分类器a i n m c 2 9 i v 目录 第四章一种带有阴性选择的人工免疫网络分类算法3 1 4 1 算法设计思路3l 4 2 算法流程图3 2 4 3 算法具体描述3 3 4 4 仿真实验与分析3 5 4 4 ，实验发冒3 6 4 4 2 妥露名：晃反分笏3 6 第五章一种基于自适应半径的人工免疫网络分类算法 5 1 算法设计思路3 8 5 2r o u g hs h - r 下的多粒度理解3 9 5 3 算法详细描述4 0 5 3 j 笋刀4 0 5 3 2z f ? 芳矿彳彳 5 4 实验设计与分析4 4 5 4 j 筷我缨? 最别滴私 5 4 2 ：亳荬微诺删4 6 第六章结论 致谢 参考文献。 附录 攻硕期间取得的研究成果 v 4 9 5 0 5 5 。6 5 第一章绪论 1 1 研究意义和背景 第一章绪论帚一早三百。了匕 2 1 世纪是信息时代，信息技术将成为主导全球经济发展格局、引导社会发展 进程的核心技术。信息技术的载体是计算机，理论基础则是数学，其当今的发展 以网络化、数字化、智能化为特征，其中智能化是人类最为感兴趣，也是其苦苦 探索的一个领域。所谓智能化是指通过仿生等途径，让信息处理系统像人那样具 有综合、优化、辨识、学习、联想等能力。我们渴望机器能够处理各种各样，无 论是逻辑的还是意识的信息，能够像人那样与我们交流。然而，目前的信息技术 还远未达到上述所期望的那样高度智能化水平，机器人三大定律在其被提出几十 年后的今天仍然没有得到应有的应用。 传统的a i 错误地预设了真实世界的复杂性，认为人工智能存在最基本的简洁 的普适理论【1 】，但是现实世界因果关系密布，难以用简单的模型来描述，大部分情 况下只能借助于协调感知系统和相关行为的变化来认识它。许多学者认为，人工 智能“应该从生物学而不是物理学受到启示”。生物是智能的载体，因此生物学必 然是人工智能研究灵感的重要来源。从信息处理的视角来看，生物体是一部优秀 的信息处理机，其解决问题的能力往往让我们叹服，例如，我们可以轻易的识别 我们所熟悉的人的声音，但通过计算机识别的准确率却只有4 0 左右。近十几年 来，人工智能的成就与生物有着密切的联系，通过模仿其智能行为及智能机理， 许多解决复杂问题的新方法不断涌现，人工免疫系统正是这些突出成果中的一个 典型代表。 人工免疫系统由生物免疫系统启发而来的智能策略所组成，通过模仿学习自 然防御机理的学习技术提供噪声忍耐、无教师学习、自组织、记忆等进化学习机 理，结合了分类器、神经网络和机器推理等系统的一些优点，为信息处理和问题 求解提供了新的方法和途径i 2 】，在网络安全、模式识别、组合优化等众多研究领域 取得了令人满意的结果【3 。5 】。人工免疫系统与计算智能、自然计算、生物计算的关 系如图1 1 所示： 电子科技大学硕士学位论文 图1 - 1 人工免疫系统与计算智能、自然计算、生物计算的关系 1 9 7 8 年，诺贝尔奖获得者，免疫学家k j e r n e 提出了独特型免疫网络模型【6 】， 引起了广泛关注。f a r m e r 等基于免疫网络的相关学说给出了免疫系统的网络动态 模型，并探讨了免疫系统与其它人工智能方法的区别与联系，开始了人工免疫系 统的研究 _ 7 1 。随后d ec a s t o ，h u n t ，c o o k 等人均提出了建设性的模型和算法，极大地 促进了人工免疫系统的发展。 在免疫学中有两个学说占主导地位：b u m e t 的克隆选择学和j e m e 的免疫网络 学说。相应地，人工免疫系统的研究也主要集中于两个方面：克隆选择计算和人 工免疫网络。l n d ec a s t r o 等通过从不同角度模拟生物学克隆选择机制，提出了 不同的克隆选择算法【8 ，9 】。与克隆选择算法相比，人工免疫网络的研究内容更加丰 富，在特征抽取、快速进化、学习和记忆等应用领域具有鲜明的特性，已经成为 继神经网络，模糊逻辑和进化计算后人工智能的又一研究热点。目前主要的两种 人工免疫模型是t i m m i s 的资源受限型人工免疫系统( r e s o u r c el i m i t e da r t i f i c i a l i m m u n es y s t e m ，r l a i s ) t lo 和d ec a s t r o 的a i n e t 11 1 。 虽然人工免疫系统已经被广大研究者所重视，然而与人工神经网络相比，不 论是对免疫机理认识、数学基础研究，还是算法构造、工程应用等方面，人工免 疫系统的相应研究都处在一个比较低的水平。 2 第一章绪论 另一方面，随着信息技术尤其是网络化的发展，社会各部门的信息化程度越 来越高，信息的增长速度达到了空前的水平我们称之为“信息爆炸”。近3 0 年来，人类生产的信息比过去5 0 0 0 年信息生产的总和还要多。然而“数据丰富， 知识贫乏”，决策者很难从海量的数据中提取出有价值的信息，甚至收集有用信息 的成本超过了信息本身的价值，人们产生了对数据分析工具的强烈需求。数据挖 掘正是在这样的背景下产生并迅速发展起来的、开发信息资源的一套科学方法。 在数据挖掘中，分类是一种重要的数据分析技术。它通过学习已有数据，可 以提取数据中的隐含规律，对己知或未知的数据进行类别预测。 学习方法与能力是区分一个分类算法最主要的特征。对于许多问题，我们的 前人和先行者已经知道如何求解，如怎样区分直线与曲线、球体与方体等，因此 让计算机求解这些问题，只需按数学公式设计算法，计算机按部就班就可以了， 不需要学习。还有一些事情人们可以轻而易举的做好，但是却无法解释清楚我们 是如何做好的，例如桌子千差万别，我们一眼就可以识别，看到熟人写的字我们 能够知道是谁写的，听到门外熟人的声音我们就知道是谁来了。我们知道桌子不 是木材和各种材料的随机堆砌，手写数字也不是像素的随机分布，熟人的声音也 不是各种声波的随机混合，现实世界总是有规律的，出处相同的数据集往往有着 其内部的规律，只不过有的时候这些规律没有明显到可以用一个简单的公式归纳 而已。这时候分类算法的学习能力便显得至关重要，通过学习可以从已知实例中 自动发现规律，建立对未知实例的预测模型；同时根据经验的不断提高，可以不 断的改进预测性能。 免疫系统通过区分“自己 与“非己 物质来限制异物对机体的侵害，其特 异性免疫可以识别从未见过的抗原性物质，并对再次入侵的相似抗原产生更强、 更迅速的免疫应答，所以免疫系统是一个具有学习、联想记忆、自组织、噪声忍 耐等特性的天然分类系统，将免疫系统的这些特质引入分类算法中无疑是诱人的。 a i r s 是基于r l a i s 的一个分类系统，也是目前最为成功的基于人工免疫网络 的分类系统，作为一个监督学习系统，它保留了r l a i s 的a r b ( 人工识别球) 概 念，通过资源调配机制来控制网络的进化方向，具有较高的分类准确率，然而其 存在的一个问题是算法不能对每个抗原都一定产生记忆细胞，而且产生的记忆细 胞中存在冗余，增加了计算负担。因此，认真深入地分析免疫机理，提出更具优 势的免疫网络分类算法是当前人工免疫系统领域值得研究的重要方向之一。 电子科技大学硕士学位论文 1 2 本文研究内容和创新点 本文基于免疫系统机理及监督式学习算法的特点，提出了两种免疫网络分类 算法即带有阴性选择的人工免疫网络分类算法和基于自适应半径的人工免疫网络 分类算法，并分别进行了实验分析。本文的创新如下： 1 、通过将阴性选择思想引入人工免疫网络的亲和度成熟过程，使抗体更倾向 于反映不同类别的典型数据，有效地促进了算法对抗原即原始数据的学习过程， 减少了记忆细胞的数目，使算法得到了较好的分类效果。 2 、将自适应半径思想引入算法，使网络学习能够保留原始数据的密度信息， 更好地提取了原始数据的类别信息，提高了算法对噪声数据的处理能力。 3 、通过半径衰减及反馈机制，将更充分的多粒度机制引入算法，减少了抗体 即提取知识的粗糙度，增强了算法对模糊边界的处理能力，同时减少了算法对初 始参数的依赖，提高了算法的可操作性。 1 3 本文的组织结构 本文共分6 章，具体内容安排如下： 第一章是绪论，主要介绍了论文的研究背景、研究意义，研究内容，创新点 和组织结构。 第二章介绍了论文的相关理论和技术，主要包括自然免疫系统、人工免疫系 统、机器学习及现有传统分类算法等。 第三章对人工免疫网络模型及其分类算法进行了详细说明及讨论，对其优缺 点进行了分析。 第四章提出了一种带有阴性选择的人工免疫分类算法，对算法原理、算法流 程、算法具体步骤进行了较为详细的说明，并在u c i 数据集上对其进行了实验分 析。 第五章提出了一种基于自适应半径的人工免疫分类算法，对自适应半径思想 及多粒度机制进行了简要说明，并应用粗糙集理论对多粒度机制进行了分析，在 详细介绍了算法之后，对其在模拟数据及u c i 数据集上的表现进行了实验分析。 第六章是总结与前景展望，总结了本文的主要工作以及后续的研究方向。 4 第二章免疫系统与分类 2 1 自然免疫系统 第二章免疫系统与分类 “免疫”顾名思义即免除疾病的意思。具体地说，免疫是机体识别和排除抗 原性异物以维护自身生理平衡和稳定的功能。免疫是通过众多免疫细胞和免疫分 子之间的相互作用而实现的，当抗原性异物进入机体后，机体能发生特异性的免 疫应答，识别“自己”或“非己”。排除抗原性的非己物质的过程称为免疫应答， 被诱导而处于对某种抗原性物质呈不活化状态的过程，则称为免疫耐受。在高等 动物即脊椎动物的体内存在一套复杂的免疫系统，它负责执行机体的免疫功能， 是机体发生免疫应答的基础。免疫系统一般包括免疫细胞、免疫分子、免疫器官 等，其组织结构如图2 1 所示： 厂干细胞系 l 淋巴细胞 厂免疫细呱单核吞噬细胞 li il 其他免疫细胞 嬲统 - - j 理论的一种学 1 9 电子科技大学硕士学位论文 习方法。s v m 可将样本空间映射到一个高维空间，使原来线性不可分的情况在高 维空间中变成线性可分，使原来模糊的边界变得清晰。同时，s v m 可以选取有用 的训练数据即支撑向量，在保证信息量的情况下，减少训练数据的数目，形成一 个简洁而充分的集合，降低算法的复杂度。s v m 的映射函数仅与输入空间的低维 输入向量和特征空间的点积有关，这可以用输入空间的核函数来替代。目前，常 用的核函数主要有：多项式核函数、径向基核函数、多层感知器和动态核函数等。 研究表明，对同一数据集，使用不同核函数训练的s v m 在测试数据上均具有较高 的预测准确率。 2 3 4 5 最近邻分类法 k 最近邻分类法搜索模式空间找出未知样本的k 个最邻近的训练样本。这里相 邻性由距离度量，常见的距离有：m i n k o w s k y 、m a n h a t t a n 、e u c l i d e a n 、m a h a l a n o b u s 、 c a m b e r r a 、k e a n d a l l 等。未知样本被分配到k 个最邻近者中最公共的类。最近邻分 类法由于实现简单，常常被用来与其他分类算法进行比较，以评价其他分类算法 的性能。但是，这种近邻法每次识别时都要计算待识别样本x 与全部训练样本之间 的距离并进行比较，因此需要很大的计算量，而且需存放所有的训练样本，直到 新的样本需要分类时才建立分类，当数据集较大时，这无疑是一个问题。 2 3 4 6 进化算法 进化算法是一种全局启发式算法，具有自适应和鲁棒性等特性，对n p 难问题 的解决具有独特的优势【3 2 】。分类模型中，基于进化算法的方法主要有两种m i c h i g a n 方法 3 3 - 3 5 1 和p i t t s b u r g h 方法 3 6 3 7 1 。m i c h i g a n 方法中，一个个体表示一条规则，编码 简单，计算效率较高，收敛较快，适合于在线的、实时的环境，但是由于规则之 间的分离，算法分类准确率较低；p i t t s b u r g h 方法中，一个个体表示一组规则，这 样对一个个体的评价就是对整个规则集的评价，其分类准确率较高，不过其个体 编码比较复杂，交叉变异算子设计困难，算法复杂度较高，收敛较慢。为了充分 发挥这两种方法的优点，可以采用介于两者之间的方法，如焦李成等采用组织来 表示个体，并取得了较好的效果。 进化算法具有较好的全局搜索性，但是其仍然可能会陷入局部极小值，不能 保证概率收敛到全局最优解，这是由于其交叉变异机制只依赖于父代个体，不能 保证个体多样性所导致的。 2 3 4 7 模糊集和粗糙集 2 0 第二章免疫系统与分类 分类方法大都是基于一种测度进行的，即样本的类别是依据一定的阈值来判 别的，当判定值小于阈值时，样本属于一类，大于阈值时则属于另一类。例如大 于6 0 岁的人属于老人，而小于6 0 岁的人则不属于老人。按照这种判定，5 9 岁的 人不属于老人，但再过一年便会成为老人，这显然是难以接受的。与这种“截断” 的分类方法相对，模糊集方法将数值属性转化为匹配多个规则的模糊值，然后将 这些规则的后件加权平均后作为返回值。模糊集方法在某些问题上可以更好地反 映人们的分类习惯，目前已在工业上得到了很大的应用。 为了解决模糊集不可计算的问题，波兰数学家p a w l a k 提出了粗糙集的概念， 其主要思想是把模糊元素归于边界区域，使模糊元素变为可数的。粗糙集方法也 可以用于分类，特别是对存在不准确或噪声数据的数据集。其基本过程是：首先 根据决策属性的不同取值，将数据分成不同的类别，生成判断规则；然后利用粗 糙集的规则发现算法获取分类规则。粗糙集方法在处理模糊概念时不需要数据以 外的其它信息( 如隶属度等) ，可以有效发现数据中蕴含的有用模式，易于并行化 等。粗糙集方法主要用于离散数据，对于连续数据需要先进行离散化。 上诉各种方法都有自己的优点和长处，但“没有免费的午餐”，迄今为止，还 没有一种统一的分类方法可以取代所有其他的方法。因此，不断开发新的分类方 法是这个领域的主要任务之一。 2 l 电子科技大学硕士学位论文 第三章人工免疫网络模型及其分类算法 3 1 人工免疫网络模型 免疫网络提供了一系列的突出特征，如学习、记忆、自组织、自容噪、规模 控制等，这激起了人们对它的研究兴趣。j e m e 提出免疫网络模型之后，研究人员 又提出了多种免疫网络学说，都可借鉴用于建立人工免疫网络模型。目前，两个 比较有影响的人工免疫网络模型是t i m m i s 等的资源受限人工免疫系统( r e s o u r c e l i m i t e da r t i f i c i a li m m u n es y s t e m ，r l a i s ) 3 8 1 和d ec a s t o 等的a i n e t 3 9 。4 0 1 。另外，t a n g 等提出的一种与免疫系统中b 、t 细胞之间反应相类似的多值免疫网络模型 4 1 有优 于二进制模型的独特之处，具有良好的记忆能力。虽然人工免疫网络也用到了克 隆选择算子，但是人工免疫网络算法并不是免疫克隆选择算法的改进，人工免疫 网络更加强调记忆单元的作用以及抗体群中抗体之间的相互影响，其记忆不仅依 靠记忆细胞，而且也借助网络结构，因此表现出了更好的种群多样性和对所解决 问题的更全面的认识。 3 1 1a i n e t d ec a s t r o 构造了一种基于连接主义的调节免疫网络算法a i n e t 。算法模拟免疫 网络对抗原刺激的应答过程，主要包括：抗原识别，免疫克隆增殖，亲和度成熟， 以及网络抑制等。a i n e t 是进化的，因为其基于群体内的遗传变异和选择等进化策 略来控制网络动态结构；它也是连接的，因为其网络细胞之间的亲和力通过一个 连接强度矩阵来度量。 3 1 1 1 学习算法流程 定义： x ：数据集合( x r p ) ； c ：所有网络细胞( 抗体) 的矩阵( c r 肌鼻) ； m ：包含所有记忆细胞的矩阵( m c ) ； a ：学习率或成熟率； 以：每一个受刺激细胞的克隆数目； 第三章人工免疫网络模型及其分类算法 d ：记忆细胞与抗原亲和力的矩阵，元素为d l l ； s ：记忆细胞之间的亲和力矩阵，元素为$ i ； ，z ：选择克隆变异的高亲和力细胞数目； f ：成熟细胞的选择百分比； 仃。：分别表示自然死亡阈值和抑制阈值； 具体流程： 1 、如果达到学习代数，算法结束，否则继续； 2 、对每一抗原a g i ，执行下列操作： 2 1 、计算其与所有网络细胞即抗体的亲和力盔，这里亲和力的计算基于某 一距离度量，距离越大亲和力越小，反之则越大； 2 2 、选择咒个亲和力最高的抗体； 2 3 、根据亲和力克隆所选择的抗体，亲和力越大，克隆数目越大； 2 4 、对克隆的抗体应用式( 3 - 1 ) 进行变异； c = c 一口( c x ) ( 3 一1 ) 2 5 、重新计算变异后抗体与抗原的亲和力，确定d ； 2 6 、按比例孝选择高亲和力抗体，建立一个部分记忆细胞矩阵m p ； 2 7 、按阈值消减m ，中亲和力较低的记忆细胞； 2 8 、克隆抑制，计算m 户中细胞之间的亲和力s o ，清除其中s o q 的记。1 7 , 细胞； 2 9 、连接c 和m p ( c 卜 c ：m p ) ； 3 、网络抑制，计算s ，清除j ， 仃。的记忆细胞； 4 、随机生成新抗体，替换r 个最差的个体。 算法通过网络的扩张与收缩来学习样本数据，扩张通过克隆增殖实现，压缩 则借助于克隆压缩和网络压缩。克隆压缩发生在每次的免疫应答之后，主要是去 除较差的相似抗体，控制调整进化方向，网络压缩则是在网络规模达到一定程度 之后，对网络克隆单元进行调整，简化网络结构，控制网络规模。算法最后的输 出是抗体记忆细胞和内部亲和矩阵，反应了抗原的网络内部图像和网络结构，有 时为了获得问题的特殊网络结构，还需要分析网络的生成树图才能获得问题的解。 3 1 1 2a i n e t 与神经网络比较 较之于神经网络，a i n e t 在学习对象的表达方面有了很大的进步，而且网络规 模可以控制。其对比如表3 1 所示 电子科技大学硕士学位论文 表3 一】a i n e t 与人工神经网络的比较 特点a i n e t人工神经网络 基本单元抗原抗体神经元 通过改变网络单元间的浓度通过改变神经元之间的连 学习 和亲和度接权值 存储在抗体及抗体的网络结 知识存储在连接权值中 构中 结构结构松散结构固定 3 1 2 资源受限人工免疫网络系统r l a i s c o o k 和h u n t 通过模拟免疫系统的学习和记忆机制，提出了一种贴近实际生物 系统的可用于机器学习的人工免疫网络算法。实验结果表明，该算法具有自组织 的性能，而且训练只要求正样本即可。t i m m i s 在c o o k 和h u n t 的基础上提出了资 源受限人工免疫网络系统r l a i s ，其算法流程图如图3 1 所示。r l a i s 采用群体 控制策略控制群体的增长和判别算法的终止，定义了人工识别球( a r t i f i c a l r e c o g n i t i o nb a l l ，a r b ) 来代表b 细胞，认为a r b 受到的刺激主要包括：抗原的主 要刺激p s 、邻近抗体的刺激n i l 、邻近抗体的抑制n s ，如式( 3 。2 ) 所示，其中p d 。 是a r b 和第x 个抗原的距离；d i s 。是第x 个邻近者与a r b 的距离；a r b 基于刺 激水平对b 细胞进行分配，当a r b 不再需要b 细胞时，a r b 将被去除，由此实 现有效的群体控制。通过将相似的a r b 集中在一起，r l a i s 可以实现对原始数据 的模式提取和聚类分析，同时该模型也可用于增强学习，在数据挖掘中具有潜在 的应用价值。 s l = p s + r m - n s = ( 1 - p d ；) + ( 1 d i s x ) - d i s 。 ( 3 2 ) 2 4 第三章人工免疫网络模型及其分类算法 初始化a i s数据文件 1 1 r 提呈训练数据按比例移除最弱 1 l 的连接和b 细胞 群体 融合新的克隆 0 1 r y e s 重新计算b 细胞n 刺激和n a t 上 输出和显示训 练过的网络 图3 1r l a i s 系统算法流程图 r l a i s 的算法流程与a i n e t 大致相同，均具有学习、记忆、分布式并行处理、 无中心控制等一系列特征，只不过r l a i s 更强调抗体作用等微观特征，而a i n e t 则侧重记忆单元的构造、抗体群进化等宏观特征。同时两个模型也均存在如下缺 陷：算法参数较多，计算量较大，对噪声数据的鲁棒性较差，过分依赖网络结点 的增减来保持网络的动态性，记忆细胞数目较多等。 3 1 3 多值免疫网络 z h a n gt a n g 提出一种基于免疫应答原理的多值网络模型。该模型通过模拟b 细胞和t 细胞的相互作用，具有极其类似免疫系统的特性。模型中相互作用的基 本细胞包括：抗原、抗体、b 细胞、辅助t 细胞( t h ) 和抑制t 细胞( t s ) ，其 免疫应答网络如图3 2 所示。 电子科技大学硕士学位论文 图3 2 多值免疫网络模型的应答网络 图3 3 多值免疫网络模型对应的工程系统 模型免疫应答对应的工程系统如图3 3 所示。首先，输入模式作为抗原输入 到b 细胞群体( 规模为n ) ，抗原的每一特征位输入到相应的b 细胞层；然后抗原 被提呈到t w 层，这是抗原提呈，如图3 4 所示。这样，对于一个1 1 1 值网络，有m - n 维权向量彬= ( 彬，暖，) ( = 1 ，2 m ) 。t h 细胞接受权输入的总和，只有刺激 最强的t w 细胞才进行进一步的应答，分泌白细胞介素。接着，吖被反馈回b 细胞， 得到另一个m a r 维权向量多值记忆模式： z = ( f ，岛，f ，) ， t u = o ，1 ，2 ，m 一1 ，( f = 1 ，2 ，n ，j = 1 ，2 ，m ) 。计算每一个模式的误差，输出t s ，其 中误差之和即为计算抗体。如果误差之和没有超过输入模式和记忆模式的允许误 差，就发生识别，并修改每一个参数进行学习；否则，禁止r 细胞分泌白细胞介 素i l ，同时抑制t w 细胞的分泌。同样的过程会重复进行直到识别输入模式。值得 注意的是，这里误差是产生的抗体。 第三章人工免疫网络模型及其分类算法 a g la a g ia g n 上上土1 l b lb 2一b i - b n w ，2 w 衫 渺 i t h ，t m - t h j - t m a 图3 _ 4 从b 细胞到辅助t 细胞的权值连接 为了防止激活一个从未被记忆过的细胞，b 细胞到t h 的权值初始化为很小的 值，一般满足式( 3 3 ) ： 志 ( 3 3 ) 其中，是大于1 的常数。 第k 个t w 细胞的权值按式( 3 - 4 ) 计算 嗽”) 2 擀 ( 3 - 4 ) 其中缸是记忆多值模型，薯是输入模式，s 是一个很小的正常数。 记忆多值模型即t h 到b 细胞的权值被初始化为m 一1 ，即岛( o ) = m - 1 ，第k 个t h 修正为式( 3 5 ) ： ( 川) ： 毕】 ( 3 5 ) 其中 叫表示大于等于x 的最小整数。 多值免疫网络与a i n e t 不同，主要通过权值来存储信息，而不是抗体与抗体网 络。仿真试验表明，多值免疫网络具有较好的记忆能力和记忆容量。 3 2 基于人工免疫网络的分类算法研究现状 自然免疫系统通过免疫细胞等的调节来实现“自己 “非己”的区别，分类 系统也通过自身的结构和参数调节来对样本数据进行区分，它们之间有着非常大 的相似性。因此，研究人工免疫系统尤其是人工免疫网络模型在分类问题中的应 2 7 电子科技大学硕士学位论文 用，将免疫系统的优良特性如学习、记忆、自组织等引入分类系统中，是有意义 的。然而，由于种种原因，如人们对免疫机理认识还不是很清楚等，现有的基于 人工免疫网络的分类算法还比较少，目前最著名也是最成功的是w a k i n s 的 a i r s 4 2 4 3 1 ，另外哈尔滨工业大学的莫宏伟提出的a i n m c 删也是一个较成功的基 于人工免疫网络的分类算法。 3 2 1a i r s w a k i n s 在t i m m i s 的r l a i s 的基础上，提出了免疫分类系统a i r s 。a i r s 主 要应用免疫系统的高频变异、克隆变异以及克隆抑制等机制，实现学习与优化。 作为一个资源有限的监督学习系统，它保留了r l a i s 的a r b 概念，并注意区分 每一个抗原( 训练集合中的样本数据) 的类别，而产生对该抗原应答的a r b s 。算法 依据亲和度的高低来分配资源，亲和度高应答强烈的a r b s 获得较多的资源，经 过进一步处理后进入记忆细胞池，在训练结束后保留下来，成为最终的分类知识； 而亲和度较低的a r b s 由于分配不到资源，会被移除，这样可以控制网络的规模， 这也是资源有限的由来。a i r s 是目前人工免疫系统中最成功的分类算法，与在同 样数据集合上测试的其它1 0 2 0 种较好的分类算法比较，a i r s 都具有较好的分类 表现。 算法描述如下： a g ：抗原集合； m c ：记忆细胞集合； m c ：记忆细胞，m c m c ； c ：m c 中的记忆细胞产生的克隆集合； c ：资源分配后剩余细胞群体； d ( a g ；，a g j ) a f ：亲和力域值，舴二喇南万石，其中d ( a g ；，a g j ) 是a g ；与a g j 特征 向量的欧几里德距离； n c ：克隆规模； c r ：克隆因子： r s ：总资源数目； s ：刺激阈值； n t s ：网络抑制阈值： ， 第三章人工免疫网络模型及其分类算法 1 初始化，提呈抗原集合a g ，产生初始m c ，一般从抗原集合中随机选取， 计算a f ： 2 对每个a g ；( i 1 ，m ) ，a g i a g 执行如下步骤： 2 1 - - 算a g i 与每一m c j m c 的亲和度，f ；j = 1 一d u ，d 自是a g i 与m e j 之 间的距离； 2 2 选择与a g ：亲和度最高的记忆细胞m c ； 2 3 根据亲和力克隆变异m c ，克隆规模n c = c ，f ，得到c ； 2 4 根据亲和度资源分配，得到c ； 2 5 计算a g i - wc + 中每一个克隆的亲和度气，k ( 1 ，i c i ) ； 2 6 如果平均亲和度小于s ，克隆变异c 且返