（电路与系统专业论文）数字逻辑的多阈值神经元网络实现研究.pdf

摘要 论文从减少神经网络中神经元个数及提高单个神经元信息处理能力两个角 度出发，以数字逻辑的多阈值神经网络实现作为研究内容，提出用较少的神经 元实现数字逻辑，并且使实现的数字逻辑具有较高信息密度的可能性。首先从 二值数字逻辑的单阙值神经元实现的分析入手，通过对一个例子的分析，得出 用神经元实现数字逻辑实为一个在多维空间中分类问题的结论，同时指出单阈 值神经元在解决这一问题时存在的缺陷。然后对多阙值神经元及其输出特性作 了详细分析，利用多阈值神经元具有在多维空间中多区域非线性划分的特点， 提出了用一个多阈值神经元实现任意数字逻辑的规范方法利用这一方法，用 一个多阈值神经元即实现了需三个单阈值神经元方能实现的异或运算，由此大 幅减少了神经元个数；用一个多阈值神经元分别实现了三值逻辑中的文字、与、 或三种基本运算，由这三种基本运算的多阈值神经元，可组成实现任意三值函 数的多阀值神经元网络，由于提高了单个神经元信息处理的能力，使神经网络 可实现复杂的多值逻辑，性能得以提高。在对数字逻辑的多阙值神经元实现理 论研究的基础上，探讨多阈值神经元电路设计及实现的方案。先提出了一种结 构简单，线性度好，并兼顾精度的突触电路，然后提出一种基于b i 伽0 s 工艺的 判别转换开关电路，在此基础上，结合限幅电压开关理论，提出从开关级设计 多阈值神经元闽值判别函数电路的一般方法。最后，利用这一方法设计了实现 异或运算、三值文字、与、或基本运算的多阈值神经元电路。对设计出的电路 进行p s p i c e 模拟并测量相关参数，结果表明，该设计方法不但简便、规范，而 且设计出的多阙值神经元电路具有速度快，结构简单的优点，并且，在实现相 同逻辑功能时，采用多闲值神经元电路相对于单阙值神经元电路，大幅降低了 硬件成本。 a b s t r a c t p m c e e d i n g 丘o mt h em i s s i o no fr e 出1 c i l l gi 坞u r o nm m l b e r si nn t 删n 咖r k s ( n n s ) 蚰de i l h 锄c i n g 让忙i n | ! b r m a t i o np r o c e s s i n ga b i l i t i e so fs i n g l en e u r o n ，嬲w e n f o c u s i n go n 吐l ed i g i t a l1 0 西ci i n p l e m e n 协t i o nb ym l l l n - t l l i 它s h 0 1 d e dn e u r o m ( m t n s ) ， “sd i s s c n a t i o nr n a k e si tp o s s i b l et h a td i 舀t a ll o g i cc 锄b e i 瑚【p l 钮l 明t e db yas m a l l n 啪b e ro fn e u r o 璐a n d 也en n sr e l l i z e dd i 西t a l l o g i cm a y h a v eh i g hi n f o 咖a t i o n d e n s i 够b e g i n 、】l r i t h 锄a l y s i so fb i l l a r yl o 醇ci m p l e 删m t a t i o nb ys i n g l e m l r e s h o l d e d n e u r o n ( 8 t n ) ，w ed r e wac o n c l u s i o nt l l a td i g i t a ll o 西ci m p l e m 既l 乜m o nb y n e u r o ni s a c t i l a l l yac l 船s i 丘饿o np r o b l e mi nm 啪- d i m 咄i s p a c e m e a 肿m i l e ，w ep o i n t e d o u tm ed e m e 施o f s o l l n i n gs u c hp r o b l 锄b ys t n t h 鸭m em t n 跏d i t s 乜甜l s f e r f i l n c t i o nw 髂d i s c 璐s e dp a r t i c m a r l y t 挝n gt h e “l v a m a g eo f 也ec b 撇c t e r i s c i co f n o i l l i n e a r 删n 吐- z e p a 而t i o ni n 舢l t i - d i n l e n s i o f m i n ，a i la p p ho f 吼l p l o y i i l g m t n f o r 矧蛐v i n ga r b i 仃a 町d i 西t a ll o g i cw 龉p m p o s e d a c c o r d i n g t ot h i sa p p r o a c h ， l ex o r o p a t i o n 砌c h 鹏e d s t l l r e es t n st o l l i e v ew 嬲i m p l e m 廿1 t e d u s i n gs i n g l e m t n h e n c e ，吐他a d v 柚t a g co f m t n o v e rs 1 nw 船s h o w n 诵l l lt h e 觚s 也砒血e n n s c df e w e rn e u r o 船b y l l s i l l gm i n st h 跹b yu s i n gs 1 n s h 耐d i t i o n ，t h cl i t c r a l ， a n d ，0 ro p 啪d o n 嬲岫b 船i co p e r a t i o n s i i l t e m a r yl o 舀cw e s 印a m t e l y i m p l c m e 删b ys h l g l e 加 n 、7 l ，i t hm e s eb 鹪i cm t n s ，盯b 岫r y 协m a r yf l l i 州o nc 如 b e h i e v e db yn n s d u et o 圮朗h 锄c e m e n to f 圮i i l 】妇m a t i o np m c e g s i n ga b i l m e s o f s i n 酉em u r o n ，血en n s c 舭a l i z e 也cm u m - v a l u e dl o 西c ( m v l ) b a s e do nt l l e a f b s a i dd i s c u s s i o n ，w ep r o b e das c h e m ef b rd e s i g n j n g1 h e 枷心e s h o l d e dn e i 】r o n c i r c u i 招( m t n c s ) av o l t a g e - m o d es y p c i r c 试t s 谢t l ls i m p l es 协】曲】托，l l i 曲s p e e d a n d h i 曲p r c c i s i o nw 嬲d e s i g n e df i r s c l yt h e n ，ab i c m o s t c c h i l i c sb a dc i r c u i tc a l l e d v e r d i c t - c o n v e m l 培s 、】v i t c h c s ) w 鹊p u t f o r v 吼r da s 吼l b s t a n t i a l c o m p o n e n t s o f m t n c s b 弱c do nt l l i s ，姐a p p m a c hw 嬲p r o p o s e df o rd e s i g n i n gt 1 1 ec i r c 试t so f m u m - t h r e s h o l d e d v e r d i c 埴n g 缸l c t i o n ( m r n r f ) a ts 、；l ，i t c hl e v e l _ f i r l a l l y s e v e r a l m t n c sw e r ed e s i g n e df o ri m p l e m e 娟n gm ex o r o p e r a t i o na n dl i t e r a l ，甜m ，o r o p e m t i o ni nt e m a r yl o g i c a ts 耐t c hl e v e i t h er e s u l to fs i m u i a t i o n 谢t hp s p i c e s h o w e dt l l a t 也ed e s i g n e dc i r c l l i t sl l a dn o to n l ym ec o r r e c tl o 西cf i l i l c t i o na n ds m a l l p r o p a g a t i o nd e l a yb u ta l s oh a ds i m p l e 鼬m c t l l r e w h a t sm o r e ，w h e na c h i e v i n gt h e s a m el o 百c f i m c t i o n ，n l em t n c sd e c r e 硒e dl a r g ea m o u mo fh a r d 聊r ee x p e n s e c o m p a r e dw 胁m e s t nc i r c l l i t s k e y 们r d s ：n e u r a ln e t 、o r k s ；n e u r o n ；m u m 汕r e s h o l d e dn e u r o n ；m l l l t i v a l u e di o g i c ； b a s i co p 嘲l i o n ；b i c m o sc i 贼慨 致谢 首先，向我的导师沈继忠教授致以衷心的感谢，本论文的选题与写作以及最终完 成，沈继忠教授给予了悉心的指导，并倾注了大量时问和心血。在硕士研究生学习期 间，沈继忠教授在科学研究中体现出坚持科学真理与求索的品质，并以自己严谨、踏 实和一丝不苟的言行深深的感染着我。衷心感谢沈继忠教授在思想及行为习惯上给予 的谆谆教诲，我为今生能遇上这样的严师而感至无比荣幸。 感谢每一位在成长道路上曾呕心沥血培养和抚育我的老师。 深深感谢我的父母及家人，在我的求学生涯中，他们付出了无数汗水，他们的爱 和支持是我完成学业的保证。 感谢挚友l 咖，和她在一起的时光是快乐的。 深深的感谢在成长道路上关心和帮助我的所有人。 回首往事，来对总以为路途遥远，总以为长亭更短亭，不知何时是尽头，可一旦 结束，猛然回酋，一切俱逝矣不由的想到寻在川上日：逝者如斯夫! 朱晓雷 2 0 0 3 年6 月杭州 第一章 绪论 现代计算机有很强的计算和信息处理能力，但是它对于模式识别、感知和在复杂 环境中作决策等问题的处理能力却远不如人，因此从模仿人脑智能的角度出发，来寻 找新的信息表示、存储和处理方式，设计全新的计算机处理结构模型，构造一种更接 近人类智能的信息处理系统来解决实际工程和科学研究中日趋复杂的问题，这就促使 形成了一个多学科交叉的前沿领域一 工神经网络。 目前，在基于对大脑的生理结构，运行机制，甚至单个神经细胞工作原理的有限 理解上，人们已经构造出有一定初级智能的人工神经网络，但这种人工神经网络仅仅 是对大脑的粗略且简单的模拟，无论在规模上、功能上与大脑相比还相差甚远。有学 者从理论上研究了现有神经网络模拟计算能力的局限性，并认为它不能解决传统基于 物理符号系统的人工智能中的一些困难0 1 ，尽管这样，人类一直都没有放弃让机器具 有人类思维能力的努力。从四十年代初至今的半个多世纪里，人们对神经网络的研究 已产生大量成果睁”1 ，从理论上对它的计算能力、对任意连续映射的逼近能力、学习 理论以及动态网络的稳定性分析上都取得了丰硕的成果，特别是在应用上已扩展到许 多重要领域，并显示了很大的威力。本章将首先简单阐述人工神经网络的研究概况， 并侧重于介绍神经网络v l s i 实现的几项关键技术，然后介绍本文的研究内容。 数字逻辑的多阈值神经元网络实现研究 1 1 人工神经网络发展概况 自1 9 4 3 年美国心理学家w a r r e nsm c c u l l o c h 与数学家w a l t e rp i t t s 提出神经元 数学模型( m p 模型) 起。1 ，至6 0 年代止是神经网络系统理论发展的初级阶段，产生 了多种神经网络模型和学习算法“”。如1 9 4 4 年由d o h e b b 提出的h e b b 学习规则至 今仍是神经网络系统理论学习算法的一个基本规则。1 9 5 7 年由f r o s e n b l a t t 提出的 感知器( p e r c e p t r o n ) 模型，第一次从理论研究阶段转入工程实现阶段，掀起了研究人 工神经元网络的高潮。1 9 6 2 年由b e r n a r dw i d r o w 和d e a ne d l f l o n d s 提出的自适应线性 元件( a d a l i n e ) ，成功地应用于自适应信号处理和雷达天线控制等连续可调过程。 六十年代至七十年代，神经网络的研究进入了低潮时期，造成了这种情况的原因 是神经网络系统理论的发展出现了本质上的困难。m n s k y 等指出了感知器的局限性使 人们对神经网络的热情骤然下降“1 。另一方面，受当时的微电子技术和工艺水平所限， 无法实现大规模的神经网络的研究，更难以制作可以实际应用的装置，因而难以得到 产业界的响应和支持。而这一时期正是数值计算机发展的全盛时期，无论在硬件软件 技术应用与商品市场方面都取得了突飞猛进的进展，也使很多人的主意力转到数值计 算机上。 进入二十世纪七十年代后，科学上不断取得的新的重大成果，对用机器来模拟人 的智能，提出了重要的启示。1 9 8 2 年，美国加州理工学院物理学家j j h o p f i e l d 提 出了h o p f i e l d 神经网络系统( h h n s ) 模型伽，提出了能量函数，稳定性等概念，并在计 算t s p ( 旅行推销员) 问题上取得了进展，成为神经网络研究等二次高潮到来的标志。 h o p f i e l d 还指出，神经动态方程可以运用放大器来实现，给神经计算机的工程实现指 出了道路。一年后，美国加州工学院和b e l l 实验室合作制成2 5 6 个神经元( 1 4 平方 英寸上由2 5 1 0 3 个晶体管和1 0 万个电阻元件集成) 和6 4 个可编程的人工神经元。 随后，许多神经计算机公司成立，用电子和光学实现神经网络的功能。1 9 8 6 年 r u m e l h a r t 等人提出了多层神经网络的反向传播学习算法嘲，这种算法根据输出的误 第一章绪论 差的大小，反向地向输入层反传并修改连接权值，使输出误差达到最小。1 9 8 7 年第一 个国际神经网络协会成立，以后以神经网络为主题的国际会议每年召开，许多计算机 方向、自动控制方向、电子技术方向的国际会议都有神经网络的专题研讨。八十年代 以来，美国军方、政府的国家科学基金会、国家航空航天局及一些大公司都以不同形 式支持了众多的研究课题，日本、英国、德国等也投入了大量资金和人力进行了神经 网络的研究，从8 0 年代后期开始，许多神经计算机产品开始走出了商用阶段，一些 神经网络地软件产品和硬件芯片相继投入市场，表l 列出了当前几种典型神经芯片的 性能比较“”。 表1 1 1 几种典型神经网络菇片参数 h h r湘a r a 吐e r i s t l ct c i l o b ys i z el ，o m h r s d p r o c i 8 i s t r u c t u r e u s a g e f i 砌n g - i _ k 1 2 2 柏1 2 8 忡1 0 1 0i o m s i n 日e l a 归 o h l e r a l b 嘲分p 酬7 删b 1 5 w m l i 融h n e l y n 叩0 硝哪m b 栅 f d b 扯kp u m c b i c m o s2 2 7 6 86 4f f ：l o m $m u m l i 盯b p m a 姆i p s h i 协3 i 肿p d p 脚ic 叩i r b i c m 0 s i y n 婶 1 0 8 m m h 慨踟e 5 “瓢n i n g c m 珥州m 嘴s 2 0 m4 0 9 6 6 4 i n p 02 m s i 他k l 町惯 g e n a - a b u s c8 b i 乜 脚i c a p d c i r c m 0 s s y n 印6 4 岫喇蛔l i i 雌 f m l y 呻。吐p u r 呻s e d i g m i 2 5 u m6 5 6 18 1 s i n 脚ei l y 玎 g h 删嘲 n c s un 6b i 忸 m 日 c m o s w i wf u l 目 f n m s d e i m 吣 lo m1 2 2 柏 2 5 抽刖忸 5 m “l b f u l b s 叫 m 虹u b i s h i 蛳i 岬i f c m o s | y 叩l o u p 帕坤地mp a c l r i l a c k 帕 o r w i 口 b 埘啪l o c h i d2 0 4 8”6 w r g t i m e ：s i n 毋e l a y e r “n 愀h d5b j b d j e i a n m p r g m 毋岬1 u 炯b rf u 村m e c tr o 昌 c 讲u m b i a 黜i i f i g u f 曲k 0 9 mi 0 2 41 0 2 47 4 m 3 f b ro 口i 蚰 s i n 宙el 时玎 0 c n c r 日l - u n i j 畸d y n p i f c m o s 甜n 叩m w b o k n 出t 暑l ie m r l f i d h m n e c tp i i r p 0 8 e c l i i o - m o d 一2 o i l i n五4 酯7 2l 。0 1 1d i m m u t 。dn e u r 蚰 u p n6b i b 蹦g i 删m 咖o r y c m 0 s 删u 叩 日mm o d u l m p u t i o 唱 0 n 曲i p k m 0 8 m5 7 62 43 6 0 洲 s i n 出l a y e r b d h 曲b t 缸h i h8 b i 乜 d i g i 伽o f y c m o s s y m p m 4 8 0 n 目l 加l bf u l l y 呻e 吐 l j n g w i d e0 p i 锄鲈20 m9 2 5 哪 辅赡k i a y e f ( 孙e r “ u s c4 0 0 砸8b 忸 d y n o p i ”r c m o s 掣n a p 。e 3 1 0 0o u p 吣 f u l m e 吼 p u n m s e 九十年代至今，神经网络的研究一直受到普遍的重视，应用领域不断增加，包括 工业生产监控、学习、分类、预报预测和分析以及处理，邮政通信及信息服务，健康 服务，军事方面的多目标跟踪，战斗机飞行控制，汽车自动驾驶，计算机绘画，语音 数字逻辑的多阈值神经元网络实现研究 4 识别，财政风险分析，原油价格预报，股票行情分析，支票和收据收验，i n t e r n e t 网上数据挖掘和信息分析等。 近几年来，我国在神经网络的研究方面发展规模日益壮大，而且取得了不少成果。 中科院半导体所神经网络组在王守觉院士领导下研究发展了一种适合于我国神经网 络研究需要的通用神经网络处理机“预言神”神经计算机1 ，适用于各种高速实 时自适应控制及高速实时模式识别等应用。 由此可见，人工神经网络的研究内容及其丰富，涉及的领域很广而又有相当深的 理论内涵，其研究内容大体上有基本理论、模型、算法、应用和实现等五大方面。神 经网络的基本理论、模型和算法的研究是神经网络研究的基础，为神经网络应用和实 现技术的研究提供依据和指导；神经网络的应用研究为神经网络的理论研究提出新问 题，给神经网络实现技术的研究提出新要求，推动神经网络理论及实现技术的发展。 所以神经网络的实现必须综合各种技术，合理、有效地实现神经网络模型及其计算， 架起神经网络理论与应用研究之间的桥梁。下面将综述当前几种典型的神经网络实现 技术，及比较它们各自的优缺点。 1 2 神经网络实现技术 神经网络实现技术是神经网络研究的一个重要方面。神经网络的实现技术可以分 为软件模拟实现和全硬件实现两大类。 神经网络的软件实现是在数字计算机通过编写高级语言来模拟神经网络计算。这 种软件模拟环境可以称之为软件模拟神经计算机，可以支持用户进行新的神经网络模 型和学习算法研究以及解决多种用户问题。这种软件模拟计算机能充分利用数字计算 机高性能的数学运算功能，通用性好，因而成为在神经计算机研究初期能迅速推广， 达到商用水平的产品，实践证明在它很多应用领域取得了良好的应用效果。但由于这 种软件模拟的神经计算机在某一瞬间计算机只能模拟一个神经元的联接计算，虽然具 有成本低使用方便灵活性强等优点，但由于其从根本上失去了神经网络广泛并行处理 第一章绪论 5 信息的基本特性，在处理速度上远远不能满足研究和使用的要求。随着神经网络研究 工作的深入，研究的网络规模和网络行为复杂性的迅速增加，这种用软件模拟实现网 络功能的方法，明显地不能适合于研究发展的需要。 神经网络的全硬件实现是指物理上的处理单元之间的通信与一个具体问题的神 经网络模型中的神经元及连接一一对应，神经网络的学习和训练过程均由物理器件完 成，全硬件实现研究的核心内容是神经器件的构造，这种器件可是是数字的，也可以 是模拟的。全硬件实现的最大优点是处理速度快，且易于满足实时性要求，缺点是个 处理单元之间的连接方式较难改变。因此，设计连接可变，具有在片学习能力的神经 网络，使全硬件实现的神经网络能有通用性灵活性可编程性是非常有意义的。当前， 国际上该项研究的主要内容是“”： ( 1 ) v l s i 神经芯片的研究； ( 2 ) 光电子和光学神经芯片的研究； ( 3 ) 分子生物神经芯片的研究； 在上述三种神经网络全硬件实现技术中，v l s i 技术与其他的两种方法相比，具有实 现技术成熟、精度高、抗嘈声能力强、便于程序控制等优点，所以v l s i 技术被认为 是当前实现神经网络的最有效的方式“8 。 对一个实现人工神经网络有两个指标可以体现网络的能力，一个网络存储的联接 权数量，它体现了网络系统的规模；另一个是每秒能计算的联接权数量，它体现了网 络信息处理的速度。与生物神经网络一样，一个人工神经网络存储的联接权数量越多， 每秒能计算的联接权数量越多，信息处理能力则强。以人脑为例，它可存储的联接权 数量多达1 0 1 4 个以上，每秒能计算1 0 ”个以上个联接权，这使人脑具有十分复杂和高 级的信息处理能力。很显然，用软件模拟实现神经网络功能的方法，某一瞬间计算机 只能模拟一个神经元的联接运算，虽然具有成本低、使用方便、灵活性强等优点，但 由于其从根本上失去了神经网络广泛并行处理信息的基本特性，在处理速度上远远不 能满足研究和使用的要求。所以，神经网络实现技术必须是能够支持大规模并行处理 的神经网络计算和神经网络的在片学习。由此可见，开展大规模集成的v l s i 全硬件 实现的神经网络系统的研制势在必行。下面介绍当前国际上对神经元及神经网络学习 算法的v l s i 实现研究的几项主要技术。 数字逻辑韵多阈值神经元网络实现研究 l0 不同的学习算法适用于不同的网络结构，神经网络学习硬件的实现应根据实际问题的 需要采用或改进已有的学习算法，或采用适合于硬件实现的学习算法“2 “1 。 b p 算法是最广泛使用的神经网络学习算法，所以人们首先考虑用硬件电路实现 b p 算法的方案。文献【4 4 】 4 5 】是用模拟技术实现b p 算法，【4 6 】贝0 是数字技术实现b p 算法。扰动学习算法“7 “、虚拟目标学习算法“”等也被用于集成到神经网络的硬件电 路中。虚拟目标学习算法是b p 算法的改进，统一了输出层和隐含层神经元的计算方 法，但计算量比b p 算法还大。权值扰动学习算法，可以由电路的前向通路直接测得 网络的误差变化量，学习是不需要反传电路，突触和神经元电路的特性对扰动学习算 法亦无影响，可以不要求突触电路是线性的，被认为是适合于硬件实现的学习算法。 关于在片学习神经网络的研究表明，自学习芯片的实现的基本困难是：模拟权值 的存储和修改；计算权值的变化的电路的偏移误差的减小；以数字模型为基础学习算 法需要的高精度，在工艺上难以保证。为了实现在片学习的神经网络系统，必须选择 一种能够解决实际问题，对精度要求不高，工艺上能实现的学习算法。以硬件实现的 需要为出发点，各神经元状态有较大的变化范围，神经元传输函数不必很精确，权值 的线性度要求不高的神经网络数学模型，对神经网络的实现很重要。因此，以基本电 子器件的特性及其限制条件为基础建立数学模型，结合神经生理学等相关学科的研究 成果进行在片学习的神经网络系统的研究将是有前景的研究方向。 1 4 神经元电路实现的关键技术 在美国1 9 9 2 年出版的神经网络理论基础与分析讨论文集的引言嘲中将人工神经 网络定义为：“用大量简单的神经元计算进行叠联而成的任何计算结构”。可见，神经 元是构成整个神经网络电路的基础，下面将综述当前国际上关于神经元电路实现的研 究成果。 1 4 1 神经元模型 第一章绪论 在神经网络的研究中，神经元模型主要有4 种：线性突触神经元( l i n e a r ) ；平 方突触神经元( q u a d r a t i c ) ：高斯突触神经元( g a u s s i a n ) ：通用神经元( g e n e r a l n o n l i n e a r ) ；多阂值神经元( m u l t i t h r e s h o l d e d ) 6 1 。 线性突触神经元是被运用最广泛的神经元模型4 “，它的数字模型如公式 ( 1 4 1 1 ) 所示： y = ，( 形置一口) ( 1 4 1 1 ) 式中y 是神经元的输出；置是神经元的输入；形是权值；o 是神经元的激活阈值；厂 是阈值函数( 或称激活函数) 。 平方突触哪唧神经网络由平方突触神经元组成，在复杂的模式识别、数据分类等 方面应用比线性神经网络更有优势，特别是平方神经网络的训练时间要比线性神经网 络短很多，这为神经网络在片上学习提供了有利的条件。它的数字模型如式( 1 4 1 2 ) 所示。 y = 厂( ( 彬一置) 2 一口2 ) ( 1 4 1 2 ) 式中的符号表示的含义如同式( 1 4 1 1 ) 。 高斯型突触神经元是近年来提出一种神经元模型，它已被证明在误差反传中具 有比线性突触神经元更好的收敛特性洲，它的数学模型如式( 1 4 1 3 ) 所示。 = f 篓：受2 ： v ；y p 2 砰 ( 1 4 1 3 ) 。 智 式中的盯2 是标准方差。 中科院半导体所的王守觉等提出了通用神经网络硬件中神经元的基本数学模型 ，这种超曲面神经元的数学模型可以同时覆盖传统的超平面神经元和径向基函数神 经元的功能，有实现尽可能多种不同超曲面特性的可能性。 多阈值神经元汹侧具有多个阈值，多个激活状态，在模式分类中能起到多个单阈 值神经元的作用，可以使相同模式分类功能的神经网络减少大量神经元数量，而且由 于有多个激活状态，因此特别适合于实现多值逻辑，使神经元更加体现生物特征，因 而多闽值神经元在目前神经网络的研究中受到广泛重视删。 从神经元模型中可以看出：神经元按功能可以分为突触部分、阈值函数和存储权 数字逻辑的多阐值神经元网络实现研究 值的存储单元三个部分。下面将分别从这三个方面来综述。 1 4 2 突触电路 突触是神经元之间的连接，它完成的是当前神经元输入信号的加权求和运算。在 神经网络中有大量突触电路，所以在设计神经网络突触电路时除了要考虑电路的速 度、精度等指标外，更重要的是要求突触电路结构简单、占用芯片面积小、功耗低， 用模拟电路实现在这一方面占有很大优势。现在最常用的神经元突触主要是线性突触 和平方突触。 1 线性突触 在一些模拟神经网路中，m o s 管的平方律特性给用于实现模拟乘法器，最简单的 线性模拟乘法器可以用一个m 0 s 管实现侧，这种方法虽然简单，占用芯片面积小，但 是运算精度很低，输入动态范围小，使用受到限制。m u r r a y 等提出了三管乘法器m 1 ， 以实现脉冲流神经网络的突触，但是由于开关噪声等因素的影响，造成该乘法器精度 低、线性范围小和线性度差。清华大学微电子所设计了精度较高的电流型和电压型的 实现脉冲流神经网络突触的乘法器嘲。由于神经网络中的突触很多，为了降低功耗， 有人提出了工作在亚阈值区间和饱和区的电流型乘法器m 1 。l e e 等人提出了一种低 功耗、多功能模块，由外部信号控制在不同时间完成模拟乘法或阈值函数转换，使神 经网络的整体电路结构简化，功耗减小。 g i l b e r t 乘法器是现在神经网络中应用最多的一种乘法器啪1 。它最大的特点是占 用面积小，工作速度快。i n t e l 公司的可编程神经网络芯片( e t a n n ) 就是采用这种乘 法器，在芯片中实现了大规模处理z ，的功能汹1 。该乘法器的缺点是从电源到 地的每一条支路中串连了过多的晶体管，这些晶体管相互影响，当输入大信号时，晶 体管的非线性效应明显，造成输出乘法结果失真。 第一章绪论 2 平方突触 平方突触电路是径向基函数神经网络中大量需要的突触电路，实时的平方运算电 路较难实现，一直限制着平方突触神经网络的硬件实现。f a k h r a i e 等人提出了一种基 于e 2 p r o m 工艺的用来实现平方突触功能的s y n a p s e m o s 器件( s y m o s ) 。1 ，s y m o s 器件的结构和v m o s 器件狮3 的结构相似，当v m o s 的输入端数取2 ，就是s y m o s ，但两 者工作方式不同。清华大学微电子所在折叠式g i l b e r t 乘法器的基础上提出一种平方 运算电路，模拟结果表明该电路运算误差小于2 ，输入动态范围( 一1 5 v ，1 5 v ) ， 运算速度较快，可满足实时运算需要呻1 。 对于平方突触电路的研究还处于探索阶段，随着集成电路工艺的不断进步，相信 会出现更好的实现方法。 1 4 3 阈值函数电路 神经元的阈值处理单元决定了神经元的输出转移特性，是神经元实现功能的关键 部分。常用的阈值函数主要有：线性阙值函数、硬限幅函数、s i g m o i d 函数和多阅值 判别函数“”。相对于数字电路，模拟电路利用器件的非线性特性实现上述四种函 数，无论从电路的形式是否简洁或运算速度上都有很大优势。 线性函数电路常常用运算放大器或差分放大器实现，在这类电路中可以通过改变 整形电压，和电阻值来改变阈值、控制函数的限幅区和斜率“3 。 硬限幅函数电路是线性函数电路的一个特例，它实际上就是一个电压的比较器， 最简单的只要用一个晶体管实现啪，当输入电压大于参考电压就输出高电平，否则为 低电平。 s i g m o i d 函数是神经元中一个常用的函数呲1 ，迄今为止研究者已经提出了许多种 s i g m o i d 函数电路形式，有人采用反相器结构呻1 、g i l b e r t 乘法器m 1 和分段线性近似 的办法m 1 来实现，采用何种电路形式需要权衡电路运算精度和占用芯片面积大小。在 某些神经网络中能集成大量神经元，有文献提出了用三管单元电路来实现s i g m o i d 数字逻辑的多阚值神经元网络实现研究 14 函数，该单元的前级是电流信号，便于进行求和运算，输出是电压信号，易于传输。 ”4 4 权值存储电路 对于人工神经网络的实现来说，权值储存技术是关键技术之一。设计具有在片学 习功能的神经网络，必须能够存储权值和根据输入误差信号调整权值。神经网络的权 值存储方法很多，对于数字神经芯片，数字权值的存储较容易实现，可以用存储器存 储权值，但是在模拟实现神经网络的研究中，如何可调权值的存储方式一直是瓶颈， 到现在还没有找到一种有效的解决方法。现在的主要存储方式有3 种：可变线性电导、 动态式存储、和非易失存储“7 2 ”1 。 1 可变线性电导 自学习和自组织是神经网络的一个重要的功能，它主要是通过改变神经元各突触 的权值来实现，而用固定电阻实现的突触不能改变，这种方式必须预先设定各个突触 的权值，计算出各电阻的阻值，无法实现神经网络的学习功能。用可变电导可实现神 经网络学习的目的，现在可变电导有以下的四种类型心5 玎；开关电容电路；开关电导 电路；阶梯开关电导电路；压控电导电路。这些可变电导可由时钟脉冲或电压来控制 其阻抗呈线性变化。 2 动态式存储 模拟的权值电压可以用存储在电容上的电荷来表示，由公式y = q ，c ，以电压的 形式输出。在模拟电路中最简单的方法是利用m 0 s 管的栅电容。动态式存储方法虽然 简单，但是电容的漏电成为一个严重的问题，由于存储的是模拟电压，漏电的结果使 得权值的精度大大降低，为了解决漏电现象的影响，m u r r a y 等人提出了电荷平衡存储 权值技术。”，其核心思想是用两个电容的差值来表示权值，由于两个电容的漏电的机 第一章绪论 l5 制是相同的，这样可以部分消除漏电的影响。另外，有文献提出采用低失调电压缓冲 器消除这种漏电效应“。尽管存在电荷的泄漏问题，但依靠电容的充放电使得调整权 值容易实现，有利于在片学习的实现，因此被广泛采用。 3 非易失式存储 为解决动态存储的电贺泄漏问题，研究者改进了非易失存储器并将其运用导神经 网络中。目前，非易失式存储器主要有三种：州0 s 器件m 1 ；浮栅器件嘲；不定型硅器 件洲。删0 s 器件在金属和氮化硅中加了一层s i 批，通过栅极高压控制这层氮化硅中 的电荷由隧道效应的冲放来实现权值存储。浮栅器件式在氧化硅中加了一层浮栅，利 用高电压或紫外线照射方法进行编程。另外，研究者利用不定型硅由高低两种状态来 对应二进制数，在神经网络中进行权值的存储。 虽然非易失式存储器式当前唯一一种真正的模拟存储器，但这种技术还不成熟， 制造上需要额外工艺步骤，还处于研究中。 4 v 帅s 器件 1 9 9 2 年，s h i b a t a 等人提出了一种利用e 2 p r o m 结构的神经元器件，称为n e u r a l m 0 s 器件( 或v m o s ) m 。其基本原理式利用电荷再分布原理将加权求和功能全部集 中导一个m o s 管中，该m o s 管有一个浮栅，浮栅的电位由多个输入控制栅通过电容耦 合进行控制。0 s 的浮栅电势势各个输入电压的加权求和，同时，由于m 0 s 管具有开 启电压，所以用一个v s 晶体管就实现了神经元的加权求和及闽值判别功能。 v m 0 s 的缺点在于，由于其权值是电容比，所以必须预先设定，无法实现神经网络 的学习功能，在工艺实现上还存在许多困难。但是由于目前集成电路工艺可以精确实 现电容比，所以v m o s 为不需要自学习的神经网络的实现提供了一种新颖的方法。 1 5 本论文研究背景、研究内容及意义 数字逻辑的多闽值神经元网络实现研究 神经网络是模拟人类大脑思维的一项前沿性研究，其实现技术是神经网络研究的 一个极为重要的课题。只有能够支持大规模并行处理的神经网络计算和的在片学习的 硬件实现才能体现神经网络的优越性。v l s i 技术是当前实现神经网络的最有效的方 式。然而由于受到现有集成电路工艺的制约，使得单片神经网络芯片不可能集成大量 神经元，在功能上受到限制“”。所以在现有集成电路工艺条件下，尽可减少完成同一 功能神经网络中神经元的个数，以增强整块神经芯片的性能是当前推进神经网络v l s i 实现技术的一个有效手段。 传统的神经网络研究往往局限于二值，原因在于神经元只有单一阈值，两种状态。 有关研究成果表明神经网络不但能够实现经典的二值逻辑，而且能实现非精确逻辑 ( 如模糊逻辑) 和多值逻辑。多阈值多值神经元”侧由于其具有多个阈值和多个激活 状态，在模式分类中能起到多个单阈值神经元的作用，可以使相同模式分类功能的神 经网络减少大量神经元数量，所以在目前受到广泛重视删。 利用神经网络实现数字逻辑是近年来神经网络研究的热点之一m “，其优点在 于：可学习性，同样的结构经学习可得到不同的逻辑关系；通用性强，复杂性低；结 构简单、规范，适合于大规模集成电路实现。多值逻辑能够增强电路处理信息的能力， 如在并行传输中对于给定规模的信息量可以使用较少的传输线，在串行传输中可以在 一个时钟周期内传送更多的信息，因此对多值逻辑的研究一直受到国际上的重视。“ 8 ”。目前，已有一些利用神经网络实现二值逻辑的方案和成果o “删，但是对多值逻辑 神经网络实现的研究却很缺乏。 从8 0 年代后期开始，许多研究者和国际著名公司致力于神经网络的v l s i 实现研 究，并产生大量成果，研制出实用的神经芯片。然而相对于复杂的生物神经系统来说， 人工神经芯片所集成的神经元数量太少，且功能有限“”。因此，在现有集成电路工艺 条件下，提高单个神经元电路处理信息的能力以增强整块神经芯片的功能显得十分重 要，而采用多阙值神经元构成神经网络是解决这一问题的有效的方法。目前，国际上 已涌现大量基于v l s i 技术的= 值逻辑神经网络实现的研究成果。“”，但对多 阈值神经元的v l s i 实现及多值逻辑神经网络实现的研究尚很缺乏。 第一章绪论 17 鉴于上述关于多阈值神经元和数字逻辑的研究现状，本文的主要研究内容为： 1 、根据多阈值神经元的输出函数实现在多维空间中多区域非线性划分的特性， 寻找多阈值神经元与数字逻辑之间的关系。从减少神经网络中神经元个数这一角度出 发，用较少的神经元实现任意数字逻辑，并找出实现的一般方法。 2 、从增强单个神经元信息处理能力的角度出发，探究多值数字逻辑的多阈值神 经网络实现方法。使神经网络能够实现复杂的多值逻辑，从而提高整个神经网络的性 能。 3 、神经网络的v l s i 实现一直是国际上神经网络研究的重点，本文将根据多阈值 神经元的工作原理，以结构简单、精度高，速度快，硬件成本低作为基本要求，探讨 一种适合于多阈值神经元v l s i 实现的方案。 第二章 多阈值神经元 利用神经网络实现数字逻辑是近年来神经网络研究的热点之一“咖，传统的神经 网络研究往往局限于二值，原因在于神经元只有单一阈值，两种状态。有关研究成果 表明神经网络不但能够实现经典的二值逻辑，而且能实现非精确逻辑( 如模糊逻辑) 和多值逻辑。近几年，研究者提出了多阈值多值神经元”删的概念，这种神经元有多 个阙值和多个激活状态，在模式分类中能起到多个单阈值神经元的作用，可以使相同 模式分类功能的神经网络减少大量神经元数量，本章将简单介绍传统的用单阈值神经 元实现二值逻辑基本运算的方法，然后探讨用多阈值神经元实现任意数字逻辑的一般 方法。 2 1 单阈值神经元和二值逻辑基本运算 在传统二值神经网络研究中，神经元的输出转移函数一般有三种非线性函数“1 ： 硬限幅( h a r dl i m i t e r ) 、阈逻辑( t h r e s h h 0 1 d ) 和s 型( s i g i d ) ，它们各自的曲 线见图2 1 1 。显然，这三种转移函数都有如下共同特征：单调上升且在上升过程中 没有中间平台；只有一个阈值口。 硬限幅单阈值神经元是传统二值神经网络中的基本处理单元，也被称为感知器”1 。 图2 1 2 表示的就是最简单的硬限幅单闽值神经元模型，其中x ，为该神经元的第f 个 输入，为外部第f 个神经元输出到该神经元之间的连接权值，p 为该神经元的阈值， 第二章多阈值神经元 y 为该神经元的输出。 ( a ) 硬限幅( b ) 阐逻辑 图2 1 1 单阈值神经元输出转移函数 图2 1 2 感知器神经元模直 在模式分类器中应用的神经元，若不从网络反传自学习考虑，则硬限幅输出特性 是理想的阻6 1 ，常用的硬限幅神经元的输出函数为： 一一口)1 i ( 2 1 1 ) o i “oj 式( 2 1 1 ) 中的x ，( f = 1 ，2 n ) ，w 、口和上述定义的参数意义相同。图2 1 1 ( a ) 是感知器神经元硬限幅输出特性曲线。 用单个神经元可以实现二值逻辑中的“与”、“或”、“非”基本运算姗1 ，如图2 1 3 ( a ) 、( b ) 、( c ) 所示。虽然单个神经元可以实现以上三种基本运算，但在实现“异 或”运算时却发生了困难，原因在于单个单阈值神经元无法解决分类过程中的非线性 划分问题。如果要解决这个问题，必须构建一个三层网络来弥补单个单阈值神经元的 不足。图2 1 3 ( d ) 表示了用三层单阈值神经元网络实现的“异或”运算。”。显然， w 。器 “ = ) = ， ， 数字逻辑的多阈值神经元网络实现研究 20 为实现一个二值逻辑中的异或运算，需要三个单阈值的神经元。是否能用较少的神经 元即实现上述运算是本文首先考虑的一个问题。 ( a )