（电子科学与技术专业论文）图样间联想与洗牌型光学神经网络的研究.pdf

以常见黄金分割比轮廓的字符识别为例建立了混合洗牌型图样间联想模型，验 证了推广洗牌网处理问题的灵活性与合理性及其有助于提高系统资源利用率的 ，、， 功效。、7 ， 第三部分着手洗牌型光电神经网络系统的建立和实验： 疗1 ) 研究了光学局部互连的实现问题，包括系统参数设计、抑制串扰技术 7 及互连成象规范：论述了洗牌局部互连象差处理简单、易集成扩展的光电实现 优势。利用计算机显示器、透镜阵列、阁栅体、c c d 探测器等建立了具有完整 的加权互连，求和、非线性处理与反馈功能的洗牌型光电混合神经网络系统。 f 2 1 采用p s i p a 模型做了8 8 点阵的数字样本联想识别实验；实验与模拟 情况的一致证实了洗牌网理论的可行性和优越性。阐释了电脑屏输入引起的象 差和屏闪效应对实验精度造成的影响，探讨并提供了解决办法。) v 关键词：光学神经网络图样间联想洗牌型神经网络光电混合神经网络系统 a b s t r a c t t h ei m p l e m e n t a t i o no fa r t i f i c i a ln e u r a ln e t w o r k si ne l e c t r o n i c si sr e s t r i c t e db yt h e ”c l o c ks k e w ”o fv l s it h a tt h e i rs c a l ea n dp e r f o r m a n c es t a yi nc o m p a r a t i r e l yt o w l e v e l ；t h eo p t i c a ln e u r a ln e t w o r k s ( o n n s ) o rp h o t o n i cn e u r a ln e t w o r k s ( p n n s ) w h i c h a r ee x p e c t e dt og ob e y o n dt h er e s t r i c t i o nm a y c a r r yo u ts p a r s e l yi n t e r c o n n e c t e dn e t s w i t ha tm o s t10 4n e u r o n su n d e rc u r r e n to p t o e l c t r o n i ct e c h n i q u e s ，w h i c hi sf a rb e l o w t h a to fb r a i n sn e r v o u ss y s t e m i nt h i so c c a s i o n 。t h ed e v e l o p i n go f0 n nm o d e l si s b e i n gg i v e na t t e n t i o na sw e l la st h ee x p l o r i n go f a d v a n c e dp n n d e v i c e s ，i n t e n d i n gt o a c h i e v ee q u i v a l e n tl a g e ra n dm o r ep o w e r f u ls y s t e m sw i t hh a r d w a r ea v a i l a b l en o w t h er e s e a r c h e so f 也i sp a p e rf o c u sf i g h to nt h es t u d i e so f t h e0 n nm o d e l s t h em a i nr e s e a r c hw o r k sa n df r u i t sa r ec o m p o s e do f t h r e e p a r t s t h ef i r s t p a r t s r e s e a r c h e sa r eo ft h e i n t e r p a t t e ma s s o c i a t i o n ( i p a ) o p t i c a l n e u r a l n e t w o r km o d e l ( 1 ) t h en e u r o d y n a m i cs t a b i l i t yo fi p am o d e li ss t u d i e da f t e re x p a t i a t i n go ni t s p r i n c i p l ea n ds u p e r i o r i t y i t sp r o v e dt h a tt h en e ts y s t e mc o m e st o s t a b l e w i t h i no n ei t e r a t i o ni nc o n s t a n tz e r ot h r e s h o l d sa n di sa s y m p t o t i c a l l ys t a b l e i ng e n e r a li n s t a n c e sa c c o r d i n gt ol y a p u n o v sd i r e c tm e t h o da n dc o m p u t e r s i m u l a t i o n s at h r e s h o l dm o d i f i c a t i o ni st h e np u tf o r w a r dt oi m p r o v ei p a s a s s o c i a t i n ga b i l i t y ( 2 ) t h es t o r i n gc a p a b i l i t yo fi p ai si n v e s t i g a t e da r g u i n gt h a tt h el a r g e s ts t o r a g e c a p a c i t yo ft h ea u t o a s s o c i a t i o ni su pt oc o m b i n a t i o n sa v a i l a b l ew i t i la i l n e u r o n s ，a n dt h eh e t e r o a s s o c i a t i o nc a l lb ea c h i e v e dw h e nt h ea g g r e g a t e so f s t a n d a r di n p u t sa n dt a r g e t so w ns a n l et o p o l o g i e so re v e r y i n p u ts a m p l e p o s s e s s e si t ss p e c i a lc h a r a c t e r ( 3 ) at w o l a y e rh e t e r o a s s o c i a t i o n ( t l h a ) m o d e li sa d v a n c e do nm e n d i n gi h a a l g o r i t h m ，t h u se n l a r g e st h es t o r a g ec a p a c i t yo ft h el a t t e ra n de n h a n c e st h e p e r f o r m a n c e s o f p a t t e r nr e c o g n i t i o n a n dr e t r i e v a l c o m p a r e d w i t ht h e i n t e r p a t t e r na u t o a s s o c i a t i o nm o d e l ；a n di t s s t r u c t u r ei sf u r t h e ro p t i m i z e d f o ro p t i c a li m p l e m e n t a t i o n t h et h e m eo ft h es e c o n d p a r t i st h e p e r f e c t s h u f f l e t y p e o f o p t i c a l n e u r a l n e t w o r k s ( p s n n s ) ( 1 ) o nt h ei n t r o d u c t i o no ft h et h e o r e m ，s t r u c t u r ea n do p t o e l e c t r o n i cd i g i t a l i m p l e m e n t a t i o no fp s n n ，c o n s t r u c tp e r f e c ts h u f f l e t y p eo fi n t e r p a t t e m a s s o c i a t i o n ( p s i p a ) m o d e la p p l y i n gi p a a l g o r i t h m ，s i m p l i f y i n g t h e d e s c r i p t i o n so fb o t ht h ei n t e r c o n n e c t i n gw e i g h tm a t r i xa n dt h ep a t t e m s w h i c hm a k e si t a m o r e ”o p t i c a l ”m o d e l t h ea s s o c i a t i n gc a p a b i l i t y i s i m p r o v e dr e g a r d i n gt ot h ec l a s s i c a li p aw i t h a d v a n c e dn o i s ei m m u n i t ya n d r o b u s t n e s s w h i c hf u n h e ra u t h e n t i c a t e s p s i p aad e s i r a b l em o d e lf o r o n n s s t u d y ( 2 ) g e n e r a l i z ep s n nt o a - s h u f f l e t y p e o fn e u r a ln e t w o r k st oe x t e n da n d o p t i m i z e s h u f f l e n e t w o r k s a p p l i c a t i o n s a n d ah y b r i ds h u f f l e t y p e o f i n t e r p a t t e r na s s o c i a t i o nm o d e li s e s t a b l i s h e df o ri d e n t i f i c a t i o no fp o p u l a r c h a r a c t e r so u t l i n e di ng o l d e ns e c t i o n ，w h i c hd e m o n s t r a t e st h ef l e x i b i l i t y a n dr a t i o n a l i t yo ft h eg e n e r a l i z e ds h u f f l en e t w o r k sa sw e l la st h e i rb e s t r e s o u r c eu t i l i z i n g t h et h i r d p a r t i st h e i m p l e m e n t a t i o no ft h e s h u f f l e t y p eo fo p t o e l e c t r o n i cn e u r a l n e t w o r ks y s t e m ( 1 ) o p t i c a ll o c a li n t e r c o n n e c t i o n i ss t u d i e d i n c l u d i n g t h ed e s i g no fs y s t e m p a r a m e t e r s ，t h es t r a t e g yo fr e s t r a i n i n gc r o s s t a l k sa n dt h es p e c i a li m a g i n g s k i l l s t h e s i m p l em a n i p u l a t i o n o fi m a g i n ge r r o r sa n dt h ee a s i n e s st o e x t e n db yi n t e g r a t a b l ee l e m e n t sa r cs t r e s s e da st h ea d v a n t a g e so fs h u f f l e n e t s l o c a li n t e r c o n n e c t i o n t h e p e r f e c t s h u f f l e o p t o e l e c t r o n i c n e u r a l n e t w o r k e x p e r i m e n ts y s t e m i st h e ni m p l e m e n t e d u s i n gac o m p u t e rd i s p l a y ， al e n s l e ta r r a y , ab a f f l eg r i db o d y , ac c dd e t e c t o ra n de t c w i t l lw h i c hf u l l f u n c t i o n so f w e i g h t e di n t e r c o n n e c t i n ga n ds u m m i n g ，n o n l i n e a rp r o c e s s i n g a n d f e e d i n gb a c k a r ea c q u i r e d f 2 ) a s s o c i a t i v er e c o g n i z i n ge x p e r i m e n t sf o rn u m e r a lp a t t e r n si n8x8p i x e l sa r e p r o c e e d e de m p l o y i n gp s i p am o d e l ，a n dt h ef e a s i b i l i t ya n ds u p e r i o r i t yo f s h u f f l en e t w o r kt h e o r yi sc o n f i r m e db yt h ec o n s i s t e n c eo fe x p e r i m e n t a l r e s u l t sw i t ht h e o r e t i c a ls i m u l a t i o n s t h ei m a g i n ge r r o r sa n ds c r e e nf l a s h c a u s e db yt h ec o m p u t e rd i s p l a yi n p u ta r ce x p o u n d e da n ds o m er e s o l u t i o n s a r ep r o v i d e d k e y w o r d s ：o p t i c a ln e u r a ln e t w o r k s ，i n t e r p a t t e ma s s o c i a t i o n ，p e r f e c ts h u f f l et y p e o f n e u r a l n e t w o r k s ，h y b r i do p t o e l e e t r o n i cn e u r a ln e t w o r ks y s t e m 第一章绪论 1 1 光学神经网络的兴起 1 1 1 神经网络与智能计算机 现代计算机技术的飞速发展，其数值计算的速度和精度都远远超过了大脑的水平：但 限多对大脑来说轻而易举的信息处理任务，如人脸、手写文字识别，自然语言理解，复杂 图景分析，白适应控制以及学习、联想、推测和优化决策等，让计算机来完成不免相形见 绌。面对随着时代发展不断增加的社会需求，人类高科技面临又一项重大挑战智能计 算机的开发。 这一领域一直存在两条思路或并行或交替地发展着：一种是基于图灵论( t u r i n g s t h e o r y ) 的，遵循由少数复杂的处理单元以串行方式，依靠事先编制的程序来运行解决特定 问题的冯诺依曼体系。凭借提高现行计算机的速度、容量和软件水平，期望将计算机智 能提高到达到或超过人脑的水平，即所谓的人工智能a i ( a r t i f i c i a li n t e l l i g e n c e ) 。如今a i 敛力于将第四代计算机( 运算速度达1 0 ”次s ) 与智能软件和智能接口相结合，这方面的专 家正为之而努力。 另一条思路，是基于模仿大脑机制的人工神经网络a n n ( a r t i f i c i a ln e u r a ln e t w o r k s ) ； 这一途径的研究已取得了突出的进展。大脑神经细胞状态翻转时间标度为几十m s 量级，与 电脑c p u 速度相比是极慢的，但它依靠庞大的神经细胞数目( 1 0 m “个) 和神经细胞问高 度的互连( 平均l o “个神经元) 完成着许多计算机难以胜任的工作。a n n 正是利用这种互 连主义( i n t e r c o n n e c t i o n i s m ) 原理，设计大量简单的运算单元通过复杂多样的互连产生整体 功能，超越高速串行计算机的处理极限。 1 9 4 3 年m c c u l l o c h 和p i r t s 首先提出人工神经元数学模型( m p ) 1 2 1 ，到5 0 年代中期至6 0 年代初感知机( p e r c e p t r o n ) 及其学习算法获得局部成功是a n n 发展的第一个高潮阶段： 之后经过近2 0 年的沉默和少数先驱者的不懈艰苦努力( 如k o h o n e n 、h o p f i e l d 、g r o s s b e r g 、 a n d e r s o n 等) ，终于于8 0 年代初突破了单层线性网的局限，以功能较强的非线性多层网以 及各种行之有效的学习算法重新兴起，并已在模式识别、信号分析、机器人控制等工程技 术以及军事、商业、管理等领域得到了广泛的应用口j ；由于在理论和应用两方面新的成功， a n n 已成为诸多科学与技术学科共同关注的重大课题，至今方兴未艾。其战略目标是建造 能实现任意a n n 模型的通用硬件系统，即神经网络计算机 4 】。 一般认为，基于现代数字计算机的a i 模拟了人类的逻辑思维，而神经网络计算机则模 拟了人类的形象思维。从研制智能计算机的角度神经网络计算机和传统数字计算机是不 能完全相互替代的，二者的互补结合如同左、右脑的结合，将是下一代计算机智能机 发展的方向与主流。 1 1 2 人工神经网络的实现 人工神经网络的实现主要在两个层次上进行【“。第一是软件模拟，包括直接电子计算 翌二里堕丝一一 机或插装专门为神经网络设计的协处理板和加速板模拟；其优点是避开了技术上的复杂性， 可仿真实现任意模型的a n n ，是人工神经网络研究的得力工具。但随着a n n 大量并行互 连规模的扩大，以串行总线方式工作的计算机被占用资源和运算速度都难于满足实际要求。 第二是物理实现，即利用各种电子、光子、化学甚至生物材料和器件组成物理意义上 的a n n 处理系统，建立实际的人工神经网络。脑神经系统的生物电化学本质使得电子方法 成为实现a n n 最直接的思路之一，利用超大规模集成电路技术制作的模拟【7 】f 8 】和数字 9 】电路 神经网络芯片9 0 年代初已经问世，有些已有商品。电子方法的可编程、易控制、易集成、 易实现复杂功能神经元的优点，加上成熟的集成电路技术，使小型集成的a n n 推向实际应 用成为可能。但电子互连很大程度地制约着a n n 的规模：引线的交叉、过分靠近引发的电 磁耦合、延时及弥散成为高密度的高速率电子互连的严重问题；电子系统低的抗电磁干扰 性能在超大规模集成电路中造成所谓的“时钟扭曲”( c l o c ks k e w ) ，是限制其集成度和速度 提高的重要因素。以 ，个神经元的全互连非学习的a n n 系统为例，其互连数正比于倒妒) ， 从而芯片面积正比于0 ( 胪) ，在o 5 a n c m o s 、四层布线工艺下，其规模的理论极限仅为1 0 0 0 个神经元，尚没有学习能力【”l 。 另一方面，光学系统和生物神经系统共有的“三维”特性使得光学成为实现a n n 的另 一条重要途径。首先，光学内在的并行性容许二维平面内的多通道并行信息处理i ，系统 具有大的空间带宽：其次，光子作为玻色子，抗电磁干扰能力强，相互交叉不会发生串扰， 因而具有强大的互连能力，扇入扇出系数高m 】：第三，光子学系统时间带宽大、延时极小。 光子器件响应时间可在飞秒以下，超过了电子系统水平，可以快速实现矩阵内积、二维变 换、卷积和积分求和等大信息量运算：并且在其空间带宽范围内，运算时间与神经网络规 模无关，即网络神经元数目的增大、从而互连数的平方增长及神经元状态演变计算量的增 大不会降低系统运行的速度。光学的这些特点正是a n n 的大规模并行性和高度互连性所期 望的，也是光学与电子学等其他技术相比的优势所在；正是这种优势和潜力，使人们对用 光学技术实现a n n 光学神经网络o n r n ( o p t i c a ln e u r a ln e t w o r k s ) 寄予了厚望i ”】n 4 】。 h o p f i e l d 模型提出不久，1 9 8 5 年d p a s l t i s 和h f a r h a t 建立了最早的o n n 系统外积型 光学联想存储器f i ”：至今o n n 研究已具相当的规模，积累了很多经验，系统的结构、器件 都有多种改善，网络功能也有很大提高。 反观，光学实现a n n 也存在不少困难。主要问题是光学领域里还没有找到如电子学中 “硅”的可编程操作的光学器件，较难实现可编程、自适应学习的通用系统。再者光学实 现双极权重和双极性神经元即光学相减、非线性取阈比电子学方法更为复杂、困难，而这 些操作作为神经网络的或重要或基本的特征，对提高网络存储容量与信噪比以及实现自适 应学习都起到重要的作用。另外光学运算的精确性、光学存贮的实时性等也是o n n 技术中 的重要研究课题。 基于以上原因，迄今为止全光的o n n 只占少数，大部分都借助计算机或电路来完成光 学不便的特定阶段的处理工作；因而现有光学神经网络，确切地说是以光互连为主体的光 电混合神经网络系统。 1 2 光学神经网络的现状 o n n 经历了十几年的发展，形成了初步完善的体系。以下将分别从系统结构、器件实 现及模型改造三个方面回顾总结已有的光学神经网络系统。 浙江大学博士学位论文：图样间联想与洗牌型光学神经恻络的研究 1 2 1 o n n 系统基本构造 根据光学实现互连的不同方式，o n n 系统有一维神经元互连和二维阵列互连两种基本 结构( 简称一维互连和二维互连) 。 将神经元排成一维线阵，输入神经元和输出神经元交叉放置，选通不同交义点，可完 成任意输入输出神经元之间的互连，这就是一维互连，又称几何互连：圆1 1 是神经元为条 状的几何互连系统示意图，其中“) 为一维输入向量， _ ) 为加权和输出向量。 图1 i一维神经元互连结构示意 一维互连的特点首先是系统结构简单，早期的光学神经网络多采用这种互连机制m l ”。 最早的光学联想存储器就是具有2 0 个一维神经元的系统，由发光二极管和光探测器线阵分 别构成输入、输出向量，光学模板实现权重矩阵l 。 第二是系统易集成化。将电子控制电路和光子器件集成为光子神经网络芯片，采用几 何互连，可实现小型集成的o l i n 系统。yn i t t a 等【l b l 用g a a s 和a | g a a s 制成的可变灵敏度 探测器( v s p d ) ，综合了空间光调制器和光探测器的功能；将二维的v s p d 阵列芯片和一 维发光二极管阵列相连构成了混合集成的可编程处理系统。j o h t a 等m 研制的光学矢量矩 阵乘法器芯片，将3 2 个线状发光二极管和3 2 个与之正交的线状探测器集成在一起，用夹 于两者之间的透明片编码权矩阵；通过芯片完成整个光学加权求和过程。 这种牺牲光学的二维并行性、换取系统的小型集成化的方法是o n n 发展中值得注意的 一个方向。并由于一维互连系统的简单化，在科研实验中一直有人采用1 2 0 】f 2 1 】【2 “。 与此不同，二维互连的出发点则是为了充分发挥光学自由空间互连和并行运作的优势， 以做到更大规模的o n n 。8 0 年代末，t a i w e il u 等首先建立了二维h o p f i e l d 光学神经网络【2 ”， 其核心是将四维张量权重显示于二维平面( 计算机监视器或空间光调制器) ，通过特定的空 间排列完成与二维输入的矩阵张量相乘，实现二维神经元之间的互连。二维互连充分利用 了光束各通道间无干扰及大规模高速并行的特点，大幅度增大了可处理信息量。9 0 年代以 来基于这一方向的研究工作大量展开，二维互连结构成为o n n 的主流；其规模逐渐扩大， 系统趋向完善、合理。k n o g u c h i 2 4 j 提出过4 8 4 8 神经元阵列的串行互连联想存储系统，国 内外多家研究机构在不同方案下完成了3 2 3 2 阵列的并行全互连o n n 系统【2 5 】【2 6 l 【2 ”，并正 致力于推向更大规模与集成化的系统。 图l - 2 和图1 - 3 所示是这一类o n n 系统中的两个典型模型，代表了实现二维光互连的 两种不同方式。 笙二生堕坠一 图1 - 22 - d 互连o n n 模型i ：衍射元件位于输 与权平n z f m 模型i 中权平面( 显示器1 ) 和输入面( 显示器2 ) 分别位于互连元件( 这里为透镜阵 列) 的前、后 2 3 2 8 1 。n 阵列神经元的系统中，四维互连权矩阵 0 。) 由二维n x n 个子权 矩阵组成，每一子矩阵又为n 阵列，编码到相应输出元的所有连接；其权矩阵1 w m 分 布如图1 4 ( a ) ，每一小方块代表一子互连阵。当光源照射显示器l ，n 个子互连阵经散 射由对应的n x n 个透镜投影于输入显示屏( ) ) ，在成象透镜后生成n x n 个加权和输出 ，。) ，该结果由c c d 探测器接收送入计算机做取阈等处理，并由计算机将处理结果反馈于- 显示器2 作为下一层输入，同时相应调整显示器1 中i w m 以进行新一轮神经计算。 图i - 32 - d 互连o n n 模型i i ：输入与权平面位于互连元件同侧 模型i i 的互连机制有所不同，输入和权显示位于互连元件的同侧【2 9 l 。图i - 3 所示系统中 输入州液晶光阀l c l v 显示，权矩阵用全息片编码；全息片同时作为衍射元件完成互连， 4 塑坚盔兰坚：! 堂焦堡兰! 望堡塑壁望复塑塑型些兰塑丝塑竺堕业丝 如果将全息片的两个功能在空i n j e 分离或换用其他互连元件( 如透镜阵列) ，权显示西应赴 互连器件之前t 即输入和权显示在互连元件的同侧。此时权矩阵排列具有与模型i 相同的 整体结构，不同之处是子权矩阵描述对应输入元发出的所有连接，见图1 4 ( b ) 。幽卜3 系统 j 蔓作如f ：输入样本成象于l c l v 空间光调制器，由激光束读出并由偏振分柬器p b s 投射 剑全息片，输入阵列的每一元素通过全息面中相应的块子全息圈( 子矩阵) 出射所有输入 点的衍射光迭加获得加权和t 再在频域中滤掉低频信息( 付氏透镜和滤波片) ，取出所需的 衍射级次，由延迟透镜重新转换为加权和输出的空间分布：之后的光e h 转换、后期处理和 反馈过程同模型i ，只是用全息片做互连器，系统的i w m 是吲定不可变的。 曰曰一圈回圈圈 圈曰 回圈 图1 - 4 四维互连权矩阵分布示意( a ) 模型i ( b ) 模型 模型i 和模型i i 基于不同的运算顺序，演绎了神经网络内积型和外积型两种互连机制， 其功能是等价的a 值得说明的是，图i - 2 、图1 1 3 中所用的空间光调制器及互连元件等并非 各模型所特有，可以等价替换；只在说明两种互连结构的同时了解各器件在o n n 系统中的 角色，方便下一节具体介绍。 对这两个基本模型有多种的变形和改造，如在c c d 探测器和计算机间另设闽值电路i 等。图1 - 5 是采用较广的一种改进模型1 3 】j ，用两个层叠的液晶显示器1 、2 分别显示输入图 象和i w m ，光照下形成加权的光场，由透镜阵列完成互连、叠加直接成象到探测器，权矩 阵分布同图l - 4 ( b ) ：系统结构简洁紧凑，不必使用大孔径成象透镜，光能利用率和输出象差 图1 - 5 二维互连的改进模型 兰二兰丝堡 一一一一 二维互连使光神经网络走向大规模成为可能，是o n n 研究的主要方向。 1 2 2 o n n 器件及实现 o n n 系统实现中的关键器件包括：输入、输出和权矩阵的加载器件，光互连器件及取 闽器件等。以下结合所提供的几种典型结构逐一介绍，关于最新发展的神经元综合器件如 灵巧象素点阵器件和垂直腔表面发射激光器件等稍后于下一节做详细说明a 加载与互连器件 传统的空间光调制器s l m ( 如l c l v ) 和九十年代以来采用较多的可编程液晶显示器 是编码神经元阵列和i w m 的两类主要器件。实现互连的器件主要有两大类：衍射元件和微 光学元件，衍射元件同时具有编码i w m 的功能。 图1 3 中用作输入的l c l v 是常见的记录神经元阵列的空间光调制器，在相干光系统中 可对光学图象进行偏振调制，非相干光系统中亦多有采用，如s h e n g q u a ng a o 等【2 6 】建立的同 轴互连系统中，输入图象用液晶光阀阵苑j ( l c s a ) 演示：传统s l m 还有铁电空间光调制器 2 3 i 等。九十年代初f r a n c i stsy u 等先后提出视频监视器( v i d e om o n i t o r ) 1 2 ”和液晶电视屏( l c t v ) 空间光调制器【3 1 ，其分辨率高( 几百到几千平方量级) 、动态范围大( 不小于2 5 6 灰度阶) 且 连续可调，连于计算机后可随时任意调整更换显示内容，而且经济方便，是较为理想的可 编程空间光调制器。由于l c t v 体积小并克服了视频监视器的曲率效应，之后广泛用于实 验研究。 全息元件作为实现光互连的重要手段，通过微光栅衍射控制光路完成预定连接，多采 用计算机产生的全息图( c g h ) 。c g h 诞生于1 9 6 5 年口3 i ，原理是根据光波的数学描述，由计 算机设计并控制绘图仪等记录模拟的干涉图样，理论上可以实现任意波前的变换。由于其 方便灵活、空间带宽积大并易于复制，实现互连尤其大规模互连有一定优越性【“l 。但一般 的平面全息图伴生高阶衍射，衍射效率不高，而且互连度大时存在严重的串扰1 3 5 1 。通过改 进编码方法提高全息互连的精确度和效率的研究有不少，如g e r c h b e r g s a x t o n 、模拟退火、 自由搜索算法等【2 9 1 。平面全息图另外一点不足是只能记录固定的i w m ，不便调整。 相息图由于只记录光波位相，照明后产生单一的波面，无共轭象或多余的衍射级次， 衍射效率很高且避免了串扰，但制造也相对复杂：高质的相息图要求高速、大容量的计算 机和高分辨率的电子束、离子束刻蚀成图设备：目前为止，相息图只能由计算机控制产生。 体全息图( v h o e ) 利用材料的厚度消除高阶衍射，大大提高了衍射效率、减小了串扰， 从而可以实现巨大数目点对间的加权互连【3 6 】p ”。另外可实时记录擦除的体全息材料是可学 习o n n 系统的关键器件和实时o n n 系统中可编程权互连器件的重要选择，从而寻找高灵 敏度、实时记录、具长期或短期存储能力的光折变晶体、高分子材料等v h o e 记录介质成 为当前一个重要的研究方向【”】【”1 。 全息互连元件一个共同的限制是必须使用相干光源。 微光学元件包括光学透镜阵列、棱镜阵列d o l 和折射率梯度微透镜阵列p - 】等。微光学互 连一般设计简单，光能利用率高，对波长不敏感，可以用非相干光工作，被普遍地采用。 现在商品化的折射率梯度微透镜阵列已做到2 5 6 2 5 6 t 4 2 】，3 2 x3 2 透镜阵列互连的o n n 系 统已经实现。这类方法的缺点是系统规模难于进一步扩大，制造工艺要求严格，实际光学 系统的偏差距离准确表达权连接还有一定差距。 6 浙江大学博士学位论文：图样间联想与冼牌型光学砷经网络的研究 微光学互连技术在o n n 的早期，、泛使_ f = j ，至今仍不断改进完善。有将同轴光成象技术 用于透镜互连系统1 2 6 ，有效减少了离轴偏差，提高了光能利用率，但需在透镜阵列与输八 平面间再放置一大孔径成象透镜。还有采用相位阵列分束器做互连元件1 ，克服了透镜阵 列加工和装校的困难，同时解决了子透镜象差和通光孔的衍射限制空间信道容量密度提高 的问题，使系统具有增大信道容量的潜力；但目前相位分柬器产品的阵列规模较小。新近 提出的光栅一透镜组合阵列的设计i ，利用自变换函数的放大t a l b o t 自成象效应实现光互连， 系统简单、易于调整。液晶微透镜阵列的发展对微光学互连具有突破性意义1 4 5 1 ：传统元件 采用固态或聚合物通过精密的离子交换技术制成，用向列型液晶材料制作的光学元件具有 高的双折射：平行板电极结构中，利用液晶分子重取向产生的电光效应控制入射光强及相 位，孔式电极的电场作用下折射率梯度可连续变化，因而液晶微透镜阵列具可变焦性能一 一包括在光轴和焦平面上取焦点【4 6 1 ：这些为o n n 大规模、自适应的实现提供了有利条件。 双极性权的实现与非线性取闽 光互连做矩阵向量求积是光学实现神经网络的重要优势，但对加权互连结果的处理不 及电子系统方便。前述典型模型中将光学矩阵运算后的处理工作统统送计算机完成，实际 系统有多种光电混合或光学方法实现正、负权和相减及非线性取阈操作。 双极性权和光学相减的实现，相干光系统中可以采用相编码或偏振编码技术【4 7 】【4 “，还 可与振幅调制结合使用1 2 ”，但都不可避免系统的复杂化。菲相干的光电混合o n n 系统中， 常用的方法是依次使用正、负权矩阵分别得到正、负加权和，再通过电子线路或计算机做 减法操作【4 9 】，其缺点是增加了系统处理过程，损害了系统的并行性。也有对波长和光束方 向编码的方法 s o 】，加入相关的偏置光并通过l c l v 实现光的正、负态，再用光栅或微透镜 阵列将同组的正负光叠加在一起实现光学并行相减。此外也有人提出利用波长特性做彩色 编码 5 1 】，作者用i n t i - n a 荧光灯光源，用楔形体散射三原色到彩色胶卷记录多灰度1 w m ， 通过彩色编码的权矩阵得到的输出单元是由三个波长参数分别表征各级正、负权的六个光 斑，由计算机做统计相减。应该说，光学或光电混合实现双极加权还没有很理想的方案， 除了不得不借助计算机或电子线路，光学方法往往使系统更加复杂，加大了实用难度。 o n n 的非线性取阈手段一般有以下几种：类似于光学相减，直接把加权求和的结果通 过探测器送入计算机处理是常规方法之一：由于光路必须被截断，容易引发瓶颈问题：这 在权平面固定的多层网中尤为突出，同时还需要补充光源与其他光学元件，加大了系统规 模。用液晶光阀实现光取阈摆脱了电子学手段口”但也要中断光路并需要各层增设激光光 源来读取取阈结果，加之l c l v 本身比较昂贵，还难以广泛采用。电子阱技术可实现快速 取阈f ”1 ，网络每层都需要红外光源，离实用较远。9 4 年a l a i n 等用l c t v 、c c d 和光束采 样器制成的光电取阈集成元件口“，通过反馈完成取闽，构造相对简单，且不阻断光路、不 需附加光源并保持传输不变，具有一定实用价值。文献【5 5 采用非晶硅液晶光阀，利用非晶 硅的光电导特性和液晶的光电特性，通过新型控制电极，实现纵向控制的透射型取闽操作， 具有分辨率高( 4 5 1 p m m 以上) 、并行处理信息量大等特点，且适于各种光源系统、使用简 便，是较好的光学阂值处理元件。 7 笙二皇竺堡一一 1 3 光学神经网络的发展趋势 o n n 的研究者们不断努力，已可以较好地实现某些经典的神经网络模型：如h o p f i e l d 2 3 1 、多层联想存储【5 6 】、自组织无教训练m 】、多层自适应网络【5 8 1 等；也尝试着完成一些较复 杂网络及某些改进模型以提高光学系统的工作性能，如多种可学习网络i ”i 【”】- 【6 ”、双向联想 网络j 、竞争网j “、哈明网f 6 ”、模糊神经网络忡1 、主元投影模型f 叫、终端吸引子识别技 术【。”、分维傅立叶变换( f r t ) 模型【6 9 】等。对光学神经网络的学习能力、光学实现引入的 限制与误差及光网络的动力学行为，在实验和理论两方面已有专门的研究【7 0 】- 【7 ”。 现在o n n 的发展趋势主要有二：一是研制改进o n n 器件、完善光学系统使其适应已 有的神经网络模式，靠硬件革新实现大规模和自适应：二是改进已有的或创建新的神经网 络模型和算法，使其适于光学实现，在现有的光电子技术水平和硬件规模下实现大规模、 自适应o n n 。 光子器件的研制代表了o n n 器件发展的最新动态和未来趋势。以往的光电混合神经网 络系统中神经元的功能由分立的光电转换探测器、电子计算机或取阈电路或反馈光路、 电光转换空间光调制器联合完成，系统中并不存在一个空间单元可以称作神经元，这种结 构也难以做到很大的规模。所谓“光子器件”是将光学元件与电子元件相集成、融合光学 时空带宽积大和电子系统可编程易控制的特点开发的光电神经元器件。如近年来逐渐成熟 的灵巧象素器件( s p d ) 2 7 1 1 7 ”，其核心是利用v l s i 技术在传统的s i 、g a a s 或i n g a a s 芯片上 键合表面发射激光光源、光调制器和接收器，将光子探测器、非线性取阈等内部逻辑控制 单元、发光阵列以及空间光调制器有机地集成在一起，构成可编程灵巧象素器件，完成一 - 个神经元的全部功能【7 ”。由此构造的可编程灵巧点阵( s p a ) 表征的神经元向量直接接收光 学输入，在内部逻辑控制单元实现双极性求和、取阈、放大等操作，再转换为光学状态输 出，即为网络的终端输出。高度集成的s p a 可以独立完成o n n 加权互连的全部后处理，是 当前o n n 开发的重要对象。目前光电子技术己可以提供1 2 8 2 5 6 点阵的s p a ，可以胜任近 距离和中等距离的并行光互连和光计算，实现更大规模的o n n 系统尚有困难。 我国南开大学经多年研制的液晶灵巧象素神经元阵列器件，以非晶硅做光敏材料，以 液晶实现光调制，具有大孔径角、高分辨率和高空间带宽积j 【7 e 】；估算在l c m ：的有效面积 上，使用一般光刻技术( 设每个象素5 0 u m x 5 0 u m ) 能集成4 0 0 0 0 个神经元【7 ”。 多量子阱器件垂直腔表面发射激光( v c s e l ) 是半导体与光电子技术的最新成果1 7 8 i 【8 c i 。 v c s e l 器件能产生单模、高功率、低阈值的棉阵激光阵列，不需预偏置即可获得高调制速 率且驱动电压低：通过芯片键合技术与大数值孔径微透镜阵列实现短距离光互连，在光通 信、数字光计算与光互连等领域有着广泛的应用前景【8 1 1 1 8 2 i 。国外许多相关机构都在进行或 准备开展v c s e l 的研究制造。 ， 与此同时，适合光学实现的神经网络模型不断被发掘改造。光学神经网络问世不久，hj w h i t e 等部】便在用全息互连实现离散h o p f i e l d 模型的设计中提出，在互连权矩阵t 上加一偏 置常数使全部互连为正，同时相应抬高闽值使等效于原模型，从而避免了负权的编码与求 差，方便光学实现。延续这一思路，在一维神经元网中，利用偏置项使互连权具有依赖输 入的分布式背景，结合依赖输入的动态取阈值，一定程度上提高了网络性能口3 1 。is h a r i v 对 离散h o p f i e l d 模型进行优化【8 4 】，去掉了所有正权，改造为只含有抑制性权即全负权的互连 矩阵，实现了全光网络并证明识别率有所提高。为了解决多灰度权实现的不便，有研究将 浙江丈学博士学位论文：图样间联想与洗牌型光学神经网络的研究 h o p i l e i d 模型的i w m 压缩到0 、1 、2 三态叫j ，也有采用非对称截值点的截值模型使i w m 成为二极值化( i ，0 ，一1 ) 的矩阵【“l ，易于光学实现的同时提高了h o p f i e l d 神经元状态非等 概率分布时的存储性能。与此相反，黄达诠等即埽0 用l c t v 的高分辨率以颜色区分神经元 的不同