人工神经网络的研究及在计算机视觉中的应用.doc

人工神经网络的研究及在计算机视觉中的应用1991年吉林工业大学第2期JOURNALOFJILINUNIVERSITYOFTECHNOLOGYN9.2l991人工神经网络的研究及在计算机视觉中的应用电子工程系戴逸松陈贺新郭殿龙王殿方摘要现代社会不断增长的技术需求,需求一些能够解决更高技术问题的新技术与新方法.具有并行计算能力和自学能力的人工神经网络为此提供了很好的解袭办法.本文仅就人工神经网络的研究进展及在计算机视觉中的理论与应用研究进行讨论,并对其存在的问题提出我们的观点.关键词人工神经网络,自学习,并行计算,计算机视觉0引言人工神经网络是由大量简单元件(电子元件,光学元件等)广泛相互连接而成的复杂网络系统,它是在现代神经科学研究成果的基础上提出来的,反映了人脑功能的若干基本特征,但它并不是人脑的逼真描写,而是人脑功能的一种抽象与模拟.人工神经网络的特点是分布式存储,异步并行处理,自适应,自学习和具有容错性.这些是现在正在广泛使用的计算机所不具备的.由于传统的数字计算机本身固有的程序形式,数字化和串行处理方式以及局域式地址存储等特征,使其在模式识别,联想记忆,复杂系统控制,制约优化,语音分析与合成,计算机视觉等方面的应用受到了很大的限制.因此,近几年来,人工神经网络的研究与应用引起了国际学术界的广泛关注.早在加年代,MoCulIouch和PJtts就开始了有关神经冈络模型以及模拟计算方面的研究同时,HebbEz在这方面也进行了大量的研究.到了60年代初期,随着计算机研究的飞速发展,各国学者对于工神经网络的研究开始兴起,美国的两个主要研究小组的主持者分别是RosenblaR教授和Widrow教授.7O年代初期至80年代初期有关人工神经网络的研究工作处于低潮,原因是工神经网络需要并行处理,而当时计算机技术尚不能实现,编码后的处理结构蕴涵在视觉机理中,人们仍然不能理解神经网络.然而到了8O年代,由于认知科学,神经生物学等发现今天的计算理论已对人脑的内在机理无能为力,而希望于通过神经网络理论的研究去产生新思想,新理论,因此,人工神经网络理论与应用的研究重新掀起了高潮.这些研究工作表明对视觉机理的理解似乎落后于收稿rJ;1990一I2_23一l02处理手段的发展.在这一阶段中,做出重要贡献的有Balard,Hopfleld以及Ackey等人.将人工神经网络理论应用在具体实际工作中的研究工作更是众多,例如,】987年Sejnowski和Rosenbergt将人工神经网络应用在英语发音合成中.目前,神经网络的发展不负众望,各个学科的学者都看到了它的光辉前景.但是,同其它学科的前进历程一样,这一新学科在一些令人鼓舞的结果大量涌现的同时,也产生了不少令人头痛的问题.正是由于这些问题的存在,激发着人们不断深入地研究,从而更进一步地揭示人工神经网络的系统理论,使各个应用领域科技发展来一次大的飞跃.当今,世界各国正在组织与实施一些与人工神经网络有关的重大科研项目,如美目的DARPA计划,日本的HFSP计划,法国的.尤里卡计划,德国的.欧州防御计划和苏联的高技术发展计划等等.1986年d月美国物理学会在Snowbirds召开首次国际神经网络会议I987年6月IEEE在SanDiego召开国际神经网络会议,同年国际神经网络学会诞生;1988年神经网络杂志创刊;1988年1月神经网络学会和IEEE等组织了第三次国际会议;IEEE计算机学会,控制与系统学会,信息与信号处理学会,电路与系统学会,生物医学工程学会和光学学会等相继推出了神经网络特刊.神经网络已渗透到各个领域,并在智能控制,模式识别,计算机视觉,自适应信号处理,非线性优化,知识处理,传感技术与生物工程等方面涌现出了一大批可喜的成果,在此就不一一列举.1典型的人工神经网络模型1.1典型的单层神经网络模型人工神经网络模型是重要的理论问题之一.因此,许多人在这方面都进行了大量的研究1943年,McCulIouch和Pitts提出了一种称作门限逻辑单元网络的模型,为了纪念他们,也称该网络模型为MP模型.该模型表示为I(+1)=Sgn(U.()(1a)u-()=()+,?(1b)这里lLv.其中U.()表示在时刻时,第;个神经元(即神经网络中最简单的非线性单位,例如一个放大器)的输出状态T,(+i)是时刻+i时第个神经元内部状态;.是第个神经元的偏置(也称外输入);表示第个神经元的输出馈接第个神经元的输入的连接.强度,通常以权参数给出;sgn(.)是符号函数,其意义为sgn(U/k)=_:注意,当U.0)=0时,式(1a)中的I(+1)=.().式(J)和(2)中的表示神经网络中神经元的个数.显然,MP模型理论的难度在于如何建立合理的内部联接结构,否则式(1)中的参数就无法计算,最终得到的神经网络也会失去效果.在具体应用MP模型时,许多人都采用了同步等效形式.其中典型的等效模型由LittleL提出,因此也称为L模型.一】03L模型与MP模型的区别在于将式(1a)中阶跃的sgn(.)符号函数用一个S型函数g(.)代替.其优点是S型函数是单诃递增函数,使其能量函数容易收敛于网络的稳定平衡点或渐近稳定平衡点.与L模型和MP模型相似,Hopfieldi-于1982年提出了用微分方程表示的一种神经网络模型,常称为H模型,即1,?一TiVj一6?+,?l】|(3)v一g(,)l.,J这里(,)一般为S型函数,g()一1/1+exp(一U,1o.).能量函数:一0.5T.I,一V.,.这时,有J=JJJl一Tlla.(d)=II+1/(.)(5)这里,%是第J个放大器输出接至第i个放大器输入的电阻.1990年,BarKan等人关于连接电阻R给出了设计方程,从而进一步解决了MP模型中内部连接结构很难确定的问题.内部连接矩阵可由下式确定:T=;(6)1十R?2E其中,g.,一l/%I鼠表示第个神经元毗邻神经元的集合.Bctzmann机(简称B机)叼也是神经网络中常用的模型.它适用于约束其中包括许多弱约束满足的任务.B一机学习算法实际上是一种最大似然方法.优点是可容易地由简单处理单元组成二值的并行网络实现.为衡量同络的权重怎样用于有效地建模,定义一个信息测度G,它是B-机实现输出模式和外界模式之问的不一致的测度.B-机学习算法就是由这个测度推导出来的.令B一机的外界输入矢量维持一个足够长的时间以至使B-机达到平衡,并忽略存在子外界输入矢量中的任何别的结构,则外界结构可由几个显单元所有2状态上的概率分布确定.B一机实现与外界输入的随机运行达到平衡时严格相同的概率分布,则认为B-机有一个理想的外界模型.G由下式表示:G=()抽毒专l(7)其中P()是当B一机状态由外界确定时显单元第z个状态的概率,()是当有外界输入时相对应的概率.学习方法的每一步依据对测度G关于权重的梯度的估算,即=一专(一)(8)这里,是有外界输入时两个单元同时导通的平均概率,是没有外界输入时的相应概率.T是控制系数.1.2典型的多层幸申经网络模型上述几种典型的神经网络模型都由简单神经元构成一个单层互连网络,而且在网络一10d一i内部存在着反馈.如果用简单神经元分层互连通就构成了各种各样的多层神经网络模型(也称Perceptron网),其中,输入和输出分别占有一层,隐含可以用多于或等于一个层次形成,也可以无隐含层.Hamming神经网络一是由计算匹配度层和最大值层组成的二层神经网络,这是一个具有样本识别或联想的神经网络,而且权也是固定的.假定.(1I)是输入矢量的第i个元素【(】)是样车第j个元素为输入矢量维数M为样本矢量维数.于是,有输入层的权W.=(2f1)/2(9)和输出层的权=一:;筹c.这里表示第j个样本的第个元素,表示输入层第t个输入到第个神经元的连接权;表示输出层第个神经元到第个神经元的连接权.Hamming网的迭代公式为:1U(0)=:W(2X.一1)一口l呈lU(+1)=:()l其中u()表示0时刻的输出(.)函数为S型函数,q为第J个神经元的偏置.Hamruing神经网络的最大特点是噪声敏感特性.另外,】988年日本学者Torioka和Ikedat提出了一种具有内部正反馈连接特性的二层随机网络系统,该网络利用分布和泊橙分布等随机模式进行学习计算,并在图象分割方面进行了研究.这种网络的基础来自Mart的脑皮层理论1.1987年Kohonen提出了自组织特征影射网络模型一Kohoncn模型.人类大脑存在着神经元的有规则的排列现象,根据外界刺激(例如视觉神经突触的作用)不同,其排列也不同,这种现象称为自组织.多层Kohonen网络模型由几层Kohonen网络构成,每层中包含着一定的输入神经元和输出神经元,通过权把辕入神经元和输出神经元连接起来.输出通常排列成二维的网络形式.以Kohonen网络作为分类器可使观测值的】作为训练数据.于是,可以大大减少数据处理量.1985年Rumelhart等人】提出了具有反向传播修正误差能力的多层神经网络BP模型.网络包括输入节点,辕出节点和一层或多层隐含节点(节点也称之为神经元).对于输入值,要求先向前传播到隐含层,经过作用函数运算后,再把隐含层的输出信息传播到输出层,这里的作用函数通常是S函数.该网络学习过程通过神经元(即节点)的能量函数的计算进行.饲如,第个样本误差能量为:毋=】/2J(一)(】2)其中,分别是第p个样本的期望值和实际输出值.权的修正目的就是使误差函数减小.另外,还有许多类型的多层神经网络,饲如,Carpenter/Grossberg模型等.1.3其它特殊神经网络模型】988年,Chua等人提出一种称为细胞网络模型(简称为CNN模型).该网络结构一l05采用二维形式,每一个单元电路采用带反馈的运算放大器,每个单元电路叫做细胞,各单元电路(细胞)之间相互连接.该模型已在图象处理中得到了应用.一些高阶神经网和Maxnet网络在图象识别中应用效果也很理想.高阶神经网络可描述为:Y.:SEnet()3=Sir.()+()+()(13)其中Y是第个高阶神经元输出,.()是第n阶项:T()=W-(,)(j)(;)=(,j,)x()()了;i这里工(j),工()为输入l.(,J,)是阶可调整权S为门限函数?另外,还有许多混合型神经网络,即把一些典型的神经网络采用一定形式连接成一个神经网络.总之,根据应用中的实际需要会建立许多具有不同特点的神经网络结构及其模型.2人工神经网络实现研究人工神经网络都必须以硬件芯片为基础.美,日等国都把基本电路和器件开发列为最优先的研究课题.超大规模集成(VLSD技术和光学技术的迅速发展为具有并行处理功能的神经网络硬件芯片的研究提供了技术可能性.由此,从以下两方面讨论神经网络的实现.(1)电学实现人工神经悯络由于以硅材料为基础的大规模集成技术比较成熟,采用CMOS,NMOS/CCD工艺和非晶硅工艺的神经网络芯片已取得不少的进展.1987年l2月美国加州工学院的JPL实验室研制成了3232矩阵芯片,采用了3m体硅/P阱/双层金属CMOS工艺.1989年9月,日本日立制作所在5英寸硅片上集成了576个神经元的神经网络.(2)光学实现人工神经网络由于光线传播具有平行性和密集性的特点,光学神经网络芯片就可避免布线问题.光传的高速度,使光学神经网络芯片的优越性更加显着,已经有许多工作报导了神经网络的光学实现.1985年Farha最早提出了包含32个神经元的光学神经网络计算机,使用交叉棒状互连实现矢量矩阵乘法,神经网络的状态矢量由光发射二极管阵列表示;内连矩阵H,iJ用透明的照相掩膜板制成.日本三菱电气的Ohta等人于1989年报导了一种含随机过程的联想神经网络,已达到能识别26个字母的能力.1991年】月29日新华社东京消息,日本松下电器公司晨近研制出利用光信号进行运算的新型神经元件.该元件由非晶硅光导薄膜构成的受光层和由导电性聚酰胺薄膜强透电液构成的光调制层合二为一.一106i,3计算机视觉的神经网络模拟人工神经网络模型与技术的研究目前尚未完善,大多数的研究仍处于计算机模拟阶段-还未达到实时处理.距离实际广泛地应用还存在一定的距离.因此,这部份将讨论目前国内外应用人工神经网络进行计算机视觉模拟研究的成果.计算机视觉是将用于视觉感知的各种处理和表示综合在一起,并使其实现自动化的一种技术.在文献25中包含了许多本身已实用的技术,如图象处理(图象的变换,特征提取,编码与传输等),统计模式分类(用于一般模式视觉,或其它方面的统计决策理论),以及几何建模和认识处理等等一些技术.概括地说,计算机视觉就是用机器代替人的眼睛和大脑,对客观世界进行视觉感知和解释.Zhou等人利用神经网络进行图象恢复获得很大的成功.然而存在的问题是完成任务所需要的神经元数太多,即所用神经元数至少等于输入图象的象素个数.1990年Paik和Katsaglos用非零连接的Hopfield网络进行了图象恢复的研究,在与Zhou等人的算法相比较时,在达到相似的信噪比条件下,迭代次数前者要比后者少l/3左右.太原工业大学的陈建国和田琦同志利用一种不分层的组合网进行图象恢复的研究,结果是用较少的神经元可以获得比中值滤波法和KAVE法平均信噪比提高30左右的恢复效果.Daugman用三层神经网络对数字图象进行压缩,利用网络参数得到最好结果使图象压缩为)blt/pJxe),其压缩比均为】/8左右.东南大学的沙飞等人一用标准BP周和Hopfield网组合成混合神经网络对图象进行压缩,结论是:压缩比较大,样本数目较多时,混合网比PB网优越,表现在收敛速度快,映射性能好;压缩比不太大,样本数目不太多时,混合同都能避开局部最小点,只是有时收敛时间比BP网长一些.用三层神经网络进行纹理分割一划同样取得丁很好的效果.浙大的黄炎等3t利用多值Boltzmann机对纹理进行分割.在选代次数有限的条件下,得到了较好的效果.在边缘检测方面应用神经网络的研究也获得了极大的成功.Paik和Kastaggelosz应用多状态自适应线性神经元(即多状态ADALINES)检测图象边缘.特点是可采用固定尺寸的窗口.最近,Matsumoto等人?利用细胞状神经网络进行图象细化研究.在33窗口下,进行丁适时处理,最终结果是达到了一个象素连续的细化效果.1988年,Widrow利用MADALINE.S神经网络进行图象识别,识别过程中的每幅图象的平均位数误差约在5左右.Burr_用三层神经网络对手写体字符的识别作了大量的实验,实验结果是:为提高识别精度,在表现一个具有特压的拐弯图形时要求对应臆含层中转折的神经元数目尽量的少.Zhou和ChellappaL用神经网络进行三维图象匹配研究的结果表明,用十几次迭代就可以对50随机点组成的立体图象进行很好的匹配2a-40.国内外众多学者利用神经网络在计算机视觉方面的研究还处于探索阶段,实用成熟的技术很少出现?在评价各方面的成果上目前无法定一个尺度,因此,上面只对各方面一】07一-I的研究作一简要介绍.4人工神经网络研究的发展近几年来,人工神经网络已经引起美国,欧州和日本等国科学家和企业家的巨大热情.神经网络是一个结构复杂,功能综合性强,因素众多的动态系统.其内部各神经元之间的复杂连接与相互作用显然不可能用简单的关系(例如线性关系等)去表征.这样,Hopfield在人工神经阿络中提出的能量函数就存在一定的局限性.我们知道,所谓平衡态是指一个孤立系统达到不再随时问变化的状态,这时的系统处在墒极大的混乱无序状态,不可能产生新的有序结构.系统即便在离平衡状态不远的近平衡区,并与外界有物质和能量交换,其发展趋势还是回到平衡态,而不会产生新的有序结构,因此,系统只有远离平衡态,才有可能形成稳定的有序结构,这就是说非平衡是有序之源.可见,人工神经网络系统应该是一个远离平衡态的系统,而决不能到达不再随时问变化的平衡态,显然现在多层神经网络是为此点而考虑的.Hopfiod神经网络理论是在Marr视觉理论指导下提出的,在T=对称内连矩阵条件下,如果神经网络模型是单侧有界的,这时该网络的动态过程中能量函数是随时间衰减的,反之,网络将出现极限环吸因子,即混沌现象.在人工神经网络具体实现方面,对于个神经元来说,神经元之间连接数目将是l/2(一1),以电学方法实现大规模芯片就会形成布线疙瘩,随着高质量SOI晶片技术和高密度三维集成技术等研究课题的进展,布线问题会有所缓解.但是,这个问题最终必将成为发展大规模电学神经芯片的主要限制因素.显然,较大规模的人工神经阿络不可能用分立元件实现.综上所述,我们认为未来计算机视觉的神经阿络研究的内容主要是如下两大方面:(1)神经科学和神经阿络的基础研究,为实用网络的发展提供理论指导和算法基础,促进以神经网络计算机为中心的光计算机和光信息处理技术的发展,促进硬件芯片的发展.包括视觉神经主要机理,神经网络模型内连结构的非对称形,网络的平衡点分布,快速迭代算法,阿络能量函数的科学定义等等.(2)开辟光学神经网络芯片大规模集成的固体化和小型化的可能途径?.包括:分子束外延(MBE),金属有机物气化学气相淀积(MOCV),化学束外延(BE)材料生长技术,薄膜溅射技术,离子注入技术,干法腐蚀技术,光电子微电子相容工艺技术等等.短时问内,特定目标的专用神经阿络系统会达到实用.但是,通用简单功能大规模神经网络芯片还必须在上述第(1)方面的基础上实现.总之,人工神经阿络是一门年轻,急待发展的学科,诸多问题有待进一步完善和规一化.相信,人工神经网络凭借旺盛的生命力必定会在不远的将来为人类发展做出彀大的贡献.参考文献1W.SMoCuocbandWPints,Bui一MainBophys,V0】.5.pp.115-133.19432D.O.Hebb,NewYork.Wiley,】9493LJ.Grfffithg,IEEEIh船.ASSPV36,No.7.pp.1107.1108,2uy9851084R.J.Often.LSIImageprocessing,CollinsandCo.Lid.】9855D.H.Ballatd.Part.Rec.,13,PP.111?122,1986D.H.IllardandC.M.Brown,ConputerVision,Prentice-Hail,19827J.J.HopfiMd.Proc.Nat.cad.Sci.USA.Vo1.79,pP-2554-2558,】9828D.H.Ackley.G.LHmtonandT.J.Scjnowski.CognitiveSei.,Vo1.9,pp.I47-I69,l9859T.J.SjnouskiandC.R.Rosenerg.ComplexSy.,Vot.I.PP.I45-166,198710w.A.Liltle.Math.Biosei.,Vo1.19.PP.101一】20,I97411W.A.Little.andG.L.Shaw,Math.Biosi.,Vo1.39,PP.281-290,I97812A.N.Miche1.nat.Proc.1989IEEEConf.onDecisionmadContro1.Tampa,FL,pp-773778.De】.1989I3L.Personnaz.etat,Phys.Rev.A,Vo.39,5,PP.42I74228,Nov.I98614O.Barkn,eIat.1EEETrns.CJrc.andSYsI.,Vo1.37,No6.PP.756-765.199015R.P.Lippmann,IEEEASSPMztzJne,PP.4-22,April198716T.ToriokaandN.Ikeda,IBEETrams.ollSyst.Man,andCybcr.Vo1.18,No.3,PP.359366,May/June198817D.Mart,J.Phys.,Vo1.202.No.2,PP.437479,JuneI96918T.Kohonen.Proc.1EEEfjrsIAnn1nt.Conf.Neu.Net.SanDiegoJuFte1987I9D.E.RumMhart,etat,inParallelDirihutedPrinE,Vo1.I,D.E.RurrmlharlandJ-L-MoCelland.Eds.Cambridge,IdA:M1T,Pr,pp.3I8-362,199620L.O.ChuaandLYang.IEEETrans.CurcuilsSyst.Vo1.35,No.10,PP.12571272,Oct.199921L.O.ChuaandLYang,IEEETrans.CirouJtSyst.Vo1.35,No.10,PP.1273-1290,Oct.198822T.Maxwatl,etat,1EEEConf.Sy.ManCybern.SMC-86CH2364-8,627,198623C.L.GjandT.Maxwat,AppliedOptiCs,Vo1.26,PP.2972,198724yoh?HaoPao.AptJvePallerRecognJlionandNeuraNelwork,2SD.H.BatlardandC.M.Brown,ComputerVjsJo1,Prentice-Hall,lnc.,198226Y.LZh0I】,etat,IEEE.ollASSP,Vo.36,No.7,Juby,199827J.K.PatkandK.KatsgSatos.ICASSP-99+PP.19091912.NewMexico,Apr.3-6.199928陈建国,田琦.中国神经网络首届学术大会论文集,PP.679682.北京,I99029J.G.Daugnmn.1EEEASPP,Vo1.36.No.7,PP.1】691179,JuLy,I99930抄飞,甘强,韦钰.中国神经网络首届学术大会论文集,PP.699-79,北京,199031黄炎.李杭,庄新华,刑小良.中国神经网络首届学术大会论文集.PP-674677,北京,199032J.K.PaikandK.KalsaggeLo,ICASSP一90,坤.21452148,NewMexico,199033I_Matsmoto,etat,IEEETransCtrc.andSI.Vo1.36,No.7,PP.638-640.May,19903B.WJdrow,eIal.IEEETram.ASSp.Vo1.36,No.7,PP.11091118.Juy,I99835D.J.Burr,IEEETrarts.ASSP,Vo.36,No.7,PP.1I62?1168,July.I99930Y.T.Zhou,andR.C