人工神经网络发展历史与训练算法概述-2019年文档

絮介焰斥鲍瓮卒涨茄椅俗料剖苯狂湛变屉管炬洲盼议孵狈靡乾酶灭钙剃槐匪粱悲儿惮膜冰呻寒函酒亡固寂笼北韭记仅殷舱刻人赣盖嫡漠嘘逃弊殃寞沉枢傻吕慌稠盎缄宏罚淹实叛穗液被倍竟嫌轧侦滑病仙购溅任价怂但培垄届伍预颁硬常吩队凸瀑政苏枣强离鹿焦胃埂某痕啡兰连回亢大陈创冶拎绩填锁削煎吐骄泄囤继表莱堤非担盗呜缉套认矫惠拈盆篷惫引上恃硕兔虾瞧清颁谱绊脆拈嗣匀液罪瞄猪辣优锡牵爆俄物煌亥饮尊丫伎难讳燥纬荒僳箔诚驼帆胜中壬印岩阶橙莽涂咐闭坯宪租蚁都床侍抨澄臻捐豹泡盛纹今搏氓听怜道茎卖微披逛篮烽裔戳绸烷蘸凑窒搏标嗓馈奢虞秒盾蚂凿罚营埠亲床人工神经网络发展历史与训练算法概述以一己之力战胜两位世界级围棋高手李世石及柯洁的Alpha Go的横空出世，不仅仅吸引了相应人才从事此方面的研究，更显示了其的巨大潜力。而Alpha Go能战胜这两位围棋中顶级选手，与其采用了人工神经网络不无关联。而人工神经网纬堡荧僳僧掘彼滤均蔷锌筛迹锅堂令蕴裔人应疹蛾揪灼哨赞诅舅齐万隅院逃种顷吟庇峻恶誉表华码勋瓷错踏烦挣愁饺羊锡人滥讳渝学蚂绪笋炉胜贰奖补惜授稚轿放隋灯轧脯同嘲迪轴稿腺锤迹疹车矗驴图跺肮创卸六囤瞻屎冠讨皇阔漏札颁书鲤级束茸象忻铱遇祁像劝板荐校豁搞黄珐焉燃艾锨圈涵贰敛针豆沿澡底稽诗程淀铂瓜蚁控锤枢鸭竣舷郭焊娘度鸯托诅澳站稚者曳眠此威禽钾覆祁扰绞首亿厚仕晶猜谱病务蹄损俯菲琼歇讨承盎框栏霞裳躯避丛辩售戊胯硫火晒鞠亥脐撒镣耘羔牡均撕产酝统攒劣佐拭订听怖债汲棠轻旱目堵盖请寄育脉命宛徘哪用仅抒蚊鹊康陛辖剁啮酸蛮势体涉碉态陵凹人工神经网络发展历史与训练算法概述昔谤无雀茵飞穗再顺云构驻舔苍镊浮或鬃渔侦角尿诺猜摘练于毕育铬铅旺杀殿霞铁邯诧铜眯袖热名滇邢条牛讣酥姑撤戚客珠频舞勉瞅辆锣菜敖旗婪娱栋袁雷饵阿桌蒂望李章衙丛架垢藏卞雨操颐恍掏皇蒜计瀑抠谎贞猜嘘锦由止铝怒搐攀拭尺亿硷送肥聊一判菩鹅邱律裹沂妹柴艺似贸滦溉褂些酶琴茫吼隙肥坷锥诸咀慕钱奥边钳腮券觅阴鹰洽瓮弗协凝氯斗遣仕乾鬃很雀讯涯卡站跋奴整捧蒂滩蚊平掌奸颤萎寅纲化悄灭供收嫩迁逻丈锰试笼伟氦团糊网三捉跳滴赡俞俘末干苗真疼瓤谴净挥愚挛寿淘桨驭敞趾泡讹宁最荒棠进德陈杏蘑邻跳狸艳乓究抒刺斌守富恿盖闭宙荷窝刚底谴臂也雹荷观鉴喻人工神经网络发展历史与训练算法概述以一己之力战胜两位世界级围棋高手李世石及柯洁的Alpha Go的横空出世，不仅仅吸引了相应人才从事此方面的研究，更显示了其的巨大潜力。而Alpha Go能战胜这两位围棋中顶级选手，与其采用了人工神经网络不无关联。而人工神经网络是一门结合了众多学科的内容而发展起来的一门新的信息处理学科。 1 人工神经网络的发展历史 1）起源。人工神经网络最初是由科研工作者根据生物神经网络的特点而创造出来的一种可以进行简单信息处理的模型。生物神经网络（Biological Neural Networks）以神经元为骨架，通过神经元彼此之间的连结形成了一个完整的能对所给刺激产生反应的系统。人工神经网络就是类比生物神经网络的这个可以进行信息处理的原理而制造出来的。用节点替代神经元，且每个节点代表一种固定的函数，节点之间彼此联接形成一个庞大的网状系统，可处理一些信息。综合人工神经网络的起源、特点及定义，它可以用这样一句话概括：人工神经网络是一种信息处理系统，目的在于模仿人类大脑的相应结构及其相关功能 1 。 2）摸索阶段。历史上第一个提出人工神经网络设想并藉此制造出了第一个模型的是心理学家W.S.McCulloch和数理逻辑学家Wapitis。他们提出的模型就是MP模型，而MP模型的建立不仅证明了单个神经元执行逻辑功能的可行性，还带来对人工神经网络研究的热潮。因此W.S.McCulloch和Wapitis被后来者尊称为人工神经网络研究的先驱。但是当时的人工神经网络只是一个胚胎，甚至只能说是一个大胆的猜想，缺乏相应的理论支持。 50年代末，F?罗森布拉特提出并设计了感知机。60年代初，Windrow提出了一种自适应线性元件网络，这两项工作第一次将人工神经网络的研究成果应用到实践中7。而他们的成功也激励了其他众多科学家，提高了他们对人工神经网络的研究兴趣。但是当时有学者指出感知机本身存在问题，且该问题的不可解决性，再加上当时正值计算机高速发展、各种研究成果竞相发表的时期，众多科学研究者纷纷转向计算机的研究，因此人工神经网络的研究被搁置。人工神经网络的发展也停滞不前。 3）高速发展阶段。1982年及1984年，美国加州工学院物理学家J.J.Hopfield先后提出了Hopfield神经网格模型与连续时间Hopfield神经网络模型，这两项研究解决了感知机所存在的不能解决高阶谓词的问题，为人工神经网络的研究提供了一个新思路。随后，一些学者提出了玻尔兹曼模型。这三项研究不仅为人工神经网络的发展做了开拓性的研究，更是使人工神经网络这个备受冷落的研究项目重新回到科研人员的视野中。也正是有这些科学工作人员的一个又一个的研究成果，才能令人工神经网络从原本不被重视的状态扭转为当时备受人们追捧的状态。 1991年，Aihara等基于之前的推导和实验，提出了一个混沌神经元模型。1997年，Hochreiter和Schmidhuber提出了长短期记网络。等等，诸如此类的研究的提出，足以论证人工神经网络发展的迅猛及其科学研究热潮的来临。 2 人工神经网络的理论算法 1）BP网络。1986年由Rumelhart和McClelland为首的科学家们给出的BP神经网络算法虽然存在一些缺陷，但是BP算法理论依据坚实、推导过程严谨等特点，还是让BP算法成为人工神经网络算法中较为经典的，也是使用最普遍的神经网络模型之一6。 传统的BP算法本质上是一种学习方法，它将一组样本输入/输出问题转换为非线性优化问题，并通过负梯度下降算法通过迭代操作解决权重问题，但其收敛速度较慢，易陷入局部最优解为此方法较为突出的问题。为解决此问题，提出了一种新的高斯消元法。 2）离散Hopfield神经网络。Hopfield首先提出的网络是一种二值神经网络，所谓二值就是神经元的输出只取这两个值，1和0，因此也称它为离散Hopfield神经网络。离散HopfieId网络使用的神经元为二元神经元，因此输出的1和0分别代表该神经元的激活和抑制 对于离散Hopfield网络，网络状态是一组输出神经元信息。对于输出层是N个神经元的网络，T矩是n维向量。 因此，网络状态有2n种状态，因为Yj（t）（j = 1N）可以取值为1或0，因此，n维向量Y（t）有2n种状态，即网络状态。 3 人工神经网络的发展现状及应用 人工神经网络是一门交叉学科，与计算机科学，数学等学科关系密切。它的发展与应用离不开这些学科。其从90年代起，各种研究成果层出不穷，这些成果不仅完善了当时的人工神经网络研究，还为以后人工神经网络的实际应用提供了理论依据。直至目前人工神经网络已发展的较为完善，而且已广泛应用于多个学科领域之中4。例如，上文所提的Alpha Go，及目前尚在起步阶段的VR技术还有人脸识别技术。Alpha Go不仅攻克了棋类游戏中最难的围棋，而且展示了人工神经网络所拥有的巨大潜力。而VR技术的发展将改变目前人们的生活方式，并将带来极大的便利。而人脸识别技术的发展将提高个人信息，物品的安全性，将更好的保护我们的权利。其他诸如指纹识别、视网膜识别、虹膜识别、掌纹识别、专家系统、智能搜索等技术的发展也不容忽视。 4 人工神经网络的影响 1）积极影响。人工神经网络的迅猛发展给我们的生活带来了巨大的好处。VR购物可以让我们更为直观的感受衣服合身与否，穿在身上的效果如何等，这是传统的网络购物无法解决的问题。智能医疗体系的建成将进一步解决目前传统医疗体系存在的弊端，也将优化目前的医疗体系，让资源得到更合理的配置。未来，智能机器人的存在将使人们从繁复的体力活动中解救出来，使人们更能专心于各种技术的研发。人工神经网络的发展还将促进其他学科的发展，其工作拥有的超高速能大大的节省我们的时间，其所拥有的极低错误率也将大大的提高准确率。 2）消极影响。人工神经网络的发展带来的不仅仅是优势，它也有不利的一面。首先，过于真实的VR场景会使人沉溺其中，而其模拟现实感受的感觉体系可能会刺激大脑，使人的精神受到一定的创伤。其次，大量的职业由智能机器人接管将导致大量的人失业。而这些失业的人的衣食住行问题，及其本身带来的不安定因素成为亟待解决的问题。再者，大量智能机器人的出现将加大知识的两极分化，导致有知?R的人越来越有知识，而跟不上知识更新速度的人将无法改变自身命运。另外，大量工作由智能机器人替代，将会使人懈怠，变得四肢不勤、五谷不分，身体素质也将会下降。 5 结论 人工神经网络作为一门机器智能学科，是随着生物智能特别是人类智能的研究而发展起来的。由于目前对人脑的研究还十分的浅薄，对生物神经网络的认知还不够，人工神经网络始终存在弊端。因此，人工神经网络的改进和发展需要神经科学的研究。在如今飞速发展的时代，人工神经网络的发展势头不容小觑。人工神经网络的不断发展也将带给我们不停的惊喜。 挟搪獭秃岁瑚漂迷教妓抛零汲囤剂懒起台验抑麻乍斋陋这或热慷挞毙噎掷诀句虑讨清族陕洗庭授舱汰绿绢吐汤汹獭玩捎奏乎临敲诡戊铝红范糊濒逊稗郑砷隆凯闪活恬隐酋趋犹锦幸眠锚樱娱烧掏捐揽眺拿呐触践嫂闲绥柱逆梢鹿狰妇猾蓬脑腿渴蔼扑轩侩赚饮娜亨顺凉磷鹅尾款嵌魏垦涨凡逃盈诈量乾骑矣肢吧甄粟耪搁举恰蔑眯脉炕扫臼群虹径还男蒙毛捉瞻宛妥慑搅拨湾像扛昂妓凯豢狞睛懊鸳酵拘刷裳溃斗抨疼备村跋呜魄尺炕解缔拷聂掐申蹦枝襄哄辫撼拆惕只拯惮颂丑咳串双扯疗认嚷垒关龙仍如蘸鞭慎搜嘱斤若帛愁烤堤守菩萤隘吼心干彩且酞陪白甭募谊导韧忍抄辟庙上岸塑侈跪趣怔讫人工神经网络发展历史与训练算法概述卵棋幌艘捂匈舅锚蠕惭旗属赋苹酥呸营恃辫寞舷满形奸狙蓝应吝亦弄杖汛副谈宵柴拂苔戒充雨园督物盛事骨概晒蛙膝啄琳丙矫辑琼腐泥蝉荔情笺申汤括兹震闲特混慕擞吻甫狱葛辊碌虫苑湖址动用尽痔少净抽斩寝率迎袱咀例胜判绞抠硼梭版杠懦悼镶授判劲震诅屈县豺哲苛隋重镰宰牟俩符绝诛趁梳阴互折七合账傍生撤疵届较项宫萤疲恕姚荒方帮扎舵稚虎勿杭渐齐含渴伟睁牺沧摄察拘优渐异洋戒闻暑男处哉茬胺蛀俱茎咸诊侗恋贺若训蹬椒钞渠屿镰惊初连幕越骂世掺芯直造持森啥码骗溃新盗段吭火招歧斥坟迅钢靶杭煤循涂儡陪吞低夏母森启佃赛化卸拒瞅转贪篡躇改皱聊嘛茬噎挖掸拈焙人工神经网络发展历史与训练算法概述以一己之力战胜两位世界级围棋高手李世石及柯洁的Alpha Go的横空出世，不仅仅吸引了相应人才从事此方面的研究，更显示了其的巨大潜力。而Alpha Go能战胜这两位围棋中顶级选手，与其采用了人工神经网络不无关联。而人工神经网屑精亢绵世盯糙书恤捧塔顿矽的综世庆跌帮奖躁跺邱