神经网络最新发展综述

1、 神经网络最新开展综述 学校：上海海事大学 专业：物流工程姓名：周巧珍 学号：202230210155神经网络最新开展综述摘 要：作为联接主义智能实现的典范，神经网络采用广泛互联的结构与有效的学习机制来模拟人脑信息处理的过程，是人工智能开展中的重要方法，也是当前类脑智能研究中的有效工具。目前，模拟人脑复杂的层次化认知特点的深度学习成为类脑智能中的一个重要研究方向。通过增加网络层数所构造的“深层神经网络使机器能够获得“抽象概念能力，在诸多领域都取得了巨大的成功，又掀起了神经网络研究的一个新高潮。本文分8个方面综述了其当前研究进展以及存在的问题，展望了未来神经网络的开展方向。 关键词 : 类脑智能

2、；神经网络；深度学习；大数据Abstract : As a typical realization of connectionism intelligence, neural network, which tries to mimic the information processing patterns in the human brain by adopting broadly interconnected structures and effective learning mechanisms, is an important branch of artificial intellige

3、nce and also a useful tool in the research on brain-like intelligence at present. Currently, as a way to imitate the complex hierarchical cognition characteristic of human brain, deep learning brings an important trend for brain-like intelligence. With the increasing number of layers, deep neural ne

4、twork entitles machines the capability to capture “abstract concepts and it has achieved great success in various fields, leading a new and advanced trend in neural network research. This paper summarizes the latest progress in eight applications and existing problems considering neural network and

5、points out its possible future directions.Key words : artificial intelligence; neural network; deep learning; big data1 引言 实现人工智能是人类长期以来一直追求的梦想。虽然计算机技术在过去几十年里取得了长足的开展，但是实现真正意义上的机器智能至今仍然困难重重。伴随着神经解剖学的开展，观测大脑微观结构的技术手段日益丰富，人类对大脑组织的形态、结构与活动的认识越来越深入，人脑信息处理的奥秘也正在被逐步揭示。如何借助神经科学、脑科学与认知科学的研究成果，研究大脑信息表征、转换机理和

6、学习规那么，建立模拟大脑信息处理过程的智能计算模型，最终使机器掌握人类的认知规律，是“类脑智能的研究目标。类脑智能是涉及计算科学、认知科学、神经科学与脑科学的交叉前沿方向。类脑智能的实现离不开大脑神经系统的研究。众所周知，人脑是由几十多亿个高度互联的神经元组成的复杂生物网络，也是人类分析、联想、记忆和逻辑推理等能力的来源。神经元之间通过突触连接以相互传递信息，连接的方式和强度随着学习发生改变，从而将学习到的知识进行存储。模拟人脑中信息存储和处理的根本单元-神经元而组成的人工神经网络模型具有自学习与自组织等智能行为，能够使机器具有一定程度上的智能水平。神经网络的计算结构和学习规那么遵照生物神经网

7、络设计，在数字计算机中，神经细胞接收周围细胞的刺激并产生相应输出信号的过程可以用“线性加权和及“函数映射的方式来模拟，而网络结构和权值调整的过程用优化学习算法实现。按照该方式建立的这种仿生智能计算模型虽然不能和生物神经网络完全等价和媲美，但已经在某些方面取得了优越的性能。目前神经网络已经开展了上百种模型，在诸如手写体识别、显著性检测、语音识别和图像识别、模式识别、人机交互、优化算法、深度学习等技术领域取得了非常成功的应用。2.各领域简单介绍2.1手写体识别2022年，认识到自由手写文本是一个具有挑战性的任务。草书分割或重叠的字符的困难，与需要利用周围的环境相结合，导致了较低的识别率，即使是当时

8、最好的识别。Graves Alex等人1提出了一种基于一种新型的递归神经网络，专门为序列标注任务设计的，其中数据是很难段和含有远距离双向的相互依存关系的一种方法。在两个大型无约束手写数据库的实验中，该方法实现了对在线数据79.7，而上的脱机数据74.1的单词识别精度，显著超越国家的最先进的基于HMM的系统。此外，证明了网络的鲁棒性词汇的大小，测量其隐层的个人影响力。2022年，Ciresan D.C.等人2使用整个未变形的训练集进行验证，不浪费训练图像。原始灰度图像的像素强度的范围从0背景到255最高前景强度。每幅图像的2828 =784个像素被映射到真实值在1.0，1.0，和被馈送到对NN输

9、入层。使用2至9隐藏层和单位数目不等的隐藏单元来培养MLPs，。大多是每一层隐藏单元的数量向输出层表1降低，但不都是这样。结合AF NE旋转，缩放和水平剪切和弹性变形，在每一个初划时代整个MNIST训练集被变形。小型网络初步实验得到一些参数。表1的结果说明：极具竞争力的MNIST手写基准，单精度浮点基于GPU的神经网络超越所有先前报告的结果，其中包括涉及专门的架构，无监督的训练前，学习机等分类训练集足够大小的组合更为复杂的方法获得的通过适当地变形的图像被获得。当然，这种方法并不局限于手写，显然为许多视觉和其他模式识别问题带来了很大的希望。 表1 MNIST测试的错误率2022年，Alexand

10、er Goltsev等人3对图像识别名为里拉的功能的手写体数字识别的任务进行了研究。两个神经网络分类被认为-改性3层感知里拉和模块化组件的神经网络。提出的特征选择的方法，用于分析形成在神经网络分类器的初步学习过程的连接权重。在使用的手写体数字的MNIST数据库的实验中，特征选择过程允许减少的特征数目从60000至7000保可比的识别能力，同时加速计算。里拉感知和模块化装配神经网络的实验比拟完成的，这说明了模块化组装神经网络的识别能力是有所好转。2.2显著性检测2022年，Wang L.J等人4由局部估计和全局搜索整合提出了一个深度网络的显著性检测算法。在局部估计阶段，我们通过使用局部学习功能的

11、补丁，在全局搜索阶段，局部的显着图与全局的比照度和几何信息一起作为整体特征描述SETOF目标和IDATE区域.深层神经网络DNN-G进行训练来进行预测。如图1。图1 局部估计和全局搜索结合结构图由于低层次的显著性线索或先验不能够产生足够好的显着性检测结果，特别是当显著对象在低比照度的背景与混乱的视觉外观中的时候。Zhao R等人5 提出一个为显著性检测的多情景深度学习框架，该框架采用深度卷积神经网络在图像中去检测目标的显著性，全局背景和局部背景综合考虑，共同塑造一个统一的多背景深度学习框架。为深度卷积神经网络提供更好的初始化，探究了不同的预训练策略和一个设计用多背景模型适应显著性检测的特殊任务

12、预训练方案。在五个公共数据集实验，结果说明不错。整体多环境模型：超像素中心的输入窗口的预测是通过估计显着性概率执行的。score(x gc , x lc ) = P(y = 1 | x gc , x lc ; 1 ), 1x gc,x lc分别是全局背景和局部背景模型倒数第二层的输出，y是中心超像素的显著性预测，y=1时是显著性超像素，y=0时是背景。训练了一个二元分类在最后一个网络层的顶部，为了分类背景和显著性，通过在分类结果和全局标签之间统一的函数的最小值。L( ; x (i)gc ,x(i)lc,y (i) mi=1 ) 2框架的参数可以分为几个局部。 j = w gc,j , w lc

13、,j , , w gc，j是全局背景模型中神经网络的最后一层参数，w lc,j是局部背景模型的最后一层参数，, 是一个模糊不清的模型功能控制局部背景模型的需要的参数。目的是推断标签的概率同时通过俩个组件。2.3语音识别隐马尔可夫模型HMM已经被国家认可的声学建模的最先进的技术，尽管他们不切实际的独立性假设和隐藏状态的非常有限的代表能力。坚决信念网络动态贝叶斯被证明是对各种机器学习问题非常有效，Mohamed A.R等人6在2022年采用动态Bayesian声学建模。在标准TIMIT语料库，动态贝叶斯网在 TIMIT核心试验等的 实现了23.0的错误率。高斯混合模型是用于模拟隐马尔可夫模型的语音

14、识别的发光分布的显性技术。Mohamed A.R7在2022年证明，在TIMIT数据集可以通过包含的特征和非常大量的参数，用很多层深神经网络代替高斯混合模型来实现更好的 识别。这些网络的第一预训练如光谱特征向量的窗的多层生成模型，而不利用任何区别信息。一旦生成前培训设计的功能，使用反向传播小幅调整功能，在预测单音隐马尔可夫模型的状态的概率分布时进行微调，以使他们更好地进行判别。Ev,h=-i=1Vj=1Hwijvihj-i=1Vbivi-j=1Hajhj (1)Pv=he-E(v,h)uhe-E(u,h) (2)Phj=1v,=(aj+i=1Vwijvi) (3)Pvi=1h,=(bi+j=1

15、Hwijhj) (4)wijdata-reconstruction (5)Ev,h=i=1V(vi-bi)22-i=1Vj=1Hwijvihj-j=1Hajhj (6)Pvih,=N( bi+j=1Hwijhi,1) (7)Dahl G.E.等人8在2022年提出了一种新的上下文相关CD模型，它采用深信念网络进行 确认,对大词汇量语音识别LVSR。该坚决信念网络训练前的算法是一个强大的和经常有用的方法来初始化深神经网络，可以帮助优化并降低泛化误差。在一个具有挑战性的商业搜索数据实验显示，CD-DNN-HMM模型可以显著优于传统的语境依赖性高斯混合模型GMM-HMMs，精度提高5.8和9.2。图

16、2 混合架构图2.4图像识别2022年，Lisheng Xu等人9为了在脉诊用小样本自动区分脉冲模式，根据专家的中国传统脉诊知识脉冲图像进行分类的模糊神经网络的设计。所设计的分类器可以使硬判定和软判定识别精度在90.25，这比由反向传播神经网络所取得的结果有更好的识别精度。2022年，R. Thilepa等人10将ART1神经网络算法用于识别彩色图像，从而加快了图像处理与识别进程的进程。一般的自适应共振理论-1ART-1网络仅用于处理二进制数位，但是他们也将其用于图像识别。给定的事实限制信息的丧失，两种不同颜色的其中一个原始图像内可表示为识别过程二进制颜色的相同的值。方法具有吸引力是因为它的低

17、计算开销和改良的性能，克服了具有较少数目的神经元的神经网络的一些问题。Holota, Radek11在2022年，研究了利用神经网络对彩色图像识别的可能性。提出了一种新的修改后单一层，适合在色相饱和度值 HSV 颜色空间，识别的最小/最大节点。2.5模式识别蛋白质是具有不同功能的关键生物分子。以生产更多的数据基因组学，蛋白质组学更新的技术不是可以手动注释，预测其结构的硅片的方法和有它们的功能后，已被命名结构生物信息学的圣杯。成功的二级结构预测提供了直接的三级结构建模的起点；此外，它提高了序列分析和序列结构的结构和功能测定结合。使用机器学习和数据挖掘过程中，P.V. Nageswara Rao等

18、人12在2022年开发了基于统计了从组件氨基酸序列预测蛋白质二级结构模式识别技术。通过应用这种技术，Q8的业绩得分到达了72.3。这与其他建立的技术当预测是在单个序列单独作出比拟好，如NN-I和GOR IV其中实现的Q3分值分别64.05和63.19。Carrieri A H13在2022年将人工神经网络的系统建立用于在穆勒矩阵的形式可以通过偏振光散射签名模式识别检测氨基酸，糖，和其它固体有机物。向后误差传播和自适应梯度下降的方法进行网络训练。培训的产物是一个权重矩阵，当作为一个过滤器施加洞察分析物的其线索易感穆勒矩阵差元素的根底上的存在。此滤波器功能可以被实现为软件或硬件模块，以将来差分吸收

19、穆勒矩阵光谱仪。训练对R中区分两个不相交集的径向基函数RBF神经网络问题N，网络参数可通过最小化测量成功的在识别的训练模式的给定数量的程度的误差函数来确定。Lampariello F,和Sciandrone M14在2022年考虑到分类问题，其中目标是获得该网络的输出采取高于或低于固定阈值的具体特征，提出了一种方法替代一个利用最小二乘的误差函数。特别是，该问题在非线性不等式的系统，以及一个适当的误差函数，它仅取决于违反不等式的形式配制，结果说明，在模式识别RBF网络训练了该方法的有效性，主要是在节省计算时间方面。2.6人机交互2022年，Peter Wentworth15提出手势点矢量化过程。

20、nX，Y输入序列坐标进行预处理到载体序列，然后将其传递到用于分类训练的神经网络。相比原始X，Y，使用的这个手势识别坐标性能提高。也可以引入缩放以提高性能。下表列出了代表一个手势点的矢量。图3 手势矢量化过程手势识别是开发替代人机交互的重要方式。它使人类以更自然的方式与机器的接口。用于识别人的手势，有几种算法是可用的。有使用MATLAB进行手势识别几种方法。人工神经网络有在不断变化的环境的灵活性。2022年，Shweta K. Yewale 等人16提出了人工神经网络的手势识别的概述。它也描述了使用神经网络手势识别的方法。人工神经网络适用于多变量非线性问题。它有一个快速的计算能力。神经网络的泛化

21、的能力使他们的手势识别的自然。图4 手势识别系统由于要到达简化计算机的使用和全面提升用户体验的目的，人机界面变得越来越复杂。研究说明，大多数人机交互来自非语言通信，用户情绪检测是可以采取提升整体用户体验的一个方向。M. Karthigayan等人17在2022年提出，通过施加边缘检测和用于确定最正确正确和不正确省略号遗传算法能精确描述的眼睛和嘴部的形状获得的面部区域信息的某些方法。Damir Filko,和Goran Martinovic18在2022年运用主成分分析和神经网络分析关键的面部区域提出了人类情感识别的系统。所提出的系统已经被训练并在FEEDTUM数据库上进行测试，并取得了正确识别

22、比拟高的平均分，因此表现出对未来开展的诺言。图5 使用图片自动识别人的情感的系统2.7优化算法单数的非线性优化虽然在很多实际应用中经常遇到，但一直都是一个难题。在过去的几十年中，经典的数字技术已被提出以处理单数的问题。然而，由于数值不稳定和计算复杂度高的问题，一直没有找到满意的解决方案为止。2022年，Rendong Ge19考虑有界变量的约束，而不是常见的无约束模型单优化问题，提出一种新的神经网络模型解决有界变量的凸优化问题。在一个秩缺陷的假设，原本困难的问题是通过强制执行期限转化为非单数约束优化问题。通过使用增广拉格朗日方法和投影技术，证明了所提出的连续模型可以解决单数的优化问题。数值模拟

23、进一步证实所提出的神经网络的方法的有效性。图6 所提出的神经网络模型的逻辑图Alireza Hosseini20在2022年提出了一种基于包容差异的神经网络融合的方法解决非光滑优化问题。对于一般的微分，证明了如果它的右手边集值映射满足一定的条件，那么，微分包含解轨迹收敛到最优解集的优化问题相应的应对措施。基于所获得的方法论，介绍了求解非光滑优化问题的新递归神经网络。目标函数并不需要对R N为凸起也没有新的神经网络模型，不需要任何惩罚参数。此外对于微的情况下，实施了新的神经网络的电路图。2022年，ukasz Drg21提出利用人工神经网络，提出来控制有效载荷的位置的优化。2.8深度学习深度学习

24、算法应用到遥感图像分类22、多媒体检索23、交通流预测24和盲图像质量评价25等领域，取得了较传统方法更优的效果。纽约大学的 Yann LeCun、蒙特利尔大学的Yoshua Bengio 和斯坦福大学的Andrew Ng等人分别在深度学习领域展开了研究，并提出了自编码器26,27,28,29,30、深度置信网31,32,33,34,35、卷积神经网络等深度模型36,37,38,39,40，在多个领域得到了应用。 图7 自编码示意图自编码器Autoencoder是一种无监督的特征学习网络，它利用反向传播算法，让目标输出值等于输入值，其结构如图7所示。自编码器试图学习一个恒等函数，当隐藏层的数目

25、小于输入层的数目时可以实现对信号的压缩表示，获得对输入数据有意义的特征表示。通常隐层权值矩阵和输出层权值矩阵互为转置，这样大大减少了网络的参数个数。当输入数据中包含噪声时，自编码器的性能将会受到影响。为了使自编码器更加鲁棒，2022 年Yoshua Bengio 等人提出了去噪自编码器Denoising Autoencoder的概念，在输入数据进行映射之前先对其添加随机噪声，然后将加噪后的数据进行编码和解码操作，并希望解码出来的输出信号能够逼近原来的干净输入信号。去噪自编码器的原理图如图8所示。图8 去噪声自编码器示意图其中，x是原始信号，*x 是加噪后的信号，h 是编码后的信号， y 是解码

26、后的信号，d(x,y)是原始信号和解码后信号的差异，通常希望其越小越好。通过在原始信号中参加一定量的随机噪声来模拟真实数据中存在的干扰，可以更加鲁棒地从数据中学习到有意义的特征。如果将稀疏性引入到自编码器中还可以得到另一种被称为稀疏自编码器Sparse Autoencoder的网络，这种网络限制每次获得的编码尽量稀疏，从而来模拟人脑中神经元刺激和抑制的规律。同时，将假设干个自编码器堆叠在一起可以形成栈式自编码器，这种深层网络能学习到输入信号的层次化表示，更有利于提取数据中所蕴含的抽象特征。一个简单的栈式自编码器的结构如图9所示。首先，将原始数据x输入到栈式自编码器中，通过第一层的编码得到原始数

27、据的一阶特征表示1h ，然后将此一阶特征作为下一个自编码器的输入，对其进行进一步的编码得到二阶特征2h ，如此重复进行直到编码完毕。编码后的各阶特征便构成了对原始数据的层次化描述，可以用于后续的分类和识别任务中。在训练阶段，首先从第一层开始，按照单个自编码器的训练方式逐层训练网络参数，接着将最后一层的输出和期望输出的误差进行逐层反向传播，微调网络各层的参数。图9 栈式自编码器示意图Deliang Wang等人41使用深度神经网络估计语音的非负激活矩阵，用以从噪声中提取干净语音信息，并获得了比Masking 和 NMF 方法更好的提取效果。Wanli Ouyang 等人42将行人检测问题中的特征

28、提取、变形和遮挡处理以及分类四个模块统一于深度学习框架之下，通过各局部之间的协同来到达整体性能的提升，并在最大的行人检测数据库Caltech上，以9%的优势超越之前最好的方法。类似地，在姿态估计问题上也将视觉表象得分、表象混合类型和变形三类信息结合起来，统一于多源深度模型之中，在三组基准数据集上较现有方法性能提高8.6%43。Naiyan Wang 等人44通过离线的方式从自然图像中训练了用于描述待跟踪物体特征的堆栈去噪自编码器，在复杂场景中可以提取出更加通用的特征用于分类，并在一些具有挑战性的视频序列上获得了比经典方法更准确的跟踪精度和更低的时间开销。Yi Sun等人45将卷积神经网络和受限

29、玻尔兹曼机结合起来，组成了混合的深度神经网络用于人脸验证，在 LFW数据集上获得了更优的验证性能。在通用结构的设计上，Yangqing Jia等人46开发了深度卷积网络模型 Caffe，可用于大规模工业应用领域，并且已被用作多个问题的求解方案。Jie Zhang 等人47提出了 Coarse-to-fine 的自编码网络CFAN 用于人脸对准，首先用第一组堆栈自编码网络Stacked Auto-encoder Networks, SANs来快速预测脸部的特征点，之后用第二组堆栈自编码网络来对其修正，在三组数据集上CFAN都取得了实时且最优的性能。在遥感领域，Jun Yue等人将卷积神经网络用于

30、高光谱图像分类48、Weixun Zhou等人将自编码器用于高分辨遥感影像的检索任务49，并获得了较为满意的分类和检索结果。目前，深度网络的自动特征提取能力正受到自然、生物医学和遥感等多个领域的广泛关注，并且基于深度网络的方法在多个任务上都显示出了优越的性能，在未来将会有更加广阔的应用前景51,52。3总结和展望作为联接主义智能实现的典范，人工神经网络采用广泛互联的结构与有效的学习机制来模拟人脑智能信息处理的过程，是人工智能开展历程中的重要方法，也是类脑智能研究中的有效工具。本文介绍了神经网络在近年开展状况。未来基于神经网络的类脑智能的研究还有许多亟待解决的问题与挑战：1认知神经网络尽管深度神

31、经网络在语音识别和图像/视频识别等任务中显示出很大的成功，现有的人工神经网络结构还远远不及生物神经网络结构复杂，仍然是对生物神经系统信息处理的初级模拟，这是制约神经网络智能化水平的一个重要瓶颈。目前深层神经网络仅能完成一些简单的语音与视觉理解任务，在理论上还存在很多局限，训练网络的学习算法目前也十分有限。 另一方面，神经认知计算科学对视觉注意力、推理、抉择、学习等认知功能的研究方兴未艾。如何从脑科学和神经认知科学寻找借鉴，从理论上开展出功能更加强大的类脑计算模型如认知神经网络，来解决人工智能面临的局限，将有可望实现更高层次的类脑智能。 2主动神经网络 生物个体在于环境接触过程中，智能水平会得到

32、提高。人脑可以在没有监督信息时主动地从周围环境中学习，实现对客观世界中物体的区分。因此，如果要实现更加高级的智能行为，现有神经网络的开展需要突破利用神经元与网络结构的结构模拟思路，从结构模拟向功能模拟乃至行为模拟转换，借鉴人与环境之间的交互过程，主动且自动的完成增强学习，以摆脱对监督信息的依赖，在更严苛的环境下完成学习任务，这也是实现高级类脑智能的可能途径。 3感知-理解-决策神经网络类脑智能行为可以大概归结为“感知、“理解与“决策三个方面。目前的神经网络模型的功能大都局限在对数据的理解层面，而事实上一个高级的智能机器应该具有环境感知与推理决策的功能。如何开展具有环境感知、数据理解以及推理决策

33、能力的网络模型，也是实现高级类脑智能的必然要求。 4复杂神经网络实现 机器计算能力的提高曾经将神经网络重新拉回群众关注的视野。对于许多互联网公司来说，如何实现对海量大数据的快速高效训练是深层神经网络走向实用化的重要标志。现有的 Hadoop 平台不适合迭代运算、SGD 又不能依并行方式工作、而GPU 在训练 DNN 时仍然显得比拟吃力。同时，平台的能耗问题也成为制约其进一步开展的主要因素。为迎接未来深度学习在产业化过程中的挑战，高性能并行加速计算平台的开发成为当务之急。 另一方面，生物神经元之间的连接带有随机和动态性，而不是如人工神经网络那样确定和一成不变，如何用计算机硬件或者算法来模拟这一过

34、程虽极具挑战但意义重大。 5深度神经网络深层神经网络一个最主要的特点在于其具有大量可调的自由参数，这使得其构建起的模型具有较高的灵活性。但另一方面却缺乏有力的理论指导和支撑，大多数情况下仍过分依赖于经验，带有一定程度的随机性。如此复杂的模型很容易在特定数据集上得到近乎理想的拟合效果，然而在推广泛化性能上却往往很难得到保障。为防止过拟合带来的问题，今后应当在数据的规模、网络的结构以及模型的正那么化等方面开展工作，使得深度神经网络更好地发挥其功能。 6大数据深度学习深度学习的兴起很大程度上归功于海量可用的数据。当前，实验神经科学与各个工程应用领域给我们带来了呈指数增长的海量复杂数据，通过各种不同的

35、形态被呈现出来如文本、图像、音频、视频、基因数据、复杂网络等，且具有不同的分布，使得神经网络所面临的数据特性发生了本质变化。这给统计学习意义下的神经网络模型的结构设计、参数选取、训练算法，以及时效性等方面都提出了新的挑战。因此，如何针对大数据设计有效的深度神经网络模型与学习理论，从指数增长的数据中获得指数增长的知识，是深度学习深化研究中必须面临的挑战。参 考 文 献1 Graves A., Liwicki M., Fernandez S. et al., A novel connectionist system for unconstrained handwriting recognition

36、. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, 31(5): 855-8682 Ciresan D.C., Meier U., Gambardella L.M. and Schmidhuber J. Deep, big, simple neural nets for handwritten digit recognition. Neural Computation, 2022, 22(12): 3207-3220 3 Alexander Goltsev,Vladimir Gritsenko. Inv

37、estigation of efficient features for image recognition by neural networks. Neural Networks, 2022:284 Wang L.J., Lu H.C., Ruan X. and Yang M.H. Deep networks for saliency detection via local estimation and global search. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. B

38、oston, USA, 2022: 3183-31925 Li G.B. and Yu Y.Z. Visual saliency based on multiscale deep features. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Boston, USA, 2022: 5455-5463 6 Zhao R., Ouyang W.L., Li H.S. and Wang X.G. Saliency detection by multi-context deep learn

39、ing. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Boston, USA, 2022: 1265-12747 Mohamed A.R., Dahl G. and Hinton G.E. Deep belief networks for phone recognition. Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing. Prague, Cze

40、ch Republic, 2022:5060-50638 Mohamed A.R., Dahl G. and Hinton G.E. Acoustic modeling using deep belief networks. IEEE Transactions on Audio, Speech, and Language Processing, 2022, 20(1):14-229 LiahengXu, Max Q.-H. Meng, Kuanquan Wang, Lu Wang,Naiminili . Pulse images recognition using fuzzy neural n

41、etwork. Expert Syst. Appl.,2022:3610 R. Thilepa, M. Thanikachalam. A New Process of Color Images Recognition by Using ART-1 Neural Network. Computer and Information Science, 2022, 4: 111 Holota, Radek.COLOUR IMAGE RECOGNITION BASED ON SINGLE-LAYER NEURAL NETWORKS OF MIN/MAX NODES. Neural Network Wor

42、ld, 2022, 22 (4):395-40512 P.V. Nageswara Rao et. al. Protein Secondary Structure Prediction using Pattern Recognition Neural Network. International Journal of Engineering Science and Technology, 2022, 2(6): 1752-1757 13 Carrieri A H.Neural network pattern recognition by means of differential absorp

43、tion Mueller matrix spectroscopy. Applied optics, 2022, 38 (17):3759-6614 Lampariello F, Sciandrone M.Efficient training of RBF neural networks for pattern recognition.IEEE Transactions on Neural Networks, 2022, 12 (5):1235-4215Peter Wentworth, An Investigation into Gesture Recognition in BingBee us

44、ing Neural Nets in MATLAB. RHODES University, 2022,1116Shweta K. Yewale et al. ARTIFICIAL NEURAL NETWORK APPROACH FOR HAND GESTURE RECOGNITION. International Journal of Engineering Science and Technology (IJEST),2022,3(4)17 M. Karthigayan, M. Rizon, R. Nagarajan, and S. Yaacob, Genetic algorithm and

45、 neural network for face emotion recognition. Affective Computing, 2022: 576818 Damir Filko, Goran Martinovic.Emotion Recognition System by a Neural Network Based FacialExpression Analysis. AUTOMATIKA ,2022, 2(54), 26327219 Rendong Ge#, Lijun Liu, Yi Xu. Neural Network Approach for Solving Singular

46、Convex Optimization with Bounded Variables.Open Journal of Applied Sciences, 2022, (3):285-29220 Alireza Hosseini. A non-penalty recurrent neural network for solving a class of constrained optimization problems.Neural Networks, 2022, 7321 Lukasz Drg. Model of an artificial neural network for optimiz

47、ation of payload positioning in sea waves. Ocean Engineering, 202222 Chen Y.S., Lin Z.H., Zhao X., Wang G. and Gu Y.F. Deep learning-based classification of hyperspectral data. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2022, 7(6): 2094-210723 Zhao X.Y., Li X.

48、and Zhang Z.F. Multimedia retrieval via deep learning to rank. IEEE Signal Processing Letters, 2022, 22(9): 1487-1491 24 Huang W.H., Song G.J., Hong H.K. and Xie K.Q. Deep architecture for traffic flow prediction: deep belief networks with multitask learning. IEEE Transactions on Intelligent Transpo

49、rtation Systems, 2022, 15(5): 2191-2201 25 Hou W.L., Gao X.B., Tao D.C. and Li X.L. Blind image quality assessment via deep learning. IEEE Transactions on Neural Networks and Learning Systems, 2022, 26(6): 1275-128626 Rifai S., Vincent P., Muller X., Glorot X. and Bengio Y. Contractive auto-encoders

50、: explicit invariance during feature extraction. Proceedings of the International Conference on Machine Learning. Bellevue , USA, 2022: 833-84027 Hinton G.E., Krizhevsky A. and Wang S. Transforming auto-encoders. Proceedings of the International Conference on Artificial Neural Networks. Espoo, Finla

51、nd, 2022: 44-51 28 Socher R., Huang E.H., Pennington J., Ng A.Y. and Manning C.D. Dynamic pooling and unfolding recursive autoencoders for paraphrase detection. Proceedings of the Neural Information and Processing Systems. Granada, Spain, 2022: 801-809 29 Hinton G.E. and Zemel R.S. Autoencoders, min

52、imum description length, and helmholtz free energy. Proceedings of the Neural Information and Processing Systems. Denver, USA, 1993: 1-9 30 Chen M., Xu Z., Winberger K.Q. and Sha F. Marginalized denoising autoencoders for domain adaptation. Proceedings of the International Conference on Machine Lear

53、ning. Edinburgh , UK, 2022.31 Lee H., Grosse R., Ranganath R. and Ng A.Y. Convolutional deep belief networks for scalable unsupervised learning of hierarchical representations. Proceedings of the International Conference on Machine Learning. Montreal, Canada, 2022: 609-616 32 Krizhevsky A. Convoluti

54、onal deep belief networks on CIFAR-10. Toronto, CA: University of Toronto, Unpublished manuscript, 2022 33 Lee H., Ekanadham C. and Ng A.Y. Sparse deep belief net model for visual area V2. Proceedings of the Neural Information and Processing Systems. Vancouver , Canada, 2022: 873-880 34 Lee H., Pham

55、 P., Largman Y. and Ng A.Y. Unsupervised feature learning for audio classification using convolutional deep belief networks. Proceedings of the Neural Information and Processing Systems. Vancouver, Canada, 2022: 1096-110435 Ranzato M., Boureau Y. and Yann. L.C. Sparse feature learning for deep belie

56、f networks. Proceedings of the Neural Information and Processing Systems. Vancouver, Canada, 2022: 1185-119236 Jain V. and Seung S.H. Natural image denoising with convolutional networks. Proceedings of the Neural Information and Processing Systems. Vancouver, Canada, 2022: 769-776 37 Le Q., Ngiam J.

57、, Chen Z.H., Chia D.J., Koh P.W. and Ng A.Y. Tiled convolutional neural networks. Proceedings of the Neural Information and Processing Systems. Vancouver, Canada, 2022: 1279-1287 38 Taylor G., Fergus R., Yann. L.C. and Bregler C. Convolutional learning of spatio-temporal features. Proceedings of the

58、 European Conference on Computer Vision, Heraklion, Greece, 2022: 140-153 39 Desjardins G. and Bengio Y. Empirical evaluation of convolutional RBMs for vision. Montrea, Canada: University of Montrea, Technical Report: 1327, 2022 40 Kavukcuoglu K., Sermanet P. and Boureau Y.L. Learning convolutional

59、feature hierarchies for visual recognition. Proceedings of the Neural Information and Processing Systems. Granada, Spain, 2022: 1090-109841 Williamson D.S., Wang Y.X. and Wang D.L. Estimating nonnegative matrix model activations with deep neural networks to increase perceptual speech quality. Journal of the Acoustical Society of America, 2022, 13