神经网络硬件方面的调查研究.ppt

神经网络硬件方面的调查研究,智能计算作业 姓名：张可新 学号：12171020,文献摘要,在过去的十年中，并行人工神经网络模型的硬件开发设计很多。本文旨在对人工神经网络硬件进行回顾述。介绍硬件规格、执行评价等神经网络的基础技术，介绍人工神经网络主要结构类型。详细描述了CNAPS（连接网络的自适应处理器） 和SYNAPSE-1（神经算法在并行脉动阵列中的合成 ）两种神经硬件以及一些神经网络硬件的应用。讨论了神经网络硬件的未来发展与挑战。,一、介绍,在过去十年，神经网络的硬件有了迅速的发展。神经网络硬件设备被认为在一些领域中上具有发展空间，如图像处理，语音合成分析，模式识别，高能物理等。 神经网络硬件通常被认为是实施神经网络结构和学习算法的设备，特别是那些具有神经网络所固有并列属性的设备。,一、介绍,在过去十年，神经网络的硬件有了迅速的发展。神经网络硬件设备被认为在一些领域中上具有发展空间，如图像处理，语音合成分析，模式识别，高能物理等。 神经网络硬件通常被认为是实施神经网络结构和学习算法的设备，特别是那些具有神经网络所固有并列属性的设备。 本文概述了神经网络硬件结构的发展现状，介绍了神经网络的硬件规格、分类、结构种类、设计方法以及最新的发展状况以及实际应用。对神经网络硬件的发展趋势进行了讨论。,二、人工神经元模型和神经网络 的结构,人工神经元模型,二、人工神经元模型和神经网络 结构,人工神经网络结构,图2：(a)多层馈送神经网络 (b)递归神经网络,第一层神经元是从前一层得到的输入，其输出会作为下一层的输入。,连接神经元到同一层或前一层的结构成为递归神经网络。,三、神经网络的硬件与软件,神经网络软件 当所处理的任务不需要非常快的运行速度时，大多数神经网络设计师的解决方案，是采用软件应用于电脑或工作站上，而不是寻求特殊附加硬件去解决。 即使是最快的串行处理器也无法提供实时响应和对大量的神经元、突触的网络学习。,三、神经网络的硬件与软件,神经网络硬件 多个简单处理单元并行处理，可以提供巨大加速。当硬件实现时，神经网络可以充分利用其固有的并行性，并且其运行量级远远大于软件模拟。 一般来说，神经网络硬件设计人员所采用的方法有两种。一种方法是建立一个普通但较贵的系统上，这个系统可根据不同任务重新编程，如自适应解决方案CNAPS 15 。另一个办法是建立一个专门的廉价芯片迅速有效的处理一件事，如IBM ZISC 16 。,四、模块表示法及其规范,四、模块表示法及其规范,激活模块，是执行wj、xj相乘并且对各相乘组求和，它是位于在神经元芯片（或神经元计算机的处理单元）。 其他模块，即神经元状态块，权值模块和传输功能模块均可以设在芯片上或芯片外，其中一些功能可以由主机执行。这些模块之间的数据传输是通过芯片上的控制单元控制着。而控制参数是主机用来控制硬件的。,四、模块表示法及其规范,数据流是权值模块中的权值，外部的输入或从相乘后的输出结果作为的输入，在激活模块概括出结果，并通过转换、总和以上结果在神经状态模块中得到输出。,四、模块表示法及其规范,传递函数 对于多层感知器和Hopfield(霍普菲尔)神经网络（例如 18 ）的传递函数可能是一个阈值，线性，斜坡和双弯曲函数。Kohonen网络（例如 19 ），通过激活模块计算要符合输入和权重向量的欧式距离。,四、模块表示法及其规范,规范 对于量化神经网络硬件性能传统的方法是在单位时间测量乘法和累加计算数目和权值更新率。这两种测量方法有些符合MIPS或传统系统中的MFLOPS测量。他们只是提供一种指示，必须对不同精度和尺寸进行细心比较。 由于缺乏有效的、便携的软件，因而没有尽力去做出一个与神经网络硬件相适应的综合基准。,五、神经网络硬件分类,分类标准：神经网络硬件根据不同属性对神经网络的硬件进行分类，如系统结构、并行度、处理器间通信网络、通用或专用设备、芯片上运算或不在芯片上运算等等。 基于并行度，神经网络硬件可分为4类：粗粒子，中粒子，细粒度和大规模并行处理 24 。,五、神经网络硬件分类,对文献 5 所提出的方案进行分析，将神经网络硬件为四大类，如图所示。 基于集成电路标准，神经元计算机首先分为两大部分。一部分主要加速器板和并行多处理器系统组成的。加速器板，可以加快传统电脑如个人电脑或工作站；并行多处理器系统，可以单独运行，也可通过计算机主机对其监控。另一部分是建立在专用神经元ASIC（专用集成电路）上的神经元芯片。这些神经元芯片可以是数字，模拟，或混合。,五、神经网络硬件分类,加速器板介绍 加速器板是最常用于神经元的商业硬件，因为他们是相对便宜的，应用广泛，连接到电脑或工作站较为简单，并且可以提供用户友好的软件工具。它们插在扩展插槽，用于加快神经网络计算。可实现的加速，是一个数量级与连续实现的比较。加速器板通常是采用神经网络芯片，但有些只是使用高速数字信号处理器（数字信号处理器），它们可很快处理多重累积的操作。加速器板的一个缺点是他们为某个具体任务设定的，因而缺乏灵活性、不适应其他新范例。,五、神经网络硬件分类,加速器板实例 加速器板的一个很好实例就是IBM ZISC ISA和PCI卡。ZISC 036芯片是IBMessonnes实验室开发处理的 16 。一个单ZISC 036拥有36个神经元，或原机，通过RCE（或ROI）算法训练实现。ISA卡包含16 ZISC 036芯片，提供576个原机神经元。PCI卡可容纳19芯片，684个原型。PCI卡每秒可以处理165000种模式，每种个模式是64个8位的元向量。 其他加速器系统，包括SAIC SIGMA-1 25, Neuro Turbo 26, HNC 27等。,五、神经网络硬件分类,对通用处理器的神经元计算机的建立 通用处理器为神经元功能可通过编程实现。由于其广泛的可用性和相对低廉的价格，许多神经元计算机用通用芯片进行组装。从简单结构，低成本单元（例如在BSP400 28 和COKOS 29 ）到像晶体计算机那样相当复杂处理结构的实现，它们的并行输入/输出线 30 、数字信号处理器是独特的。 对于许多处理器而言寻找好的一个互联策略被证明是一个复杂的问题。然而，许多关于这些大规模、并行计算机结构的知识可以于神经元结构的设计。,五、神经网络硬件分类,对通用处理器的神经元计算机的建立 （实例） RAP（环阵列处理器） 33 是由通用处理器构造出神经元处理器的一个例实例。它是在ICSI（国际计算机科学研究所，伯克利，加利福尼亚州）研发出的，并且自1990以来它是作为开发语音识别中的连接算法的一个重要部分。RAP是由一个4 MB的动态随机存取存储器和440个具有256千字节快速静态存储器的定点数字信号处理器TITMS320C30组成。这些芯片通过Xilinx公司的可编程门阵列（PGAs）进行连接。这些芯片是通过一个连接环连接成可编程门阵列，每个芯片执行一个简单的数据管道。此外，每板有一个虚拟机环境总线的逻辑接口，允许它连接到主机上。 RAP的软件支持需要一个具有命令解释器的工作站，C标准环境的工具和一个矩阵、向量库。在前处理中计算一个多层感知器网络，一个简单的板就可以每秒运行57兆周，而处理反向训练可以每秒运行13.2兆周。,五、神经网络硬件分类,神经元芯片 实现神经元功能采用的专用芯片需设计专用的电路。通过比较通用处理器执行的2阶幅度，神经元芯片提高了神经元交互时间。设计神经元芯片可以选择一些应用技术。其主要区别在于选择了一个全数字化，完全模拟，或混合的设计。 一些实例表明直接在电路中执行改变了原始计算机单元（模拟或分析）确切功能。这主要是由于精度的有限。有限的精度对原始模式的运作具有非常大的影响。为构造出大规模的执行机构，许多神经元芯片就必须互联。因此一些芯片就用于专门的通信通道。其他的神经元芯片就被专用通信元件互联了。,五、神经网络硬件分类,数字神经元芯片 数字神经元专用集成电路（ASIC）是强大和成熟的神经元芯片。数字技术提供的高精度，高可靠性，高可编程性。此外，强大的设计工具对数据全、半定制设计是有效的。缺点是与模拟实现相比，具有相对较大的电路尺寸。突触权重可以存在芯片上也可不存在芯片上。这是权衡速度和大小来选择的。,五、神经网络硬件分类,模拟神经元芯片 模拟电子技术有一些特性是可以直接用于神经网络的实现。例如，运算放大器，可以很容易用晶体管构建，可以自动运行神经功能，如集成与双弯曲线转换。 这些密集型计算，可以通过物理过程自动执行，如集合电流或电荷。模拟电子技术是非常紧凑，且可在低能耗条件下提供高速运转。根据目前最先进的微电子技术，一个简单的神经元可以把1000多个神经元联想记忆芯片和100多个输入集成到一个100GCPS的芯片上。,五、神经网络硬件分类,模拟神经元芯片 （优缺点） 模拟技术的缺点是对噪音和工艺参数变化容易产生变化，从而限制了计算精度。除了设计模拟电路的困难，如何表示可适用的权重问题也限制了模拟电路的应用。 尽管模拟芯片不能达到数字芯片的灵活性，但其速度和紧凑，使模拟芯片在神经网络的研究中占有一席之位，特别原神经网络模式自适应特性的模拟芯片。最后一个有价值的优势是可以与真实的模拟世界直接接口，而数字实现将需要一个快速模拟数字转换器读取世界信息，和一个数字模拟转换器把数据转换回世界信息。,五、神经网络硬件分类,合成神经元芯片 数字和模拟技术具有独特的优势， 但他们也存在缺点，主要是关于神经网络实现中的适应性。数字技术的主要缺点是相对计算缓慢、硅的使用量大和倍增电路的大功率。模拟技术的缺陷是对噪声的敏感性、对干扰和过程变化具有易变性。对这些过程的执行采用正确的模拟和数字技术混合是非常有利的。为了获得两种技术的优点，并避免主要缺陷，一些研究小组已经实施了混合系统。,五、神经网络硬件分类,合成神经元芯片 （举例） ANN（模拟神经网络的算术和逻辑单元）芯片 。 Epsilon 42 芯片是一个种混合型神经元芯片，用于脉冲编码技术。 最近用于脉冲流技术的神经元芯片是PDM（脉冲密度调制）数字神经网络系统43。,六、案例分析,CNAPS 最广为人知的商用神经元计算机CNAPS（连接网络的自适应处理器） 15 是自适求解。CNAPS系统基本构造模块是神经元芯片N6400。如图所示，该N6400本身由64处理单元（简称处理节点）组成，它们通过在一个SIMD（单指令多数据）模型中的传播总线相连接。双8位总线可以将输入输出数据传到所有的PN中。 CNAPS结构的一大优势是系统的可扩展性：由于传播总线，处理器间通信和SIMD模式，和N6400芯片均可以很容易地添加。,六、案例分析,SYNAPSE-1 SYNAPSE-1是由8个MA-16芯片连接到两根并行环上，通过2个摩托罗拉MC68040处理器控制。权值是存储在一个外芯片DRAM，它总计达到128M字节并且通过扩展可达到512M字节。神经网络是映射到前一阶段的SP-并行，和学习阶段的NP-并行。神经元传递函数是用查表法在外芯片上计算。特别是高容量的在线权值存储器可以作为SYNAPSE-1来处理复杂的应用。 不同于CNAPS中的简单SIMD结构，编写SYNAPSE-1程序是困难的。虽然有神经算法程序设计语言可用，但相当复杂的处理单元和脉动阵列二维结构对直接编程造成影响。,七、神经网络硬件的应用,神经网络的硬件应用于实际和获利已经越来越多了。本节说明其在光学字符识别（OCR），语音识别，神经形态系统和高能物理的应用。,七、神经网络硬件的应用,光学字符识别 光学字符识别已成为一个神经网络最大的商业应用。现在购买一个新的扫描仪通常包括商业光学字符识别程序。把图片文本转换到文本文件，很多或更多的步骤必须通过光学字符识别程序完成，包括清理图像，分割字符，特征提取，分类和校验字符等等。大多数的光学字符识别程序通过ANN选择完成一个或多个光学字符识别步骤，而其他步骤中所使用的技术有传统的人工智能（IF-THEN规则），统计模型，隐马尔可夫模型等等。 光学字符识别的神经网络硬件阐明了两点：高通量，需要高性能专用硬件；消费产品，必须采用廉价的专用芯片。,七、神经网络硬件的应用,语音识别 传感系统元件在语音识别神经元芯片中是很专业化的 46 。芯片的成本只有几美元。芯片可识别有限的词汇，例如10-100个单词。其目的是便于为消费者应用，如手机、玩具等。它们涉及原声信号变成频率和送入神经网络的单独变换表示。神经网络的结构进行非线性贝叶斯分类。训练数据包括一个300 600个声音的潜在用户样本语言库。,七、神经网络硬件的应用,神经形态硬件 神经形态是指与生物神经系统的结构和功能密切相关的系统，如：硅视网膜和模拟耳蜗 47 。这种装置主要是模拟，特别是在前端传感器阶段。一个成功的商业产品是突触触摸板 48 。它是一个很小但非常灵敏的触点，可以感察到人手在其屏幕导航、光标移动、互动的输入板上的移动位置。突触触摸板就是用了在视网膜和触摸研究的思路，尤其神经元的输出是受其连接到其他附近神经元的影响。该触摸板可以用在多种应用，其应用是需要一个薄，稳健，准确，易于使用输入和导航设备。 神经形态设备和触摸板一样，在转换成数字信号前，要做很多前端处理拟电路，因而具有低带宽要求。,七、神经网络硬件的应用,高能物理在线过滤器 高能物理实验涉及亚原子粒子碰撞，如质子与电子，粒子加