中英文文献翻译-OpenCV兼容背景前景识别实时处理器

附件1：外文资料翻译译文OpenCV兼容背景前景识别实时处理器M.热那亚,E.那不勒斯,NA.佩特拉DIBET-那不勒斯大学,维亚河克劳迪奥,21-80125那不勒斯-意大利Email:ma.genovesestudenti.unina.it摘要：背景识别方法被用于许多领域，如：视频监视和交通监控。本文提出一种基于高斯混合模型算法的硬件实现，它能够对高清图像进行背景识别。该电路是基于OpenCV实现，特别适合改善初始背景学习阶段。优化位宽度是为了降低硬件复杂度和提高工作速度。当在Virtex5FPGA上实现时，提出的1920x1080电路可以每分钟处理22帧。关键词：背景识别，现场可编程门阵列，对象检测，OpenCV、引言监视和交通监控的应用见文献1-4，它们均是依靠视频相关事件的序列识别。近几年目标检测技术已经被进行了研究并提出了不同的算法。主要的实时识别算法是基于文献5-7的帧差算法或在8-13文献中的与参考模型（背景减除方法）比较的算法。文献5-7中的帧间差分的算法，用于检测比较连续帧的运动物体。该算法实现快速简单，但是输出依赖于运动物体的速度。背景减除算法检测的前景与参考模型的帧比较。文献8中，如果参考像素可以在相对较长的时间里保持一个恒定值，就可以考虑把它视作背景。当在其他场景不变的情况下，出现光照的变换，该方法失效。文献9,10中使用Kalmann过滤器，而11提出了维纳滤波器，以适应背景模型。其他方法有采用统计算法来获得背景的每个像素的统计模型，具体应用见文献12，13。对于新的帧，像素和统计的模型比较。如果该差值大于阈值，则像素被分类为前景。在文献12中一种每个像素的单高斯分布算法被提出。该算法是有效的，但不能描述阴影和目标重复运动（如涟漪波浪或whishing叶）都存在的多种方式的背景。出于这个原因，在文献13中，每个像素被用混合的高斯分布建模。文献13中提到的技术被称为高斯混合模型（GMM），并且该技术在既有光照变化和多种背景的情况下提供了良好性能，由于其良好的性能，在OpenCV库15GMM算法已被选择为背景检测算法。OpenCV（开源计算机视觉）是一个由英特尔开发的开放源码软件库。OpenCV提供了一个能够从图像提取相关细节和自动处理计算机视觉工具的共同基础。在OpenCV库提出的GMM算法是一种算法的优化版本，其特别适合改善最初的学习阶段。该高斯混合模型算法的主要缺点是需要众多的非线性计算来线性的增加每个像素的高斯数量和实时视频处理用软件无法实现的。在文献13中，是一个小框大小尺寸为160x120在SGI02RIOOOO处理器获得11fps的帧速率。在文献14中，提出了一个GMM算法的FPGA实现。该算法不符合OpenCV的GMM算法，但提高了处理能力和处理比较大的图像（基于38帧的10241024）。本文提出了GMM的算法一种硬件实现，它能够对高清晰度和符合OpenCV的视频进行实时处理。当在Virtex5FPGA上实现时，电路处理22fps的高清图像。可编程逻辑XC5VLX50FPGA的可编程序逻辑占5.5，而47兆赫的频率功耗为27.6mW。、高斯混合模型该高斯混合模型算法已经提出了通过斯托弗和以效率的目标模型多种方式的背景的Grimson13。它用K高斯分布的混合物组成的统计模型描述了每个象素的统计。使用多个高斯允许建模真实的情况。作为一个例子，其在框架上的一个点两个值之间的强度振荡是用两个高斯完全仿照。更大的是高斯分布的数目由算法采用，较高的是算法的精度和计算的复杂性的。一个GMM的算法描述如下。有关详情参考文献13和OpenCV的文档。图1背景识别电路框图A参数更新当获取一帧，则使用被验证的K高斯函数条件去匹配每个像素。如果分布的平均值和像素之间的差值低于2.5个标准差，则像素和高斯函数匹配。匹配的条件是重要的，以确定是否像素值是否可以被认为是背景。当第k个高斯验证这一条件（匹配），其参数更新如下：（1）1)(,1,1,2,2,1,tktkGtttktktktktttkmachsuachsuMpixel其中，和是平均值，对于每一个高斯的变量和权重。和是两个不同2tG,的学习速率和matchsum是在OpenCV的算法引入了一个计数器，这将在下面进行说明。对于那些没有匹配高斯分布的权重更新是根据：（2）tktktk,1,而平均值和方差是不变的。每个像素只能匹配单个高斯函数。如果像素接近一个高斯函数优先级参数则命名为适当，选择匹配的高斯分布。适当（F）的参数由下式给出：（3）kk/当高斯值有一个高F值，其代表高概率背景像素。对k个高斯值以F值递减的顺序进行排序（即F1F2F3.）。与像素相匹配的高斯值和最高的F值视为匹配的分布。一个具体的“不匹配”的更新程序时，执行的像素不匹配任何高斯值。在这种情况下高斯具有最小的F参数更新为：（4）11,ktkmachsupixelkktkmatchsuine/1_vr,2,其中variance_init是一个固定的初始值。其他高斯的权重是递减的，而在（2）式中他们的均值和方差都不变。B背景识别执行的背景识别时使用下面的算法，其中T是一个前缀阈值：（5）)(minarg1,bktT式（5）表示将第一bF的权重来排序的高斯值连续相加，直到它们的总和大于T，由（5）式得到的高斯值式代表背景。如果一个像素与这些高斯值的一个相匹配，则被认为是背景像素，否则将被分类为前景。、硬件实现GMM的计算复杂度非常高，并且与被用于每一个像素的高斯值一同增长。而且背景识别的准确性也随着高斯值增加。目前发现了良好的折衷是高斯3模型。所提出的电路实现了单信道，基于亮度和OpenCV实现的GMM算法。该算法的计算复杂度包括O(n)的增长速度，其中n是帧的大小。这项工作的目标是在处理超过10帧的高清视频。它必需处理21百万脉冲/秒。一个软件的实施无法达到这些性能。GMM硬件实现已在VHDL代码进行了描述。为实现高性能的VirtexFPGA目标设备。GMM处理器采用OpenCV的算法允许一个简单替换的较慢的软件实对图像的实时处理。A.电路所提出的电路如图1所示，输入数据是8位亮度的输入像素（像素）和像素（参数）的统计模型。输出是对输入像素更新的统计模型（更新参数）和前景/背景标记。在下面给出的图1对图中每个circuital块实现的算法的作出详细解释。适当性：根据式（3）计算三个高斯适当性的因素；匹配：验证三个高斯的匹配条件;控制逻辑：以递减适当性秩序高斯排序和更新在（1），（2），（4）的高斯建立。高斯排序是通过两两比较，在F因子的执行。只需要三个比较器和几个逻辑门。参数更新：如果匹配条件被验证，权重，均值和方差块在上述（1），（2）更新参数。如果没有高斯的像素相匹配，不匹配块的更新意味着，方差和重量最小的用F高斯（4）。输出选择：根据是否匹配条件进行验证与否，逻辑输出选择确立的更新的参数值。背景标识：验证在所示（4）的背景识别条件和产生BG/FG模糊化每一帧。OpenCV的算法使用，对每个高斯，一个计数器名为matchsum的递增在相关分布匹配用的像素，并用于当没有匹配验证需要更新权重时。在文献13中，matchsum不使用，并且当验证没有匹配，则该重量被初始化为一个固定（非常小）值。OpenCV的GMM在进行背景的初始识别时方法更快。它可以检测一帧后的背景，同时GMM算法需要大约35帧，如图2。图2背景识别帧的所需的值固线：提出基于OpenCV兼容的实现虚线：GMM算法13该的引入相伴三个计数器的合成，它们都不在关键路径上。唯一缺tkmatchsu,点是增加电路面积。B.带宽GMM的重点是所需的内存大小记录背景参数。对于每个像素的均值，方差，权重和各分布matchsum必须加载/存储。根据他们的字长，内存带宽瓶颈可能产生。在软件OpenCV实现的参数是双精度（64位）浮点数。因此，该参数比特对每个像素是758。例如，如果存储器的吞吐量是每个周期128位，则需要以加载该参数位为每个像素6个时钟周期。其结果，也由于硬件的复杂性，使用浮点运算的实时视频处理是不可能的。GMM的算法的详细检查发现，大多数的信号有一个有限的动态。均值，权重和方差范围分别为在0，255，0，127和0,1。在这种情况下，使用一个固定的点表示提供良好的性能，同时降低硬件复杂性和对内存带宽要求。表1实现中使用的表述参数表示位#02.9,6U4tk,4,712t,2,1312tk,8,U8参数的固定点表示的位的数目是根据其两个范围和所要求的精度。如果高斯分布的均值是一个23位的数字（7位是整数部分，18位为小数部分）两个内存带宽和逻辑利用率非常高。为了改善性能的字长已减少获得良好的精度与比特的最小可能数。值得注意的是，该参数的小数部分的比特数也学习率（，）tG,的函数。较小的学习速率增加所需的小数部分的位数。作为例子，如果=0.02，需要用于的小数部分的至少6位。使用较低的字长，导致下溢，结果=0并且损害了GMM算法。在实现中使用的表述见表1，给出符号。表示一个nmU,无符号定点数，其中是最高位的权重，是最低位的权重。关于matchsumm2n2，已经观察到，每matchsum占用4比特，从而减少逻辑利用率，具有良好的性能。与提出的陈述116位被用于每个象素，大大减少了对实时图像处理所需的存储器带宽。要处理10帧具有19201080的内存，带宽帧大小为287MB/s。另外，在图中的图像3显示，双精度浮点执行（图3a）非常相似，建议优化实施（图3b）。图3背景/前景帧(a)得到的双精度浮点GMM(b)建议优化实施C.非线性函数不同的非线性函数需GMM的实现。如实施例中，适当因子，在公式（4）中的权重和学习速率所需要的二进制反转操作。实际的选择，一直使用的非线性G函数ROM实现，以尽量减少电路的复杂性和最大化电路速度。因为LUT占用指数与输入的比特数增加，所以ROM中的实现仅在输入的比特（因此和不同的ROM的条目）的数量是有限的时候，。提出的硬件实现的主要优点是，输入数据具有一个优化的定点表示法，可以减少输入的比特数，同时提供了可靠和有效的电路。作为示例，该适当因子的计算，已通过ROM和一个乘法器实现。ROM中存储的是标准偏差的倒数。如果标准偏差的方差和的标准偏差的倒数分别用12位和8位表示，则ROM的适当计算的大小是X8位。Virtex5XC5VLX50逻辑利用12率是243片出28800。工作频率和功率分别是191.6MHz和1.87兆瓦。D.可重构性如前面所指出的，高斯分布的参数的比特数必须根据值，该值是所考虑的背景（背景缓慢变化的场景需要较低的值）的函数来选择。所提出的设计是高度参数化，并允许参数的代表性的简单修改。这允许电路的快速适应新的应用程序，并且因为提供了最佳的设计与位的可能的最低数目，所以应用于商业非常重要。E.成果和实施非流水线的提出，实现了基于OpenCV算法的合成，并在不同的XilinxFPGA上实现。唯一的序列元素是采用广视角技术同步输入和输出数据。该电路已采用人工录像，基于简单的背景电脑动画，并对从实际监控摄像头拍摄的视频序列进行测试。该电路实现效果最佳，运行平稳，无显示的可靠性问题。表2显示了不同的电路实现不同的值和表示的比特数。如图所示，所有提议实施要满足10fps的要求。为了减少值，重视硬件的复杂性增加的同时降低速度。然而，对于超过0.002硬件的复杂性，电路的速度没有增加在一个合理的方式。使用更便宜的Virtex-4FPGA的数额等于27，降低了电路的速度。因此它可能是利用流水线提高实现，以使用更便宜的FPGA性能。表2性能改变值和FPGAFPGA最高频率(Mhz)Fps1024X1024Fps1920X1080动态功耗(mW)片0.02Virtex5xc5vlx5047442227.615720.002Virtex5xc5vlx5040381927.620980.02Virtex5xc5vlx5034321651.32601、结论本文提出了一种在OpenCV中使用GMM算法的硬件实现。在Virtex5（XC5VLX50速度等级-3）实施建议的电路允许的最高工作频率是47MHz，因此它能够处理22帧与帧大小1920X1080的高清视频。该电路具有减少1572片LUT（可用LUT的5.5）的逻辑利用率。动态功耗是27.6毫瓦。已实施OpenCV的算法的电路允许的背景初始化非常快速。在OpenCV的库该算法已使用定点运算，而不是双精度浮点表示。在本文中，它显示出所得到的系统的精度是不变的。参考文献1D.Gutchess,M.Trajkovi,E.Cohen-Solal,D.LyonsandA.K.Jain,Abackgroundmodelinitializationalgorithmforvideosurveillance”,inProc.EighthIEEEInternationalConferenceonComputerVision,vol.1,Vancouver,BC,July2001,pp.733-740.2I.Haritaoglu,D.HarwoodandL.S.Davis,“Afastbackgroundscenemodelingandmaintenanceforoutdoorsurveillance”,inProc.ofthe15thInternationalConferenceonPatternRecognition,vol.4,Barcellona,Spain,2000,pp.179-183.3B.Gloyer,H.K.Aghajan,K.Y.Siu,andT.Kailath,“Video-basedfreewaymonitoringsystemusingrecursivevehicletracking,”inProc.SPIESymp.ElectronicImaging:ImageandVideoProcessing,1995,pp.173-180.4L.Vibhaetal,MovingVehicleIdentificationusingBackgroundRegistrationTechnique”,Proc.oftheIntern.MultiConferenceofEngineersandComputerScientists,vol.1,HongKong,2008,pp.572-577.5Z.Chaohui,D.Xiaohui,X.Shuoyu,S.ZhengandL.Min,“AnImprovedMovingObjectDetectionAlgorithmBasedonFrameDifferenceandEdgeDetection”,inProc.FourthInternationalConferenceonImageandGraphics,Chengdu,2007,pp.519523.6R.MingwuandS.Han,“APracticalMethodforMovingTargetDetectionUnderComplexBackground”,ComputerEngineering,2005,pp.33-34.7Z.Yunchu,L.Zize,L.EnandT.Min,“ABackgroundReconstructionAlgorithmBasedonC-meansClusteringforVideoSurveillance”,ComputerEngineeringandApplication,2006,pp.45-47.8S.Y.Chien,S.Y.MaandL.G.Chen,“Efficientmovingobjectsegmentationalgorithmusingbackgroundregistrationtechnique”,IEEETrans.CircuitsSyst.VideoTechnol.,2002,pp.577-586.8C.Ridder,O.MunkeltandH.Kirchner,“AdaptivebackgroundestimationandforegrounddetectionusingKalmanfiltering”,InProc.ICAM,1995,pp.193-199.10K.P.Karmann,A.Brandt,“Movingobjectrecognitionusinganadaptivebackgroundmemory”,In