版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、中文译名可编程嵌入式平台上的实时视频监控外文原文名real-time video surveillance on an embedded, programmable platform外文原文版岀处 microprocessors and microsystems 37 (2013) 562-571译文:摘要:为了在可编程平台上,将现场可编程门阵列(fpga)资源有效地运用于 自动视频监控系统模型,本文提岀了一种软硬件协同设计。在现场可编程门阵 列(fpga)逻辑器件上设计和实现并行处理最大化是前景目标检测算法的限时 步骤。其他非限时任务是通过在nios ii嵌入式处理器上执行高级语言程序來 实
2、现的。我们通过使用大量片上存储器的流式传输协议将定制和并行处理模块 集成到视频处理链上来增大系统吞吐量,并将数据转发技与术片上缓存方案相 结合以缩减窗口操作中的计算和资源。其他数据控制接口是由使用阿尔特拉公 司(altera)存储器映射协议与硬件控制器进行通信的软件驱动程序来实现 的。我们所提出的模型展示了优于其它实现方法的实时处理能力。一、引言口动视频监控,即硬件组件是由系统智能而不是人工干预控制的,已经成 为一个发展迅速的领域。这些系统口动视频监控采用智能视频处理算法来实现 更高效、更有效的监控。如同许多图像处理应用需要一个高性能系统来支持实 时口动视频监控。而视频处理应用中的密集型计算需
3、要强大的并行处理能力。 近年来,采用多处理器结构来支持计算密集型应用如实时图像处理应用已经成 为了一种新兴的趋势1。例如,虹膜识别应用利用通用计算图形处理器 (gpgpus)和微处理器來提高其运行速度2, 3。口动视频监控通常需要低成 本、低功耗的嵌入式系统。嵌入式系统通常包括:通用处理器,数据总线,存 储器模块和硕件加速器。由于资源方面的限制,在嵌入式系统中优化自动化视 频监控是特别具有挑战性。对于串行操作的通用处理器而言,内存开销常常成 为阻碍这些系统实现实时处理目标的瓶颈。针对此问题的常见解决方案是按比 例缩小视频帧尺寸或者在一个视频帧内处理更小的感兴趣区域(r0i) 4, 5o 与通用
4、计算机使用软件装置相比,视频处理应用通过使用数字信号处理器 (dsps)取得了一些改进,即通过在核心处理器上采用“有限的”并行化和在 一些复杂的操作中利用优化的数字信号处理器(dsp)库提供了一些改进。尽管 如此,使用数字信号处理器(dsps)这种方法并没有在视频处理算法中充分发 挥其固有并行性的作用。现场可编程门阵列(fpga)平台与其固有的并行的数 字信号处理模块、大量的嵌入式存储器模块和寄存器、以及高速存储器和存储 接口为改善嵌入式系统级芯片设计提供了一个行z有效的解决方案。许多研究 人员利用现场可编程门阵列(fpga)技术效能来实现计算密集型算法6-9 o这些 方法实现了应用特定的体系
5、结构,显著提高了系统吞吐量。例如,文献6研究 结果显示,基于现场可编程门阵列(fpga)的视频增强系统的性能显著优于其 他基于数字信号处理(dsp)或者基于现场可编程门阵列(fpga)但操作时钟频 率较低的系统。在性能上存在差异的主要原因是,现场可编程门阵列(fpga) 的系统利用应用固有的大规模并行操作,而数字信号处理(dsp)器只有固定数 目的功能组件,将并行处理限制在一定的范围z内。另一个重要的区别是,* 于频繁访问外部存储器,基于数字信号处理(dsp)的实现方案性能显著降低。 在基于现场町编程门阵列(fpga)的实现方案中,片上缓存可用于处理在播放 中出现的像素。运用现场可编程门阵列(
6、fpga)技术开发一个完整的视频处理系统也会遇 到很多挑战,如实现高效的内存和存储设备控制器、将系统与不同格式的视频 连接、漫长的调试和验证过程。为了节约设计、实施和验证时间,设计人员可 以集屮精力专注于开发可以集成到恢入式系统上的硬件加速器。这些特定功能 的硕件加速器通常执行计算最密集的操作,而通用处理器则被用于执行控制任 务和其它操作。许多研究人员探讨了这一设计方法10-12 o在文献10中,作 者提岀了基于现场可编程门阵列(fpga)的摄像头设计,可以实现模板与应用 相匹配。该系统将硕件处理组件与通信接口或控制器结合在片上系统(s0c)设 计上。meng ct al提出了一个通过多处理核
7、心进行人体动作识别的恢入式系统 11。在此设计中,处理核心是基于x订inx公司的picoblazc软处理器的。 在文献12中,作者提出了嵌入式跟踪系统的侦件/软件协同设计,在现场可 编程门阵列(fpga)中执行计算密集型任务來实现知名的光流算法。在本文小,软硬件协同设计的提岀是为了有效利用现场可编程门阵列 (fpga)功能来建立实时自动视频监控系统模型。具体地讲,在现场可编程门 阵列(fpga)的逻辑组件中执行目标检测算法的计算密集型操作是为了实现并 行处理最大化。釆用强大的片上存储器控制器来实现实时处理能力的流水线体 系结构设计是其主要的贡献。视频流中的像素被保存在存储器中的现场可编程 门阵
8、列(fpga)内,用以支持冃标检测算法的并行体系结构。这个实现方法显 著减少访问外部存储器芯片的次数。该设计也将数据转发技术与本芯片的缓冲 区相结合,以减少现场可编程门阵列(fpga)资源。应用控制和用户界面任务 是通过在阿尔特拉公司(altera)的nios-ii软核处理器上执行软件程序来实 现的。标准视频框架小的公共视频预处理功能被运用来显著降低开发和验证时 间。定制与并行处理模块是通过阿尔特拉公司(alters)的avalon流式传输(avalon-st)视频协议集成到视频处理链上的13。由于这些定制加速器执行 一些复杂的和最常用的操作,可以把它们添加到可用于其他视频处理应用的用 户库屮
9、。-其他数据控制界面是通过采用阿尔特拉公司(altera)的avalon内存 映射(avalon-mm)协议将硬件控制器连接到nios-ii处理器上来实现的。二、视频监控方法2.1目标检测算法在监控应用中,背景减除和目标检测算法是通过在前景中检测异物來实现 的。背景模型是基于输入安全相机的实时视频流來动态创建的。近似中值滤波 法被用于建立背景图像。这种方法可自动适应不断变化的场景和逐步更新背景 的模型。在这项工作中,我们运用了背景减除和阈值法。在前景图像中的目标 被检测和跟踪,以便进一步分析。这种方法可以被分为三个主要的步骤:背景 图像建设、前景分割、口标检测。2.1.1背景图像建设为了改善前
10、景提取和目标检测算法的有效性,保持一个精确的可以适应操 作环境变化的背景模型是很重要的。这需要一个强大的背景模型来支持自动操 作。背景图像在实时视频流的基础上周期性地或连续地更新。多年来,许多方 法已被提出來创建背景图像,诸如高斯模型、时间中值滤波、基于直方图的中 值滤波以及近似小值滤波。创建背景模型最常用的方法之一是运用高斯概率密度函数(pdf)来代表图 像中的每个像素14 o通过此方法,背景模型可以根据高斯概率密度函数 (pdf)的运行平均值来持续更新。该模型使用单一高斯函数,可以有效地评估 一个静态场景,但它也可以非常好地代表变化的场景。高斯混合物是能够在变 化的环境中代表背景模型的更有
11、效的方法15,16。它虽然是很有效的方法,但 它也是计算密集型的,这对嵌入式系统中的实时应用来说并不理想17。另一 种常用来模拟背景图像的方法是时间中值滤波器(tmf) 18 o时间中值滤波 器(tmf)法通过选择n样木帧中相同像素位置的中值,来计算背景图像中每个 像素的强度。这种方法简单且适用于实时应用,已被有效地用于从视频序列中 创建背景图像19,20。但它的主要缺点是,n视频帧需要大量的存储空间,这 一点让时间中值滤波器(tmf)对域入式系统来说变得很不实际,严重限制了板 载存储器的数量。直方图时间小值滤波法(直方图tmf)是由时间中值滤波法 (tmf)演变而来的21,22。传统的时间中
12、值滤波法(tmf)需要一种排序算法来确定特定像素的小值,而直方图时间屮值滤波法(直方图tmf)为背景图像 屮的每个像素保持一个直方图,从一个累积函数屮选择屮点来计算屮间值。与 传统的时间屮值滤波法(tmf)相比,这种方法显著降低了存储要求。而近似屮 值滤波法(amf)是更合适运用于嵌入式系统小的实时操作的方法23 o这种估 计方法消除了在传统时间中值滤波法(tmf)中除了原始背景图像缓冲区z外所 有的存储需求。该滤波法根据时间使用等式(1)不断接近于近似的屮间值。在 此方法中,如果输入强度大于或小于背景模型中像素(x, y)的值,那么就通 过简单地递增近似或递减背景模型中像素(x, y)的值來
13、近似取得中间值。这 个过程可以概括为:f+ 1, ifb(x.y)f = - 1, if> i(x.y)(1)i b(xy)f_ otherwise其小b是背景图像,i是输入图像,t表示当前帧,和(x, y)是所考虑像素的 坐标。在这项工作中,近似中值滤波(amf)技术用于创建和更新背景图像。当 背景图像被不断更新时,所以根据预定准则周期性地将背景图像转移到前景提 取过程小。例如,背景图像可以在操作者的命令下传输,在固定的时间间隔, 或者根据经验阈值。2.1. 2前景分割f(xj) =眉这项工作运用了强大而有效的前景分割算法。算法步骤见图lo 一旦背景 图像被创建和存储在静态随机存取存储
14、器(sram)的一个象限中,前景分割叮 以使用等式(2)来进行。首先,计算输入图像中的每个像素和背景图像中的相应 像素z间的区别。然后,根据从滑块开关屮解码得到的参数的差分图像阈值,创 建一个中间的前景图像。计算前景图像的函数如下:if abs(/(x,y) - b(x,y) > v otherwise其屮f是前景图像,1是输入图像,b是背景图像,和v是阈值。前景图像是 一个显示潜在両景目标的二进制图像。这种方法作为背景消除法而广为人知, 因其简单性和有效性而成为最受欢迎的方法z 24。其他基于运动的分割方 法虽更为准确,但要求更高的计算能力25, 26 o在拟建的系统中,背景消除法 是
15、用來简化能够支持高分辨率视频流的体系结构的。在背景消除步骤z前,平滑滤波器(与高斯核卷积)首先与输入视频帧卷 积。屮间前景图像是由执行背景消除步骤来确定的,见等式(2)。然后,高通滤波器(二进制图像小值滤波器)被应用到屮间前景图像屮,以确定当前像素kx k邻威中的大多数ka2像素是否等于t'。如果是,当前像素设置为1 否 则复位为0 '。经过高通滤波处理的图象将会通过一个形态匹配模块来获取当 前前景帧。形态匹配操作也是一个窗口函数,执行先扩张后侵蚀操作。首先, 扩张操作是用來连通二进制图像中相邻气泡z间的缝隙的。在扩张操作清除二 进制图像中不相关的细节z后,将侵蚀操作应用于所得
16、结果27 o对当前前景 图像与之前的前景图像执行“与”操作,获得最终的前景图像。最后一步获得 更精确的前景图像。整个算法被实现为一个能够每一个时钟周期处理一个像素 的流线型并行体系结构。高通滤波器、扩张和侵蚀操作都是需要大量内存访问 的窗口操作。为了消除对窗口中邻近像素的重复访问,片上缓冲方案被纳入并 行体系结构的设计中,以在滤波器中保持邻近像素不变。frame (n)smoothingthresholdmajority>filterfilterdifferenceandbackground imagedifference andfig. 1. foreground segmenuvio
17、n algorichm.2.1.3 g标检测经过滤波处理的前景图像接着在场景中进行异物检测,也就是检测二进制 图像中的非零像素集群。这个检验过程是按适用于流线型结构的光栅扫描顺序 (从左到右,从上到卜j来展开的,。这些集群的坐标被保存在一个表中,这个表 是用來绘制围绕这些对象的边框的。为了进行进一步分析或额外操作如拉响警 报或记录当前帧,坐标也可以被转移到系统中的其他模块。2. 2软硬件协同设计可编程片上系统(sopc)产生器是阿尔特拉公司(altera)的quartus软件 开发工具的一部分。设计者运用quartus软件开发工具能够在一个可编程芯片 上快速连接和生成一个完整的嵌入式系统28
18、o它主要是用来定义嵌入式系统 中nios-11处理器与各种外围设备以及与硬件组件之间的连接。用户可以将内 置硬件控制器以及定制硬件加速器集成到许多标准外围设备上。可编程片上系 统(sopc)产生器生成硬件描述语言(viidl或verilog)文件,以此來定义系统中 所有组件z间通过图形用户界而进行的互连。只要他们遵守接口规范即 avcilon-st和avalon-mm接口,就可以将定制的知识产权(ip)核心集成到系统 中。另一个重要的工具是altera vip suite,可以利用来快速设计和实现一个 视频处理系统模型29 o altera vip suite包含常见的视频输入或输出接 口、帧缓冲区控制器、视频调整核心、颜色转换核心、视频去隔行核心、滤波 器、转换器等。基础系统是首先通过连接可编程片上
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2026年福建生物工程职业技术学院单招职业技能考试必刷测试卷及答案1套
- 房屋出售委托代理协议范本
- 2026年云南现代职业技术学院单招职业技能考试必刷测试卷新版
- 2026年赣州职业技术学院单招职业适应性测试必刷测试卷附答案
- 2026年乌鲁木齐职业大学单招职业适应性测试必刷测试卷及答案1套
- 2026年武汉警官职业学院单招职业技能考试题库新版
- 2026年桂林山水职业学院单招职业适应性测试题库及答案1套
- 2026年罗定职业技术学院单招职业技能测试必刷测试卷附答案
- 2026年湄洲湾职业技术学院单招职业倾向性考试题库及答案1套
- 2026年武汉铁路桥梁职业学院单招综合素质考试必刷测试卷新版
- 2025中国K12课外辅导市场消费特征与行业趋势研究报告
- 2026年北京市高考语文总复习:专题11 文学类文本阅读(选修上册课内阅读)(解析版)
- 2025江苏南京市产业招商中心有限责任公司招聘18人笔试考试参考试题及答案解析
- 2025年安庆宿松县卫生健康系统部分事业单位公开招聘工作人员14人笔试考试备考题库及答案解析
- 2025-2030老年康复辅具居家适老化改造需求调研报告
- 物业小区电梯故障应急预案
- 2025年广州公务员行测真题【完整+答案+解析】
- 2025年港澳台联考语文试题及答案解析
- 关于蜥蜴的科普
- 2025年食品安全考试试题(答案+解析)
- 2025年单位开展违规吃喝问题专项整治的工作方案(详细版)
评论
0/150
提交评论