CN115375581B 基于事件时空同步的动态视觉事件流降噪效果评价方法(东南大学)_第1页
CN115375581B 基于事件时空同步的动态视觉事件流降噪效果评价方法(东南大学)_第2页
CN115375581B 基于事件时空同步的动态视觉事件流降噪效果评价方法(东南大学)_第3页
CN115375581B 基于事件时空同步的动态视觉事件流降噪效果评价方法(东南大学)_第4页
CN115375581B 基于事件时空同步的动态视觉事件流降噪效果评价方法(东南大学)_第5页
已阅读5页,还剩20页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

(19)国家知识产权局(12)发明专利(10)授权公告号CN115375581B(65)同一申请的已公布的文献号(73)专利权人东南大学地址210096江苏省南京市玄武区四牌楼2号(72)发明人王立辉许宁徽(74)专利代理机构南京众联专利代理有限公司专利代理师蒋昱审查员张楚湖(54)发明名称基于事件时空同步的动态视觉事件流降噪效果评价方法基于事件时空同步的动态视觉事件流降噪效果评价方法,包括步骤:1、读取动态视觉传感器输出的事件流,并获取动态视觉传感器的位姿信息;2、使用事件流结合位姿信息进行三维重建,将不同时刻触发的事件时空同步到参考时刻,得到置信地图;3、将置信地图转换为事件概率图,表示理想情况下动态视觉传感器对场景的响应概率;4、基于事件流和事件概率地图的一致性,计算事件流的合理性;5、通过计算降噪算法对事件流合理性的提升,得到降噪的精度指标,用于评价和对比不同算法的降噪效果。该方法通过利用动态视觉传感器的高频优势,结合位姿信原始事件流原始事件流位姿信息事件流降噪算法降噪事件流事件概率地图降噪效果评价降噪精度指标事件投影参考视角视差空间图降噪事件流置信地图21.基于事件时空同步的动态视觉事件流降噪效果评价方法,具体步骤如下,其特征在步骤3:由于DSI中的局部最大值和边缘区域往往对应于场景中的强度梯度,触发事件(3-1)对于置信地图中的每个像素x,y,分(3-2)之后,以空域高斯核G和值域高斯核Gr的归一化乘积作为权值W(x;,y;),对窗口Ω内的所有像素进行加权融合,得到自适应阈值T(x,y),与中心像素处的置信值c(x,y)对其中,窗口大小设置为7x7,并对置信地图上的所有像素重复上述步骤,得到参考时刻的事件概率地图;步骤5:高精度的事件流降噪方法能够去除合理性较低的噪声事件并保留合理性较高32.根据权利要求1所述基于事件时空同步的动态视觉事件流降噪效果评价方法,其特在进行三维重建前,先对每个像素上的重复事件进行检测,并时间阈值参数t设为20ms;(2-1)选取参考时刻的观测视角作为参考视角,并将沿其光轴方向的观测相机系离散化为栅格地图,构建视差空间图DSI,视差空间图DSI将参考视角离散化为N个深度平面在对事件进行投影构图的过程中,实际场景以高频连续触发的3.根据权利要求2所述基于事件时空同步的动态视觉事件流降噪效果评价方法,其特在投影过程中,首先利用每个事件e;(x,y)在4H2=FH₂₆F⁻¹式中(x,y.)和(x(z),y(z))分别是事件的像素坐标和在Z₀平面的投影坐标;事件在DSI的其余深度平面上的投影坐标,再次通过单应性变换,从Z₀平面上的坐标计算得到:其中,化简后得到事件在Z平面上的坐标:式中(c,Cy,c₂)¹=-R't,为DVS相对参考时刻的坐标。4.根据权利要求1所述基于事件时空同步的动态视觉事件流降噪效果评价方法,其特征在于:步骤4中的事件流合理性计算包括如下过程:(4-1)对于事件流e₁(x,,y₁,t),使用I:Z²→{0,1}表示参考时刻前后一段时间范围内,动态视觉传感器像素平面Z²上的事件触发情况:其中,t表示时间范围,1和0分别表示[t-T,t+τ]时间段内,该像素处事件的存在和缺(4-2)当I(x,y)=1时,使用对应像素处事件的时间戳,与参考时刻之间的时间距离构造指数衰减核,表示事件流在该像素处与事件概率地图之间的时间相关性:其中衰变率参数δ设为20ms,通过相应位置的事件概率p(x,y)和I(x,y)的乘积量化事件流在像素处触发事件的合理性,合理性越大,表示该事件作为实际场景触发的有效信号的可能性更大;当I(x,y)=0时,使用事件概率地图上的逆事件概率:P(x,y)=1-p(x,y),表示该像素缺失事件的合理性;(4-3)因此,得到[t.-t,t+T]这段时间分别计算像素平面Z²上所有像素处的对数合理性,得到事件流e的合理性:56基于事件时空同步的动态视觉事件流降噪效果评价方法技术领域[0001]本发明属于传感器信号处理技术领域,具体涉及基于事件时空同步的动态视觉事件流降噪效果评价方法。背景技术[0002]动态视觉传感器(DynamicVisionSensor,DVS),也称事件相机,是一种生物启发式传感器,通过模拟自然界生物的视觉系统,有着与传统相机完全不同的工作方式。动态视觉传感器不以固定速率输出图像,基于异步事件驱动敏感各像素上的光照变化,当亮度的对数变化达到预设的阈值时,以超低延迟(小于1微秒)激发“事件”(Event)。每个事件由四维向量表示e(x,y,t,p),包含事件的像素坐标(x,y)、触发时间t和极性p,其中,极性p∈{1,-1}表示像素上亮度的增强或减弱。DVS仅输出局部亮度变化的相关信息,拥有响应速度[0003]动态视觉传感器由于其本身结构对环境亮度变化十分敏感,且受限于硬件水品,在输出的异步事件流中包含大量噪声干扰。噪声可能来源于数字信号传输时的脉冲噪声以及光电二极管所引起的高斯噪声等,对于事件流进一步的应用以及可视化造成很大影响,因此,对事件流信息进行降噪处理是非常重要的环节,事件流的降噪也成为了动态视觉传感器领域的一项重要研究课题。[0004]然而,由于DVS的数据负载过大(每秒输出上百万个事件),难以对每个事件的有效性进行手动标记,噪声的具体分布和基准事件流无法获取,因此,目前还没有有效的方法衡量事件流的降噪效果和对比不同算法降噪效果,进而制约了事件流降噪算法以及动态视觉传感器的进一步发展和应用。发明内容[0005]针对以上问题,本发明提供了基于事件时空同步的动态视觉事件流降噪效果评价方法,利用动态视觉传感器的高频优势,结合位姿信息,可以在噪声的具体分布和基准事件流未知的情况下,实现对事件流降噪效果的客观评价。[0006]本发明提供基于事件时空同步的动态视觉事件流降噪效果评价方法,具体步骤如[0007]步骤1:读取动态视觉传感器DVS输出的事件流,并通过动作捕捉系统、视觉里程[0008]步骤2:基于Event-basedMultiViewStereo算法,使用事件流结合位姿信息对实际场景进行三维重建,将不同时刻触发的事件投影到参考时刻进行时空同步,得到置信地图,实现对真实事件的锐化和噪声事件的模糊,作为降噪的参考基准;[0009]步骤3:由于DSI中的局部最大值和边缘区域往往对应于场景中的强度梯度,触发事件的概率更大,在得到参考时刻t的置信地图c(x,y)后,通过计算每个像素作为局部最7[0011]步骤5:高精度的事件流降噪方法能够去除合理性较低的噪声事件并保留合理性[0014]作为本发明进一步改进,步骤2中使用事件流结合位姿信息进行三维重建包括如步到对应的空间位置,而事件流中的噪声则不会对DSI中的固定区域产生时空持续性的投的表达式分别为:8的投影坐标:Ω内的所有像素进行加权融合,得到自适应阈值T(x,y),与中心像素处的置信值c(x,y)对9[0047]其中,窗口大小设置为7x7,并对置信地图上的所有像素重复上述步骤,得到参考时刻的事件概率地图。[0048]作为本发明进一步改进,步骤4中的事件流合理性计算包括如下过程:[0049](4-1)对于事件流e(x;,y;,t),使用I:Z²→{0,1}表示参考时刻前后一段时间范围内,动态视觉传感器像素平面Z²上的事件触发情况:和缺失;[0052](4-2)当I(x,y)=1时,使用对应像素处事件的时间戳,与参考时刻之间的时间距离构造指数衰减核,表示事件流在该像素处与事件概率地图之间的时间相关性:[0054]其中衰变率参数δ,设为20ms,通过相应位置的事件概率p(x,y)和I(x,y)的乘积量化事件流在像素处触发事件的合理性,合理性越大,表示该事件作为实际场景触发的有效信号的可能性更大;[0055]当I(x,y)=0时,使用事件概率地图上的逆事件概率:P(x,y)=1-p(x,y),表示该像素缺失事件的合理性;=|I(x,y)log(T(x,y)p(x,y))+(1-7(x,y)log([0058]分别计算像素平面Z²上所有像素处的对数合理性,得到事件流e的合理性:[0060]logP(e)越小,表示事件流e与事件概率地图的一致性越好,合理性也越高。[0061]有益效果:[0062]本发明充分利用了动态视觉传感器的高频特性,将实际场景在像素平面上连续触发的有效事件同步到参考时刻的三维空间,实现对有效事件的突出锐化和对噪声事件的模糊过滤,从而量化事件流的合理性以及算法的降噪精度,可以在噪声的具体分布和基准事件流未知的情况下,实现对事件流降噪效果的客观评价。附图说明[0072](2-1)选取参考时刻的观测视角作为参考视角,并将沿其光轴方向标计算得到:步到对应的空间位置,而事件流中的噪声则不会对DSI中的固定区域产生时空持续性的投事件的概率更大,在得到参考时刻t的置信地图c(x,y)后,我们通过计算每个像素作为局[0091](3-1)对于置信地图中的每个像素(x,y),分别使用其与邻域窗口Ω内各像素(x₁,Ω内的所有像素进行加权融合,得到自适应阈值T(x,y),与中心像素处的置信值c(x,y)对[0113]步骤5:高精度的事件流降噪方法能够去除合理性较低的噪声事件并保留合理性

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论