（通信与信息系统专业论文）面向低分辨监控场景的行人检测与超分辨重建算法研究.pdf

u n i v e r s i t yo fs c i e n c ea n dt e c h n o l o g yo fc h i n a adi s s e r t a t i onf o rm a s t e r sd e gr e e r e s e a r c ho np e d e s t r - a nd e t e c t i o na n d s u p e r - r e s o l u t i o nr e c o n s t r u c t i o nf o r _ 一 一-、 l o w - r e s 0 i u t l o ns u r v e i a n c es c e n a r i o a u t h o r sn a m e ：g a o z h u s p e c i a l i t y ： c o m m u n i c a t i o n sa n di n f o r m a t i o ns y s t e m s s u p e r v i s o r ：p r o f p e i k a n gw a n g f i n i s h e dt i m e ： m a y , 2 0 12 中国科学技术大学学位论文原创性声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的 成果。除已特别加以标注和致谢的地方外，论文中不包含任何他人已经发表或 撰写过的研究成果。与我一同工作的同志对本研究所做的贡献均已在论文中作 了明确的说明。 作者签名：缝签字日期： 汐d 6 ，2 f 中国科学技术大学学位论文授权使用声明 作为申请学位的条件之一，学位论文著作权拥有者授权中国科学技术大学 拥有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构 送交论文的复印件和电子版，允许论文被查阅和借阅，可以将学位论文编入有 关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论 文。本人提交的电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定。 么 髓公开口保密( 年) 作者签名：叁南导师签名： 签字日期： 知f 2 6 ，彩 签字日期： 摘要 摘要 对低质量视频序列的行人目标进行检测和高分辨重建是伴随着近些年来提 出来的物联网互联互通的概念而产生的新需求，智能化的信息集成处理有依赖于 这些前端检测和处理的信息输入。高质量和有效的图像目标可以为后续的应用提 供很好的支持，包括目标检索，匹配认证等等。因此本文针对监控摄像，手机摄 像等获取的低分辨图像序列，从中检测分割出对应的行人目标，并进而对其进行 高分辨重建，得到相对清晰的目标图像版本。这里，我们只针对检测分割后的目 标图像序列进行超分重建，由此将会带来速度以及重建质量的提升，我们也会在 相应章节中设计相应的实验来进行说明。 本文首先研究了适合用来在低分辨图像序列下进行行人目标检测的算法，由 于很多现有的检测算法都只针对像素分辨度较高的行人图像，无法适应本文所需 要解决的应用场景。为此，我们采用了对低分辨场景具有鲁棒性的基于局部人体 构件的行人检测方法。这种方法通过预先标记人体关键点聚类相应的人体构件训 练样本，通过针对这些局部构件单独训练出子检测器后，再对目标图像分别进行 检测，通过整合多个子检测器的检测结果，我们就可以获取比较好的检测总体性 能。针对本文的应用场景，我们设计了一系列优化子检测器信息融合的改进方案， 充分利用每一个子检测器的检测结果。另外，分割目标的准确性也尤为重要，因 此我们也优化了原有的检测框估计方法，使得到的检测框定位更加精确。 另外本文还研究了针对检测后目标行人图像序列的超分重建方法，因为行人 目标具有局部移动性和图像低质模糊的特点，重建之前所进行的配准过程往往会 产生很多重建奇异点，这在重建较为快速运动的行人目标时尤为明显，为此我们 首先针对重建奇异点这一块提出了一种基于m a p ( m a x i m u map o s t e r i o r i ) 的反向 投影方法，利用帧间和帧内的两部分相关性设计分类器来分别处理重建奇异点， 使得多个图像的信息得到最有效的融合。另外，我们还研究了能够维持图像边缘 特性的正则化项，主要是利用了双边全变差滤波器本身具有的纹理分析和快速运 算能力，设计好相应的自适应参数之后就可以有效自适应图像的局部结构差异 性。最后，我们还研究分析了不同帧数下图像的重建效果，得出了初步的重建帧 数适用边界。 关键词：行人检测，低分辨率，人体构件，m a p ，超分重建，鲁棒自适应 摘要 a b s t r a c t a b s t r a c t i nt h er e c e n ty e a r s w i t ht h en e wc o n c e p to f t h ei n t e r n e to f t h i n g s ，s o m en o v e l n e e d sh a v eb e e nr a i s e da n dp e d e s t r i a nd e t e c t i o na n ds u p e r - r e s o l u t i o nr e c o n s t r u c t i o n f o rl o w r e s o l u t i o ns e q u e n c ei so n eo ft h e m t h es u b s e q u e n ti n t e l l i g e n tp r o c e s s i n g s u c ha so b i e c tr e t r i e v a l ，a u t h e n t i c a t i o na n di d e n t i f i c a t i o nh a sh e a v yr e l i a n c eo nt h e s e d e t e c t i o na n dp r e p r o c e s s i n go u t p u ti n f o r m a t i o n t h u st h i sd i s s e r t a t i o ni sf o c u s i n go n t h el o w r e s o l u t i o ni m a g es e q u e n c ef r o ms u r v e i l l a n c ea n dm o b i l ec a m e r a s h e r ew e c h o o s en o tt or e c o n s t r u c tt h ew h o l el o w r e s o l u t i o ni m a g es i n c ew ec o u l dg e t a d d i t i o n a ls p e e da n dq u a l i t yg a i n f i r s t l y , w es t u d yp r o p e rp e d e s t r i a nm e t h o dw h i c hc o u l db eu s e di nt h es c e n a r i o o fl o w r e s o l u t i o ns e q u e n c es i n c em o s to f t h ec u r r e n td e t e c t i o nm e t h o d sc o u l do n l yb e e f f e c t i v ew h e nc o p i n gw i t hh i g h r e s o l u t i o ni m a g e s s ow ee m p l o yap o s e l e t - b a s e d d e t e c t i o na l g o r i t h mw h i c hi sr o b u s tt ol o w r e s o l u t i o ns c e n a r i o t h i sm e t h o di st o p r e - t a gk e yp o i n t so fh u m a nb o d ya n dw i t ht h e s ek e yp o i n t sw e c o u l dc o l l e c te n o u g h t r a i n i n gp a t c h e sw h i c hc o n t a i np a r t i c u l a r v i e w o fah u m a np o s ep a r tt og e ta s u b - d e t e c t o r t h e nb yc o m b i n i n ga l lt h e s es u b - d e t e c t o r s o u t c o m ei n f o r m a t i o n ，w e t h e nc o u l da c h i e v eq u i t er e a s o n a b l ep e r f o r m a n c e w eh a v ed e v i s e ds o m es t r a t e g i e st o b e t t e rf u s et h o s es u b - d e t e c t o r s o u t c o m e b e s i d e s ，t h ep o s i t i o n i n ga c c u r a c yo ft h e d e t e c t i o nb o u n d i n gb o xi sa l s oav e r yi m p o r t a n ti n d i c a t i o n ab e t t e rp r e d i c t i n gm e t h o d h a sb e e np r o p o s e dt oi m p r o v et h ea l g o r i t h m so v e r a l lp e r f o r m a n c e w ea l s os t u d yp o w e r f u lr e c o n s t r u c t i o na l g o r i t h mf o rt h ed e t e c t e dp e d e s t r i a n s e q u e n c es i n c et h e s e l o w r e s o l u t i o ni m a g e sw i l lg e n e r a t eag r e a tm a n yo fo u t l i e r s e s p e c i a l l yf o rt h o s ew h i c hc o n t a i nh i g h - s p e e dp e d e s t r i a n s ar e p r o j e c t i v e m e t h o d b a s e do nm a p ( m a x i m u map o s t e r i o r i ) h a sb e e np r o p o s e dt oe n h a n c et h er o b u s t n e s s b yu t i l i z i n gt h er e l e v a n c eb e t w e e ns e q u e n c ea n dw i t h i nt h es i n g l ei m a g e sl o c a la r e a b e s i d e s ，ar e g u l a r i z a t i o nt e r mu s i n ga ni m p r o v e db i l a t e r a lt o t a lv a r i a t i o nf i l t e r i s d e v i s e dt op r e s e r v et h ei m a g ee d g e ss h a r pw h i l er e s e r v i n gt h eh i g hc o m p u t a t i o ns p e e d l a s t l y , e x p e r i m e n t so nd i f f e r e n tf r a m e sa r eg i v e n t ot e s tt h el i m i to nt h en u m b e ro f t h e i n p u tf r a m e k e yw o r d s ：p e d e g r i a nd e t e c t i o n , l o w - r e s o l u t i o n ，p o s e l e t ，呲s u p e r - r e s o l u t i o n ， r o b u s t n e s sa n ds e l f - a d a p t i o n a b s t r a c t i v 目录 目录 摘要i a b s t r a c t i i i 第一章绪论一1 1 1 论文研究背景及现状2 1 1 1 行人检测研究状况2 1 1 2 超分辨图像重建研究状况5 1 2 论文的主要贡献和结构8 1 3 符号说明9 第二章行人检测与超分辨重建框架1 1 2 1 面向低分辨监控场景的行人检测与超分重建框架1 1 2 2 基于人体构件p o s e l e t 的行人检测算法1 2 2 2 1p o s e l e t 构件检测算法1 2 2 - 2 2 检测器性能评估1 4 2 3 基于m a p 的超分辨重建1 6 2 3 1 图像降质模型1 7 2 3 2m a p 超分辨理论框架l8 2 4 小结1 9 第三章基于p o s e l e t 的增强抑制行人检测算法2 1 3 1p o s e l e t 的行人检测算法2 l 3 1 1p o s e l e t 检测器训练过程2 l 3 1 2p o s e l e t 检测器检测过程2 5 v 目录 3 2 基于p o s e l e t 的增强抑制行人检测2 6 3 2 1 构件子检测器之间的增强抑制2 7 3 2 2 基于局部构件定位能力的预测框精度提升算法2 9 3 3 算法实验性能分析3 l 3 4 小结3 4 第四章基于m a p 的鲁棒自适应超分重建算法3 5 4 1m a p 图像序列超分重建算法模型3 5 4 2 基于m a p 的鲁棒自适应重建3 6 4 2 1 基于反向投影的鲁棒重建一3 6 4 2 2 基于区域结构自适应b t v 的重建正则项3 7 4 2 3 算法实现细节3 9 4 3 检测分割行人序列归一化3 9 4 4 实验及性能分析4 0 4 4 1 标准图像序列超分重建实验4 l 4 4 2 监控低分辨场景超分重建实验4 2 4 5 小结4 7 第五章结束语4 9 参考文献5 1 攻读硕士学位期间的研究成果5 5 致谢5 7 v i 图表目录 图表目录 图1 1 来自四个不同行人检测数据库的样本图例3 图1 2 超分辨算法重建的图像与普通插值方法的恢复结果比较6 图2 1 本文研究的主要内容：从低分辨图像序列中检测出感兴趣目标后进行超分辨重建1 1 图2 2 p o s e l e t 算法中使用的人体构件样本集分别训练子检测器1 3 图2 3 左侧为平均准确率( a p ) 的计算方法，右侧用来判定检测框是否命中1 4 图2 - 4 图例化对应的两个重要检测参数：准确率和查全率1 6 图2 - 5 超分辨图像处理降质模型1 7 图3 1 使用a t m 标记人体关键点，右侧一i 幅为抽离出来的人体姿态2 2 图3 2 人体构件子样本块集，上面的为关键点空间，下面的是聚类的人体构件一2 3 图3 3 不同的人体构件子检测器聚类之后估计检测框2 3 图3 - 4 每个人体关键点在某类人体构件下的统计分布一2 4 图3 - 5 检测中使用的h o g 梯度特征2 5 图3 - 6p o s e l e t 算法构件检测，聚类和预测框估计过程2 6 图3 7 构件之间的联系是很强烈的，可以互相增强抑制一2 7 图3 8 不同姿态下的同一部位构件子检测器造成的检测框重叠2 8 图3 - 9f ( x ) 用来重新映射构件子检测器的分数值2 9 图3 1 0 由于过于依赖统计信息，因此检测框的定位精度并不足够好3 0 图3 “实验所使用的软硬件环境3 1 图3 1 2 对于不同数据库的检测结果对比3 2 图3 1 3 检测结果的细节比较，上图为原算法，下图为增强算法3 3 图4 1 基于反向投影的鲁棒重建算法3 7 图4 2 不同形式的正则化能量曲线比较3 8 图4 3 合成序列的重建结果比较一4 1 图4 4 真实序列的重建结果比较( 下方为细节图) 4 2 图4 5c a s i a 行人数据库检测分割重建效果对比4 3 图4 - 6t u d 行人数据库检测分割重建效果及细节对比4 4 图4 7u a b 行人数据库检测分割重建效果及与不分割直接重建的比较4 5 图4 8 使用不同的帧数获取到的重建结果比对4 6 图表目录 表1 1 主要的行人检测数据库比较5 表2 1p o s e l e t 检测算法在v o c 中的评估表现1 3 表2 2 各种情况下的检测目标结果1 5 表3 1 算法性能对比：平均检测率3 4 表3 2 算法性能对比：正确检测目标的平均重叠率3 4 表4 1 不同噪声组合所得到的图像p s n r 值( 单位：d b ) 4 2 表4 2 超分算法处理时间( 单位：秒) 4 7 第一章绪论 第一章绪论 随着监控摄像头，手机摄像头的普及，很多新兴的应用和需求也相继被提出。 比如公安对侦查案件的需求，由固定摄像头摄取的视频图像已经不止一次在其中 扮演着重要的角色，监控中获取的记录信息为案件侦破带来第一手的线索和证 据。有美国哈佛商学院的相关研究表明，在人体各种器官接受的外界信息输入中， 视觉信息占到了压倒性的8 3 ，因此可以看到视觉信息对于人们反应和处理外界 信息的重要性。 而伴随着近几年信息技术的不断发展，人们也渐渐可以接触到各式各样的视 频和图像信息，从地外飞行探测器传回来的外太空图像信息，医院里各色医疗设 备摄取的身体内部结构信息，互联网上随处可见的娱乐视频。相应人们对于这些 视频或者图像的质量需求也越来越高，如何处理或者提取得到非常好的高品质图 像和视频已经成了众多专家学者苦思冥想寻求解决方案的难题。 而同时另一方面，计算机智能视觉领域的需求也应运而生，这个领域交织了 人们对于高级人工智能的探索。同样，视觉输入作为人类获取信息的主要手段， 自然受到了格外的关注。人们试图创造一种能够像人脑那样理解视觉信息的方式 或者说一种体系，很多这个领域内相对成熟的技术目前而言应用还比较单一，所 能达到的效果也比较局限。这个领域目前比较前沿的几个研究方向都已经将目标 瞄向了更加深远，更加有效的理解和学习方法。 目前结合图像处理和计算机视觉检测的研究并不多，尽管本身两者的交叉和 互相交错的区域是很有渊源的。因此本文尝试在两者之间做一个更深入的交互， 利用计算机视觉检测的额外增益带来为图像处理的高层次的辅助，计算机视觉更 相当于人类的人工辅助，只不过这里是由人工智能带来的。通过对图像的预先人 工干预，可以为后期的恢复增强处理带来很大的益处。本文中通过视觉检测单独 分割出独立的行人目标之后，可以使得图像处理对象变得更加集中和均匀，因而 为后面的配准和迭代恢复带来很大的帮助。 本章节将对行人检测算法和图像超分重建算法的研究背景以及研究现状做 一些说明，读者可以从章节中了解到这两个联系紧密的领域中目前的研究情况， 从而对我们的研究目的有更好的理解。章节开始我们将重点阐述一下检测与超分 重建这两个领域结合的必要性和益处。 第一章绪论 1 1 论文研究背景及现状 针对感兴趣特定目标展开的检测和超分重建需求由来已久，但是很多之前展 开的研究往往把两者单独分开来，把两者作为独立的部分进行研究，而事实上， 我们将两者结合可以带来很多额外的增益： 首先是基于感兴趣内容的考虑，很多应用系统如公安嫌疑犯监察系统，需要 独立寻找到某段监控视频序列内是否包含特定的嫌犯目标，此时既需要我们能够 单独抽离出嫌犯行人对象，也有需要针对该行人检测对象的高分辨图像处理，以 满足后期的需求，因而天然的需要结合这两个领域。 其次是目前超分辨重建方法需要的图像输入往往都为先期处理的单一目标 的多帧图像序列( 考虑到图像尺寸对重建的影响，原始图像序列的降质矩阵非常 巨大) ，对于本文研究的行人图像目标，原图不能适用，手动的分割和整理严重 影响超分图像重建算法的实用性。 另外，由于图像超分辨率重建往往先需要针对待重建图像序列进行配准处 理，而行人场景下往往存在多个运动目标不同方向的位移，这就对图像配准算法 提出了很高的要求，在实际的重建过程中，无法配准的像素点就会转化为重建奇 异点，会深刻降低图像的重建效果，或者说完全无法发挥出原有图像重建算法的 能力。 最后，先检测出行人目标将会进一步提升重建图像的质量和重建速度。这两 点在原有的单一重建框架下就是比较大的先天不足，而通过我们预先检测分割出 行人目标对象之后，使得图像目标的像素区域相对均匀统一，对于重建来说也相 对容易迭代出更好的结果。另外，重建目标的尺寸减少将会带来巨大的算法速度 增益，这些益处我们都会在接下来的章节中给予说明和实验验证。 因此本文试图对两者的研究做一个综合，探讨其中存在的问题以及可能的解 决方案，不过考虑到这一方面的研究偏少，因此我们在研究背景和现状这一块将 先单独进行阐述，并在之后的章节中补充实验进行验证和说明。 1 1 1 行人检测研究状况 行人检测研究是伴随着这几年不断兴起的计算机视觉热潮衍生的一个非常 重要的应用，目前市面上我们已经可以看到很多成熟的行人检测产品，比如奔驰 公司推出的车载夜视检测系统，就可以在夜晚环境下借助近红外影像检测出行人 目标，从而为驾驶者提供必要的行人环境反馈。同样的，目前市场上还有很多公 司在研发相应的安全产品，用于监控和门禁，国内中科院就在研制一整套完整的 2 第一章绪论 智能视频分析系统，旨在能够有效，智能的对监控视频进行视频分析，数据挖掘 得到精炼的信息，比如多个监控摄像头下的目标轨迹跟踪，嫌犯识别匹配等。 国内外主要的研究机构也对行人检测展开了细致的研究，p a p a g e o r g i o u t l 】等最 早提出了使用滑动窗口，s v m 训练机以及多尺度h a r r 小波来进行检测。v i o l a 2 1 等人在此基础上设计了一套流水结构，并采用了a d a b o o s t 作为训练机来优化检 测系统，这套系统被看做后来很多工作的基石。之后随着基于梯度特征，尤其是 s i f t l 3 j 特征的影响，d a l a i 和t r i g g s l 4 针对行人检测的特点，设计了一种全新的行 人检测特征h o g ( h i s t o g r a mo fo r i e n t e dg r a d i e n t ) 。这种特征相对于其他基于灰度 的特征，取得了革命性的进步。此后z h u 5 】等人通过积分直方图【6 】的方式加速了该 种特征，再加上p c a ( p r i n c i p a lc o m p o n e n ta n a l y s i s ) 处理之后，已经可以达到半秒 每张左右的速度。基于h o g 特征的各种变形形式的检测器现在已经几乎成为了 最为主流的行人检测器特征表达方法。 另一类比较重要的方法是基于形状特征的，g a v r i l a 和p h i l o m i n t 7 】【8 】采用了 h a u s d o r f f 距离变换和多层次模板来匹配图像形状边缘，这种方法只使用行人的轮 廓信息，因此剔除了很多不必要的信息，只使用轮廓，也是奔驰汽车夜视行人检 测系统所采用的设计。w u 和n e v a t i a l 9 1 则使用所、旧l a e l h 、j 坦、缘构件l e o g e i e i ，特仳t , 不扎, 表- 局部轮廓形状特征，再使用b o o s t i n g 训练器分别来训练头部，躯干，四肢以及整 体的轮廓表达。同样的，基于局部形状块的形状构件( s h a p e l e t ) 1 0 1 之后被提出。之 后又有l i u 1 1 】等人提出了“微可调特征”，核心概念在于集成了多种特征，包括 h o g 类型与形状类型。 霞舅 建 蕙 震 f b ) c a ( c ) d a i m l e rd ) i n r i a 图1 - 1 来自四个不同行人检测数据库的样本图例 囊孽、 第一章绪论 运动信息是另一种重要的行人检测信息，但是对于带有运动位移的摄像机而 言，信息的引入相对困难。对于静态摄像头，v i o l a f l 2 】等人提出了一种基于图像差 值的h a a r 样特征，取得了比较好的效果。d a l a i 1 3 】等人则使用了光流域来刻画帧 间的内部运动统计信息，这种窗口形式的补偿方式对于检测还是很有效果的。 之后很多的研究是在综合利用各种特征上面，而非是单独的一种信息，不同 的信息之间可以提供互补，从而增加检测效率。w o j e k 和s c h i e l e t l 4 采用这类的策 略，他们使用了一种结合h a a r 样特征，形状构件【l0 1 ，形状背景信息【l5 j 和h o g 特 征的综合框架，w a l k t l 6 】等人延续了该框架，并加入了新的特征，比如局部颜色自 相似和运动信息。w a n g 7 】等人则结合了一种基于l b p ( l o c a lb i n a r yp a t t e r n s ) 的纹 理分析检测器，再使用线性s v m 分类器进行基本的遮挡分析。 关于学习结构也有很多的工作在展开，m a j i t l 8 】等人提出了一种类似直方图交 错核结合s v m 使用的方法，这种方法有效加速了学习过程，使得非线性s v m 的 使用在滑动窗口检测中成为可能。 1 9 则尝试结合线性s v m 和a d a b o o s t ，使得 不同的数据得到比较有效的利用，从而对整体的行人检测性能加以提升。 从训练数据监督方式上来说，很多被证明非常强大的监督局部训练检测器， 包括使用星座模型和稀疏表示方法的都非常依赖人体的关键点。l e i b e l 2 0 1 等人设计 了一种基于人体关键点的隐含形状模型i s m ( i m p l i c i ts h a p em o d e l ) ，比较有创新性 的使用投票机制来判断检测目标的得分，然后再反向重建对象目标。不过由于低 分辨率条件下纯粹依靠关键点去寻找对应的部件不具有特别强的可靠性，因而后 来的文献又提出了非监督的基于部件的方法，比如【2 l 】中使用了一种多实例学习 体系m i l ( m u l t i p l ei n s t a n c el e a r n i n g ) 来进行无部件级别监督下人体部件的位置判 断。而对于目前为止最强大的一种行人检测方法之一，f e l z e n s z w a l b 2 2 】等人提出 的分离构件d p ( d i s c r i m i n a t i v ep a r t ) 模型将构件位置作为一个隐藏变量放在s v m 的体系框架内，之后这一系列的方法又被拓展到能自适应各种分辨率的情况，使 得该算法得到进一步的稳健。 目前国际上比较有公信力的行人检测数据库主要包含两块：一部分是姿态不 受拘束的各种形式的图像，另一部分则是相对严格的直立姿态的运动行人。前一 部分的数据库有非常出名的m i tl a b e l m e 【2 3 】数据库和p a s c a lv o c t 2 4 】数据库， 而第二部分的数据库更加接近我们这个环境下的图像要求，这里面非常知名的行 人检测数据库包含有i n r i a t 2 5 1 ，e t h | 2 6 1 ，t u d b r u s s e l s 2 7 1 和d a i m l e r 2 8 1 行人检测 图像库，图1 1 是相应的图例样本，表1 - 1 给出了这些数据库在图像获取条件， 图像库数量级，图像形式，行人尺寸以及其他一些相关的信息。 4 第一章绪论 表1 - 1 主要的行人检测数据库比较 图像获取行人数量行人平均是否彩色是否为图 发布时间 条件( 个数)像素高度图像像序列 m i t 照片 9 2 4 1 2 8是否 2 0 0 0 t u d 移动设备 1 7 7 66 6 是是 2 0 0 9 d a i m l e r 移动设备 1 5 6 k4 7否 是 2 0 0 9 n i c t a 移动设备 1 8 7 k7 2 是否 2 0 0 8 e t h 移动设备 2 3 8 89 0 是是 2 0 0 7 1 1 2 超分辨图像重建研究状况 超分图像重建是针对低质图像，寻求一种比常规图像恢复处理方法( 比如插 值，或者是盲恢复) 要更有效的方式。通常的图像增强恢复算法只考虑单i 幅图像 的像素结构以及降质过程，因此对于图像的恢复能力比较有限，无法提供质变级 别的图像质量提升。而超分图像重建算法不同，超分的主要原理是要想方设法引 入额外的先验信息，这些新的信息通过某种融合方式嵌入到原有的低质图像当 中。比如有些摄像机可以调整分辨率，通过这种方式获取到不同版本，不同清晰 度的图像，通过建立适当映射关系，就可以将高分辨的图像补充到低分辨图像当 中，这样就能获取到一张大尺寸的高分辨图像，这有点像现在流行的图像拼接， 最后得到的都是高分辨的大尺寸图像，但是显然前者的优点更多，因为拼接很容 易产生不匹配衔接的部分。 图像之所以产生不足分辨率的原因是多方面的，首先图像获取传感器本身的 缺陷会影响图像的清晰度。现代的图像获取传感器主要为传统的 c c d ( c h a r g e c o u p l e dd e v i c e ) 工艺或者是最近非常流行的c m o s ( c o m p l e m e n t a r y m e t a l - o x i d e s e m i c o n d u c t o r ) t 艺，这些传感器通常是在单块芯片上排布的二维传 感单元阵列，以获取外界二维图像。通常而言，足够致密的传感单元，才能产生 相对应高致密的图像像素，也就是说相对高的图像分辨率。然而现实的图像传感 器单元密度受限于现实的生产条件，过高密度的传感阵列，会产生致命的热噪声 或散弹噪声，另外生产的成本也会到达一定高度。从图像获取系统的角度而言， 也就是说图像获取系统的采样频率不满足足够的奈奎斯特要求，因此有一部分的 高频信息( 图像细节信息) 没有被获取到。 第一章绪论 ( a ) 原图 ( c ) 双三次插值法 ( b ) 低分辨图像 ( d ) 超分辨处理算法 图1 - 2 超分辨算法重建的图像与普通插值方法的恢复结果比较 除了图像获取传感器的工艺限制之外，摄取设备的镜头本身缺陷p s f ( p o i n t s p r e a df u n c t i o n ) 也是一个很重要的原因，镜头同样不是完美无缺的，物理缺陷带 来的成像扰动有时难以避免。这些问题造成的成像降质在很多目前的应用场景下 都很常见，尤其是监控摄像头或者是移动设备，手机等器械的摄像头，往往受制 与生产成本，不可能达到非常高的制作水准。在这样的应用背景条件下，超分辨 图像重建技术就有了用武之地，通过特殊的重建融合技术，可以得到相对理想的 高分辨图像，图1 2 给出了相应的超分重建效果图示。 超分辨图像重建技术的应用场景非常广泛，以下给出一些比较成熟的应用例 子，从中可以看到超分辨技术广泛的适用前景： 监控场景【2 9 】：这一块主要针对人们感官感兴趣的区域和改善，伴随着现在很 多应用越来越依赖监控视频，比如车牌识别，公安案件侦查等，需要好的图像处 理方法来结合使用。 6 第一章绪论 遥感技术【3 0 】：主要包括天气，国防等领域的需求，获取到的多幅同一地区的 图片序列需要高分辨处理方法进行分辨度提升。 医疗图像( 比如c t ，m ，超声波等人体成像图片) 【3 l 】：这种情况下尤其 需要图像处理技术，因为每一个高分辨度的区域都意味着很多重要的身体器官组 织信息，影响着医疗诊断的结果。 视频制式转换( 比如从n t s c 视频信号到h d t v 制式的转换) ：这里面存 在着不同分辨度之间的视频帧转换，好的高分辨转换算法可以提供比较好的用户 体验。 超分辨重建研究工作最初研究起点应该可以追溯到t s a i 和h u a n g t 3 2 1 ，其中涉 及到的主要核心思想使用了频域的平移和混叠原理，还有一些连续离散傅里叶变 换的应用。最初的重建模型假设的条件是无噪和全局运动，且对应的参数是已知 的。之后更多的不确定因素被引入，包括像素模糊，正则化约束【3 3 】等。不过基于 频域思想的重建方法终究未能达到其预期的效果，包括后来提出来的类似方法， 虽然在算法速度上比较快，然而在处理复杂图像降质模型和各式先验信息的引入 方面却是心有余而力不足，因而之后的研究工作多从时空域出发。 统计方法在其后的研究工作中占据了压倒性的优势，这种方法假设相应的未 知变量为统计变量，然后通过降质矩阵来组织联系这些变量，成为一个完整的贝 叶斯体系，不过最初的m l ( m a x i m u ml i k e l i h o o d ) 估计【3 4 】并不包含有正则项，这导 致了由于观察样本不够而带来的求解病态性，也使得这种方法对于噪声，配准误 差，参数估计误差等特别敏感，之后的研究方向转为基于m a p ( m a x i m u ma p o s t e r i o r i ) 的重建方法，这其中又衍生出了各式各样的先验形式，比如 g m r f ( g a u s s i a nm a r k o vr a n d o mf i e l d ) t ”j ，h u b e rm r f 和t o t a lv a r i a t i o n 等。针对 正则项的自适应能力，彭洁等人【3 6 】设计了新的正则化参数结构，在引入了图像先 验信息的同时，使得代价函数在定义域内呈局部凸性，有效遏制了高频信息的损 失。路庆春【37 】建立的三，也2 混合模型由于其对不同特性噪声和迭代过程中参数动 态变化的充分考虑，能够自适应调整正则项和数据保真项的分配比例，从而优化 整体算法效能和实用性。 通常来说，传统的超分重建框架都被分成为独立两个子区域：低分辨率序列 配准以及高分辨重建，多数的重建方法都把两者单独出来考虑。而实际上两者之 问是可以互相提高增益的，t o m l 3 3 l 等人将超分辨率重建问题分成三个子模块，配 准，恢复和插值，并使用e m ( e x p e c t a t i o n - m a x i m i z a t i o n ) 来进行联合最大似然化。 【3 9 运用了m a p 框架来同步估计高分辨图像和变换运动参数( 其中p s f 作为已 7 第一章绪论 知参数) ，整个联合估计过程使用了一种循环坐标下降最优化的方法，虽然在运 行速度上还需要进一步提升，但是对于图像质量的增强已经很有成效。 基于m a p 结构的超分重建算法有依赖于高效的正则化结构，好的通用图像 先验信息可以有效正则化目标函数，从而获取到理想的解值。但是很多场景下可 能由于序列数量不够而获取不到足够的先验信息，因此近几年随着计算机学习理 论的兴起，一种基于参数化形式的先验信息开始被引入到超分重建算法当中，这 当中的先验来自于从其他图片中采样得到的高分辨样本。最开始的学习方法直接 使用高分辨率样本【4 0 1 ，这种方法直接使用一组高低分辨率的样本对，通过建立合 适的映射关系来关联之间的对应关系。w a n g 4 l 】等人之后又提出了更加鲁棒的系 统，能够处理未知的p s f 以及其他的未知参数。y a n g 4 2 】等人提出了另一种基于 样本块的的单帧图像超分辨重建技术，该方法的核心思想来源于压缩感知理论， 这种理论保证了高分辨率的多维信息可以被准确的从低维的图像样本块中重新 恢复出来。不过，这类方法目前也有很多的问题，首先是如何有效选择样本块的 尺寸，需要类似的多尺度自适应处理方法。另外关于如何选择合适的数据库，不 同图片类型具有不同的统计特性，因而需要不同的数据库来支持。 除了上述的主流算法之外，另一类流行的思路是p o c s ( p r o j e c t i o no n t o c o n v e xs e t s ) 1 4 3 1 。这类方法的主要思想是通过设计一系列的约束凸集来投影收敛 到比较好的高分辨图像，约束凸集的优点在于它可以比较自由，有效的引入各式 各样的先验约束，包括非线性或者是非参数化的约束。不过这类方法的计算效率 很低，收敛性不够好，得出来的解也不是唯一的。最新的趋势是结合统计的方法 到p o c s 算法当中，从而获取更好的性能。 虽然超分辨重建的方法层出不穷，但是目前该领域面临的几个重难点还是有 待更深入的研究支持，其中包括图像配准问题，计算效率以及鲁棒性和重建效果 的上限限制，而本文的研究也主要从这几点出发，希望能够建立比较具有实用价 值的超分重建系统。 1 2 论文的主要贡献和结构 本文的主要研究目标是构建针对监控低分辨图像序列的行人目标检测和超 分辨重建系统，因此所有的研究就围绕该目标进行，重点在于探讨出适用本文研 究背景，也就是低分辨率图像监控场景下的行人检测与超分辨重建。很多原有的 单独的方法无法满足本文的应用需求，因此我们尝试寻求最适合的方法结合。 第二章首先给出本文使用的系统模型，讨论和阐述了选择依据和两部分的基 本理论框架，行人检测部分重点讨论了基于人体构件p o s e l e t 的检测算法，以及对 于行人检测算法的评估准则。超分重建部分则以m a p 重建算法作为切入点，讨 第一章绪论 论了基于m a p 进行图像重建的理论框架，为之后的详细阐述以及相应改进进行 了铺垫性的讨论。 第三章则主要从要适应本文研究背景的行人检测算法出发，提出了具有更好 特性的增强抑制检测算法。首先，由于原有基于p o s e l e t 的算法针对的主要是网上 各种旅游，家居的高分辨率图片，因此我们设计了一系列增强抑制算法来更加高 效的利用每个子检测器的检测结果，此外考虑到检测算法中原有存在的检测重叠 问题，我们又提出了基于子检测器级别的区域独立性处理方法，在解决重叠问题 的同时，还对原有的正检测结果做了增强。最后，由于超分图像处理算法对于行 人目标的分割准确性有比较高的要求，因此我们又提出了利用子检测器特定边界 定位的能力，来进一步提升行人目标的检测框定位精度。 第四章中，我们针对第三章中检测分割出来的行人目标进行基于m a p 框架 的高分辨重建，主要的研究切入点是图像重建的重建奇异点鲁棒性和图像局部区 域的结构自适应性。这两个研究点一直是超分辨重建领域的重点问题，因此一方 面我们设计反向投影分类机制，充分利用帧问和帧内的连续信息来抑制图像超分 重建奇异点，另一方面还通过自适应