大容量视频数据压缩存储技术的设计

I大容量视频数据压缩存储技术的设计Designoflarge-capacityvideodatacompressionstoragetechnology摘要21世纪以来，计算机和通信技术的迅猛发展，我们已经跨入了新的多媒体通信时代。通信世界已经发生了翻天覆地的变化，也意味着视频图像信息，作为新时代的一种重要的传输信息的媒介，已经成为了电子通信和计算机网络的重要处理对象之一。随之而来的一个问题就是这种多媒体信息量非常大，并且由于近几年由于人们对高质量的视频画面的要求，这样的视频信息对存储空间的需求也日渐增大，本论文的所研究的核心问题就是，如何减少视频实际占有的储存空间并且提高视频在通信时的传输速率。研究表明，全球监控视频的总数据量正在逐年增长，可想而知，历史数据的存储量更将会随着时间不断增加，然而，目前绝大部分的压缩技术只是对视频进行编码直接压缩，压缩率很小，从设备更新速度和经济条件的角度，单靠对视频的编码压缩已经不能满足实际需要，而有效的解决方法之一就是通过提取视频中感兴趣的关键帧，去除视频中无关的冗余信息，节省存储空间和传输带宽。基于此，本文提出基于视频内容的压缩技术，在线传输获取监控摄像头中的视频，利用HOG、DPM算法检测技术，提取感兴趣区域，丢弃冗余帧，从而压缩视频图像。具体做法是对于获得的视频图像，利用近几年在通用目标检测领域有着极大关注的可变形部件模型检测算法，循环地对每一帧图像进行检测，筛选出感兴趣区域部分（如人体、汽车）的图像，筛选后的图像进行小波变换图像压缩，压缩后的图像帧生成视频序列，保存最后的视频图像，与原始的视频相比，这样的处理有效地减少了内存的开销，达到了获取准确的对象，节约硬件成本的目的。实验结果表明，压缩前的视频与压缩后的相比较，后者的压缩效果显著，压缩率达到了9%，对实际中的视频压缩给出新的探索路径，具有很大的现实意义。关键词：图像与视频特征提取感兴趣区域视频压缩

AbstractSincethe21stcentury,withtherapiddevelopmentofcomputerandcommunicationtechnology,theworldofcommunicationhasundergoneearth-shakingchanges，whichmeanswehaveenteredaneweraofmultimediacommunication..Italsomeansthatvideoimageinformation,asanimportantmediumfortransmittinginformationinthenewera,hasbecomeoneoftheimportantprocessingobjectsofelectroniccommunicationandcomputernetworks.Aproblemthatcomeswiththisisthattheamountofmultimediainformationisverylarge,andbecauseofthedemandforhigh-qualityvideoimagesinrecentyears,thedemandforstoragespaceforsuchvideoinformationisincreasing.Thecoreissueoftheresearchishowtoreducethestoragespacethatthevideoactuallyoccupiesandincreasethetransmissionrateofthevideoduringcommunication.Accordingtoresearch,thetotalamountofdataformonitoringvideostoragefrom2015to2019isgrowingatarateof60%yearbyyear.Itisconceivablethatthestorageofhistoricaldatawillincreasewithtime,however,itiscurrentlylarge.Partofthecompressiontechnologyonlyencodesthevideodirectlyforcompression,andthecompressionratioisverysmall.Fromtheperspectiveofdeviceupdatespeedandeconomicconditions,theencodingcompressionofthevideoalonecannotmeettheactualneeds,andoneoftheeffectivesolutionsistoextractThekeyframesofinterestinthevideoremoveirrelevantredundantinformationinthevideo,savingstoragespaceandtransmissionbandwidth.Basedonthis,thispaperproposesacompressiontechnologybasedonvideocontent,usingHOGandDPMalgorithmdetectiontechnology,extractingregionsofinterest,discardingredundantframes,therebycompressingvideoimages;Thespecificmethodistousethedeformablecomponentmodeldetectionalgorithmwhichhasgreatconcerninthefieldofgeneralobjectdetectioninrecentyearsfortheobtainedvideoimage,andcyclicallytesteachframeimagetoselectapartoftheregionofinterest(suchashumanbody,Theimageofthecar,thefilteredimageissubjectedtowavelettransformimagecompression,thecompressedimageframegeneratesavideosequence,andthelastvideoimageissaved.Comparedwiththeoriginalvideo,suchprocessingeffectivelyreducesmemoryoverheadandachievesGetaccurateobjectsandsaveonhardwarecosts.Theexperimentalresultsshowthatcomparedwiththecompressedvideo,thecompressioneffectofthelatterissignificant,whichgivesanewexplorationpathfortheactualvideocompression,whichhasgreatpracticalsignificance.Keywords:imageandvideofeatureextractionregionofinterestvideocompression

目录摘要 IAbstract II第一章：绪论 41.1课题的研究背景和意义 41.2研究发展现状 51.2.1目标检测的发展现状 51.2.2目标检测的技术分类 61.3研究内容及章节安排 61.3.1研究的主要内容 61.3.2章节安排 7第二章：目标检测识别方案的论证与选取 82.1目标检测算法的选取 82.1.1基于模板或轮廓的方法 82.1.2基于HOG特征的方法 82.2.基于HOG目标检测技术的改进方案 92.2.1基于部件或局部形状的方法 92.3软件方案的最终选取 12第三章：系统的整体设计 133.1人体检测的视频压缩系统的软件设计 133.2视频转换图片 133.3图片中的人体检测 143.3.1HOG特征提取 143.3.2算法的具体过程 143.4图像二次压缩 173.4.1.基于小波变换的压缩算法 173.4.2.基于矢量量化的压缩算法 173.5图像转换视频 18第四章：算法的实现 204.1视频采集 204.2基于HOG人体检测算法的实现 214.3基于DPM算法的人体检测的实现 264.4基于小波变换的二次压缩算法的实现 30第五章：总结与展望 345.1总结 345.2展望 34致谢 35参考文献 36附录 2 第一章绪论1.1课题的研究背景和意义根据相关报告显示，全球范围内的可计数的摄像头到2025年预计将上升到2亿台，并且这个数量在未来的十年内将会继续保持平稳增长，每天存储的监控视频数据量能达到上千PB，其中无用的冗余信息对于存储空间的浪费是巨大的，由此也可见，监控视频在现在的大数据体系中有着极大的占比量。视频图像与人类视觉是直接紧密相连的，因为人类获取信息最主要的来源就是人的视觉系统，随着网络通信、计算机网络等技术的飞速发展，人们对于视频图像信息的需求正在不断增长，人们获取图像和视频的方式也是日益增多，也使图像和视频的清晰度和分辨率不断提高，从而导致为了存储传输视频图像所带来的的通信存储压力正在迅速地增加。一方面，据《华盛顿自由时报》2015年的统计数据，在高峰时段，YouTube上互联网流量占到问题，比如，用户在观看视频的时候经常会遇到标题党，这些标题党不仅让了所有网络流量的一半。在未来的五年内，整个世界将有超过三分之二的网络消费将由视频主导，届时，移动设备如移动手机，平板等将成为用户访问视频的主要方式，移动视频已经把整个互联网行业以前所未有的方式绑在一起。但随之也带来了不少的用户白白的浪费时间观看广告，还浪费了宝贵的流量，同时也损害了出现标题党的视频播放器在用户心中的形象。由此观之，预览视频的这一功能就成为了一种刚性需求。花少部分的流量去预览一些颇有噱头的视频，既可以观看视频大体的意思，又不会为标题党视频增加点击量，对其他用户造成误导，进而营造一个良好的视频网站氛围。另一方面，由于视频存储的空间有限，视频数据的存储时限很难达到标准。如根据我国公安部要求，录像数据需在系统中保存30天以上，然而这些数据并非都是是有用的数据，所有的监控摄像头每天都是24个小时无间断地工作记录那些在摄像头所能覆盖范围内所发生的一切，然而这样把所有信息全部记录下来是十分低效率的，因为对于大多数用户来说，可能其中大部分信息都是是无效的，其中的有效信息可能是分散在这些海量数据中只占有很小的一部分，按照数学中的统计学的规律，信息是呈现幂律分布的，即是信息的密度是按幂律分布的，而为了节省时间，提高效率，在越短的时间内提供的数据有效性越高，对于用户的可利用价值越高。那么，这就需要对视频中的内容进行筛选分析并压缩，保证以后就算是面对更多的海量级的数据也能对视频内容进行有效存储。而且在大多数视频图像帧中，人们感兴趣的往往并不是整幅图像，而是图像中某些令人感兴趣的部分。如图1-1所示，上面一行是几个视频图像中的某一帧，下面一行是人们对该帧感兴趣的地方。可见对于自然图像中人物或人脸，运动图像中运动目标等比较吸引人的主意力，而对其他地方关注度不是很大。整个场景的主观视觉质量，很大程度上依赖于这些人们不自觉感兴趣区域的图像质量。因而在压缩时只要保护好感兴趣区域，其他地方只需分配相对较少的比特数，从而可以在不影响人的视觉质量下提高压缩效率。于是压缩域中基于感兴趣区域的图像视频再压缩成为人们关注的对象，其中压缩域中感兴趣区域的检测是关键。有利于基于感兴趣区域的视频图像再压缩的系统化和智能化。因此，本文将视频图像目标检测作为重点研究内容之一。图1-1图像感兴趣区域检测对比图1.2研究发展现状1.2.1目标检测的发展现状Papageorgiou等人在文献[2]中提出了一种通用的目标检测框架，首先是在小波基函数的过完备字典中的子集里学习目标识别技术，然后将从中学习到的特征作为已经建好的SVM分类器的输入数据，在这个SVM分类器中进行识别分类，现在这种框架在人脸和行人检测中已经取得了较大的突破，检测出的结果有较好的效果。随后，Papageorgiou在文献[3]中又提出了基于这个目标检测框架的、通用的、可训练的目标检测系统，其中使用了Haar小波特征和SVM分类器等关键技术，该系统能够对人脸、行人和车辆进行检测，特别是对于杂乱场景的目标检测效果有了极大的提升。Mohan等人[4]使用了Papageorgiou提出的检测框架，将根据特定的规则,将检测目标分成了多个部分进行分别检测，对目标中不同的部分进行检测，然后进行多次检测，将检测所获得的结果一起组合后再进行判断，最终得到需要检测的目标[4]。这种通过把单个目标氛围多个部分，再对不同的各个部分进行分开检测的方法，这种方法能够检测出被遮挡的目标，相比于之前的方法，在检测结果的准确性方面有了很大的进步。梯度直方图（HistogramsofOrientedGradients，HOG）检测方法在目标检测领域中有着十分重要的地位，奠定了目前目标检测算法的基础，Dalal等人在文献[5]中提出了HOG特征，它通过将图像划分为很多单元，然后统计每个单元内的梯度方向，由这些梯度方向组成的直方图表示的方法，在行人检测方面获得的效果很好。在此之后，也有许多研究者尝试将HOG特征应用到很多其他类别的目标检测上，如人脸检测，车辆检测等，效果也比较令人满意。1.2.2目标检测的技术分类在针对动态图像的目标检测方法中，有以下两种主要方法：这种方法是先对运动目标的前景区域进行提取，然后使用背景模型等来对所提取的前景区域进行分类处理，并在此过程中对背景模型进行不断更新迭代[6]。这种方法存在的问题是不能对采集的目标描述详细，而且当目标采集场景存在其他的目标或是有物体对目标遮挡时会导致识别错误，并且当摄像头面对较强的光照时，系统可能会完全失灵。是一种基于统计学的方法，首先是识别目标，对目标中的某些特定特征进行提取，然后建立SVM或Adaboost等分类器模型，对这些特征进行学习分类。这是种更具有优势的方法，它可以对采集目标详细地描述，这种经过大量数据进行学习训练而获得的SVM或Adaboost分类器对于目标的分类识别有着更高的识别准确率。统计学习方法现在最主流研究方向是基于滑动窗口（SlidingWindow）的目标检测方式，即是使用一种固定尺寸的检测窗口，按照固定的步长和方向进滑动，对图像进行穷尽扫描，提取其中的特征信息作为检测分类器的输入来进行训练，或对图像检测。这种方法将目标检测问题转化成为了更加易于实现的二分类问题。对于静态图像的检测，可以使用可变形部件模型（DeformablePartModel，DPM）目标检测算法，将检测目标表示为各个具有某些特定属性的部件集合，构建部件的模型进行检测和识别。目前这个方法已成为众多算法应用到各个领域时的重要框架。DPM算法对某些变化具有较强的容忍能力，可以仅通过目标的某些部分来进行检测，检测的准确率也更高。1.3研究内容及章节安排1.3.1研究的主要内容根据对视频每帧画面内容进行分析，先将视频转化为图片，再将图片进行筛选，是用HOG、DPM算法对视频中的关键帧进行提取，把视频中的感兴趣区域提取出来，比如小区监控视频中的车辆与行人，校园门禁卡中的人脸，并把冗余的不包含感兴趣区域的非关键帧去除，并将这些主体的画面进行整合，得出一个较小的视频，上传至服务器，并呈现给用户，让用户以较少的流量预览此视频，使用户提前知晓视频内容，降低标题党视频对用户的影响，同时也提升了视频网站的知名度和形象。在监控中应用该技术可增大对存储空间利用率的应用，可以减少冗余无用的监控内容对存储空间的占用，并且不会错过监控下的主体内容，可以帮助监控人员筛选并专注于监控视频的主体内容。首先将视频逐帧分解为图片，在其中挑选关键帧（即感兴趣画面），将挑选出来的关键帧组合成为一个新的更小的视频，再通过对分辨率的压缩实现二次压缩，将二次压缩的视频提交到服务器上，建立封面与二次压缩的视频的关联，使用户可以提前预览想要观看的视频，而将这种挑选关键帧的技术应用于监控录像的时候，去除了一天近2/3的无人画面，大大提高了存储利用率。基于较为成熟的算法对视频进行压缩处理，提取主干内容，同时搭配Web端应用及智能手机终端应用。可应用于安保视频快速查阅，媒体门户网站向用户展示视频梗概等场景，主要包括：（1）兼容硬件对视频的采集部分，通过局域网传递给PC端，对采集的视频进行逐帧分割为图片，使用HOG算法进行图像的分析处理。（2）对目标视频序列进行目标检测与识别，筛选出感兴趣区域（如人体）的图像帧。（3）比较经典的HOG特征与DPM目标检测的效果。（4）对于需要长时间保存的视频可以进行二次压缩处理（通过减小分辨率），大幅减少视频大小，从而提升存储利用率，延长存储时间。通过多步筛选，将视频最大程度压缩，抽取视频的主体内容，为不同需求用户提供了解视频梗概的方式。1.3.2章节安排第一章：绪论，介绍了目标检测技术技术分类、论文的主要研究内容、国内外关于视频压缩存储技术的发展历史和现状。第二章：目标检测技术方案的选取，论证了多种目标检测识别方案，并综合考虑选取最终方案。第三章：整体系统的设计，介绍了整个目标检测系统的设计方案，使用目标检测算法和基于小波变换的二次压缩算法实现整个方案的流程。第四章：算法的实现，对选取的HOG检测算法、DPM算法和二次压缩算法进行实现。第五章：总结与展望，总结了本文所用的检测方法的优缺点，并对检测方法的优化做出了展望。

第二章目标检测识别方案的论证与选取在获取到目标视频序列之后，放置到指定的路径下，接着把目标视频序列拆分为图像集合，然后对感兴趣区域进行目标检测。在检测人体上，主要的检测方法有如下几类：基于模板或轮廓的方法，基于部位或者局部形状的方法，基于HOG特征的方法。2.1目标检测算法的选取2.1.1基于模板或轮廓的方法基于模板或轮廓的方法主要是使用模板匹配[13]的方法来检测人体目标，其中Deriche等人开发的人体目标检测系统是目前比较主流的方法，首先在一系列层级的模板匹配过程中，选择人体目标模板，然后通过模板的轮廓特征来选择和验证候选的目标。这个系统已经在真实的城市环境进行实验过，获得了较高的检测准确率。但是这种方法也存在一些缺陷和问题。第一个问题是，人的肢体呈现的形状变化很大，即便同一个人由于每天的穿着不同或者人体姿态的不同会呈现出不同的形状，因此构造一个很完整的模板是很有困难的，对于计算机的运算能力也是一种巨大的考验，另一个问题是场景中的目标通常不太完整，例如街上的行人会相互有重合，这样将会导致识别的目标有缺失，也会极大地降低匹配的精度。2.1.2基于HOG特征的方法HOG（HistogramofOrientedGradient）的中文名称叫作梯度方向直方图，是一种经典的对形状特征进行描述的方法。在2005年，Dalal和Triggs提出了方向直方图的表示方法[5]，它的提取原理是，当得到一个图像时，先把它分成很多个小区域，这些小区域被称作细胞单元，然后就对这些单元里像素点的梯度的方向进行收集记录，形成一个方向梯度的直方图，在进行组合后就得到了这幅图像的特征描述器。随着技术的进一步发展，以及对之前最初提出的方法改进修正后，扩大了直方图在图像中的范围。采用的方法是：先计算各直方图在区间中的密度，为了避免使图像中容易被光照影响的部分对检测结果造成误差，根据密度对区间中的细胞单元做归一化。下面图2-3描述了HOG特征提取算法的全部流程，算法的步骤如下：图2-1HOG特征流程图把图像窗口分成多个小区域，为每个小区域提供一个特定编码，把区域中所有象素的一维梯度直方图进行累加，映射到固定的角度上，就形成了最终的HOG特征。在此同时保持图像不因人的姿势和外观的变化而变化。收集所有重叠块的HOG特征，并将它们结合成最终的特征向量。HOG算法具有以下优点:(1)可以减小光照变化带来的影响;(2)可以对局部的形状信息进行描述;与此同时，它也具有以下缺点:(1)遮挡问题很难有比较有效的解决方案;(2)描述生成过程冗长，导致速度慢，实时性差;2.2基于HOG目标检测技术的改进方案2.2.1基于部件或局部形状的方法主要思想是依靠检测人体的某些部位或者局部形状，然后再联合这些特征根据人体模型的几何限制来确定最终人体的位置。基于混合多尺度可变形部件模型的目标检测（如人体、汽车等），在平均精度上达到了2006PASCAL人体检测竞赛中最优结果的两倍，同样比2007PASCAL目标检测比赛中20个类别中的10个最优结果都要好，可以表示各种多变的目标。虽然可变形模型可适应很多外表变化，但单个可变形模型还不足以表示一个变化丰富的目标类别[9]，比如，图像中自行车外表建模的问题，并且随着观察视角的不同，自行车的形状也会有不同(例如从前面看和从侧面看)，为了解决这样的问题，可以使用混合模型来适应这些不同的变化。对目标进行建模使用视觉语法(VisualGrammars)是可变形模型最终目标使用可变层次结构来表示，是一种基于语法的模型，该模型中的每个部件都可以被直接定义，或者根据其他部件进行定义。对于目标的检测，固定模型和特征袋模型很容易使用判别方法(例如SVM)进行训练。但是复杂模型是很难训练的，因为复杂模型经常使用隐藏信息。举一个例子，从一个只标注了整个目标的包围盒的图片中训练出各部分的位置，这样反而导致更差的结果。通过自动发现有效部件并标注反而有可能获得更好的结果，但是精细制作标注信息是费时而昂贵的，从而导致了该模型很难训练。下面通过人体模型和自行车混合模型的说明来处理复杂模型中隐藏信息的问题。下图2-2显示的是人体的星型模型(a)根滤波器(b)部件滤波器(c)空间位置模型（d）检测人体结果图2-2单组件人体模型的检测结果如上图的人体模型的组成部分是，一个粗糙的根滤波器、几个高分辨率的部件滤波器以及每个部件相对于根的空间位置模型组成，滤波器规定了HOG特征的权重。图中滤波器的可视化模型显示的是不同方向的正权重，显示将部件的中心放置到相对根的不同位置的变形花费(越白花费越高，表示部件偏离其理想位置越大)。对未完全标注的数据进行模型训练，使用多实例SVM中的一个隐藏变量公式，称作隐藏变量SVM。在LSVM中，对于每个样本x，用下列的公式进行评分：(2-1)

其中z是隐藏变量，β是模型参数向量，Φ(x,z)是特征向量。模型参数β是根滤波器、部件滤波器、变形花费权重串联起来构成的参数向量，z是目标配置参数，Φ(x,z)是特征金字塔中的一个窗口对应的HOG特征和部件变形特征串联起来构成的特征向量。公式(2-1)是可以处理更通用形式的隐藏信息，比如z可以用来指定富视觉语法(richvisualgrammar)中的派生词。图2-3展示的是自行车的混合模型。(a)自行车训练模型(b)检测结果图2-3含有两个组件模型的混合自行车模型的检测结果图2-3中的模型是用混合星型模型来表示目标类别。隐藏变量z表示组件类别和配置。第一个组件捕捉自行车的侧视特征，第二个组件捕捉自行车的正视或接近正视特征，侧视组件模型可以变形来匹配自行车前轮抬起的姿势。2.3软件方案的最终选取上面的内容介绍了几类检测人体的方法以及图像压缩的方法，对于视频序列中，筛选感兴趣区域的图像帧，本文最终选取的目标检测方法是基于部件或局部形状的多尺度可变形部分模型，该方法是Felzenszwalb等人提出[9]，为了对比检测效果，同时采用了经典的HOG特征的人体检测算法，二者的实现将会在后续章节进行；对于筛选完成的图像帧，进行了小波的图像压缩。

第三章系统的整体设计3.1人体检测的视频压缩系统的软件设计系统采用的开发环境是OpenCV3.0.0和VisualStudio2013，OpenCV是一个基于BSD许可发行的跨平台计算机视觉库，实现了图像处理和计算机视觉方面的很多通用算法，在官网下载后会得到一个压缩包，包含了两个目录build和sources，所有文件均在两文件夹下；VisualStudio2013是一个基本完整的开发工具集，并且VisualStudio2013可以在官网免费下载使用。图3-1人体检测的视频压缩软件流程图3.2视频转换图片实现视频文件转换成多张图片集合的功能，在整体软件程序中，设定一个常量Num_Frame，用于控制处理视频帧数的多少，定为1500。利用cvCaptureFromFile指令初始化一个视频捕捉器，参数是一个char型的file，作用是在程序开始时传入指定路径下的视频文件，再设定一个变量capture，用cvQueryFrame指令获取视频信息，包括了视频的宽度、高度、视频的帧率以及视频中包含多少张图片，接着进行一个while循坏，循环中使用cvQueryFrame指令实现读取视频中包含的图片，cvShowImage指令显示读取成功的图片以及cvSaveImage指令保存本次成功图片的功能，三个指令使用的参数均为设定的变量capture，循环后将在指定文件夹下生成1500张图片。图3-2视频转换图片流程图3.3图片中的人体检测3.3.1HOG特征提取与其他的特征描述方法相比，HOG特征是特别适合于人体检测的。首先，HOG目标检测算法在图像的局部方格单元上操作，光学的和图像几何的形变对于检测结果的影响不大。其次，在归一化条件下，只要图像中的行人能够大致使直立的姿势，其他的一些细微动作和姿态都不会影响检测效果3.3.2算法的具体过程 图3-3HOG算法的流程图1.由于光照因素可能会对检测结果有比较大的影响，首先我们需要先将整个图像进行归一化处理，先转化为灰度图，也就是把图像作为一个x,y,z(灰度)的灰度三维图像处理，为了降低图像局部的阴影和光照变化我们需要用到一个Gamma压缩公式。下面是Gamma压缩公式：(3-1)比如可以取Gamma=1/2。2.

计算图像中横坐标和纵坐标方向的梯度，然后计算每个像素位置的梯度方向值。像素点(x,y)梯度的计算公式为：(3-2)(3-3)式中，，分别表示输入图像中像素点处的水平方向梯度、垂直方向梯度和像素值。像素点 处的梯度幅值和梯度方向分别为：(3-4)(3-5)将[-1,0,1]梯度算子对原图像做卷积运算，得到x方向和y方向的梯度分量gradscalx和gradscaly，然后利用以上所示公式计算该像素点的梯度大小和方向。3.通常将图像分成若干个“单元格cell”，统计每个cell的梯度直方图，形成每个cell的descriptor。对cell内每个像素用梯度方向在直方图中进行加权投影，就可以得到这个cell的梯度方向直方图了。给局部图像区域提供一个特定编码，如图所示：图3-4梯度方向直方图4.多个细胞单元（cell）组合起来形成大的块（block），对梯度强度做归一化处理，对光照、阴影和边缘进一步地进行压缩。把一个block内所有cell的特征向量组合起来得到这个block的HOG特征descriptor。如下图所示：图3-5：每个block的HOG特征5.最后收集检测窗口中图像image内的所有重叠的块（block）的HOG特征，并将它们组合起来结合成最终的特征向量进行分类。图3-6人体检测程序运行截图3.4图像二次压缩3.4.1基于小波变换的压缩算法小波变化图像压缩的基本原理是：对一幅图像据二维小波分解算法做小波分解后，只保留图像帧中包含最主要表现内容的的低频部分，把图象进行进一步地压缩。简言之，就是将一幅图像通过二维小波变换进行分解，得到方向和空间局部变化的多个子带。在小波压缩过程中，首先对图像进行二维小波变换，得到小波变换系数。把能量集中到少部分的小波系数上，因而得到较高的压缩比。3.4.2基于矢量量化的压缩算法基于矢量量化的图像编码和解码过程如图3-7所示：解码器编码器信源查表解码器编码器信源查表最近邻搜索索信道码书码书信宿矢量量化编码器的工作原理是，先设定一个固定的失真测度，然后在码书中搜索其中和输入矢量之间相比失真最小的码字，在进行传输时，仅传输这些码字的索引。矢量量化过程分为以下的3个阶段：1.码书设计要实现信噪比比较高的矢量量化压缩图像，先要建立一个优质的训练码书。可以说，要做好矢量量化算法，建立好的训练码书是关键。下面介绍码书设计所需的步骤。第一步：选择训练码书第二步：进行LBG算法（矢量量化算法）的设计2.编码对图像进行编码，就是在码书中寻找满足公式3-1的码字中的编号代替原图像中的数值。(3-6)对图像进行距离的计算并得出最相近的数值，用其对应的编号进行代替，从而实现矢量量化的压缩过程。压缩后，图像中的所有数据都被码字的编号代表了，这样就压缩了数据的存储量，实现编码中的压缩算法的目的。3.解码 在解码器中要实现的功能就是查码书中的码字，通过压缩后的数字排列在码书中找出相应的数值，并代表原图像的对应位置，即得出的图像就是对应的解码图像。由于压缩时编码的数值都是用近似的训练码书中的码字代替的，所以在还原之后，图像有一定的失真情况。3.5图像转换视频实现图像转换视频的功能，处理检测之后的图片，使图片按照15帧的帧率转换为视频。使用cvCreateVideoWriter指令初始化一个视频编写器，cvCreateImage指令为图像分配空间，while循环调用cvLoadImage指令载入人体检测之后放入文件夹中的图像，最终生成目标视频文件。

第四章算法的实现4.1视频采集采集获取的目标视频序列，采集完之后进行PC客户端指定文件路径的放置，如图4-1所示。图4-1指定路径下的目标视频文件软件方案是以每半个小时为单位对指定路径下的视频文件进行读取，并且会将文件拆分为多个图像集，然后进行感兴趣区域的图像帧的筛选，如图4-2所示。图4-2处理视频序列并进行人体检测对筛选成功之后的图像帧进行小波的图像二次压缩，如图4-3所示：图4-3小波的图像压缩4.2基于HOG人体检测算法的实现HOG算法的基本原理已经在前面的章节介绍了，基本PC客户端环境是Win10，64位操作系统，基于x64的处理器和8GB的运行内存，实现该检测算法的环境是在VisualStudio2012下结合OpenCV3.0.0，如图4-4所示：图4-4基于HOG人体检测算法的开发环境在第三章的基础上，可以直接获取指定路径下采集到的目标视频序列，首先要进行的是视频分割成图像帧，在程序Video_to_image方法中实现，如图4-5所示：图4-5视频分割为图像帧的截图Video_to_image方法将24秒的目标视频序列按照每秒30帧图像进行分割，得到了699张图像帧，因视频的时长是四舍五入之后的结果，所以获得的图像帧并不是理想的720幅图像。实现代码如下：intmain(intargc,char*argv[]){ char*file="D:\\school\\vide_sourse\\test.mp4"; cout<<"进入视频转图片部分"<<endl; Video_to_image(file);//视频转图片 waitKey(3000); charfilename[256]; charfilename2[256]; intb=1; IplImage*img1=0; //inta=1; for(inta=1;a<NUM_FRAME;a++) { sprintf(filename,"%s\\%d.jpg","D:\\school\\picture",a); Matsrc=imread(filename); //Matsrc=imread("walk.jpg"); HOGDescriptorhog;//HOG特征检测器 hog.setSVMDetector(HOGDescriptor::getDefaultPeopleDetector());//设置SVM分类器为默认参数 vector<Rect>found,found_filtered;//矩形框数组 hog.detectMultiScale(src,found,0,Size(8,8),Size(32,32),1.05,2);//对图像进行多尺度检测，检测窗口移动步长为(8,8) //找出所有没有嵌套的矩形框r,并放入found_filtered中,如果有嵌套的话,则取外面最大的那个矩形框放入found_filtered中 for(inti=0;i<found.size();i++) { Rectr=found[i]; intj=0; for(;j<found.size();j++) if(j!=i&&(r&found[j])==r) break; if(j==found.size()) found_filtered.push_back(r); } if(found.size()>0&&found_filtered.size()>0) { cout<<"检测到人体个数："<<found.size()<<endl; cout<<"过滤后得到的人体个数："<<found_filtered.size()<<endl; cout<<""<<endl; } else { cout<<"sorry!没有检测到人体"<<endl; cout<<""<<endl; } for(inti=0;i<found_filtered.size();i++) { Rectr=found_filtered[i]; r.x+=cvRound(r.width*0.1); r.width=cvRound(r.width*0.9); r.y+=cvRound(r.height*0.09); r.height=cvRound(r.height*0.9); rectangle(src,r.tl(),r.br(),Scalar(0,255,0),3); } if(found.size()>0) { //sprintf(filename2,"G:\\source-vs2013\\aproject\\picture3\\%d%s",++a,".jpg"); sprintf(filename2,"%s\\%d.jpg","D:\\school\\picture_hog",b++); IplImageimage=IplImage(src); cvSaveImage(filename2,&image); cout<<"正在处理，请稍后！！！"<<endl; cout<<""<<endl; //imwrite(filename2,res); } namedWindow("src",0); imshow("src",src); waitKey(30);//注意：imshow之后一定要加waitKey，否则无法显示图像 } system("pause"); waitKey(3000); Image_to_video();//图片转视频 return0;}目标视频分割图像帧成功之后，进行基于HOG特征的人体检测，具体的程序将会在附录中展现，下面图4-6是正在运行基于HOG特征的人体检测的截图，图4-7是检测成功并标记的结果图：图4-6人体检测程序运行截图图4-7HOG特征的人体检测结果图经过一系列准备之后，得到了基于HOG特征的人体检测的检测结果，如表4.1所示：表4.1基于HOG特征的人体检测的检测结果名称数量单位测试图像帧总数699帧正确检测出人体的图像帧数469帧漏检人体的图像帧数73帧误检人体的图像帧数157帧正确率67.1%误检率22.4%漏检率10.5%根据表4.1的检测结果来看，基于HOG特征的人体检测的检测效果并不是很好，正确检测人体的只占总测试图像帧的67.1%。当然，该算法在不可预测环境下有很多干扰因素，比如：人体的衣服、周围的环境等，这些因素会影响到实验的准确性。4.3基于DPM算法的人体检测的实现上一小节介绍的是比较经典的HOG特征人体检测，可以看出检测效果并不好，那么有没有更好的算法进行人体检测呢？答案是肯定的，下面将介绍由Felzenszwalb等人提出的基于可变形模型的目标检测对感兴趣区域（人体、汽车）的检测[9]。实验的环境和上一小节的一样，而实现该检测算法的环境是在MATLABR2014a中，由于接下来介绍的也是针对人体的检测算法，那么视频序列分割成图像帧同上一小节处理方法相同，于是可以直接在分割好的指定文件夹下面进行图像帧的检测。实现基于可变形模型的目标检测对感兴趣区域（人体、汽车）的检测有以下两个步骤：1.训练模型首先，针对于人体的模型训练，采用了Felzenszwalb等人在VOC2010比赛上实用的人体模型person_final和汽车模型car_final，如图4-7和图4-8所示：(a)人体训练模型(b)检测人体结果图4-7人体模型训练结果图（a）汽车训练模型 （b）检测汽车结果图4-8汽车模型训练结果图2.后续处理除了模型训练之外，做的工作还有包围盒的预测、非极大值抑制以及上下文信息(ContextualInformation)评分。处理之后的结果如图4-9所示：（a）检测人体的最后结果图（b）检测汽车的最后结果图图4-9后处理的目标检测结果图（汽车、人体）代码实现如下：functiondemo()startup;filepath='D:\\school\\picture1\\1.jpg';%图片路径可以根据自己需要修改;pic='*jpg';%图片格式，根据自己的图片格式进行修改;build_database_src(filepath);imgPath='D:/school/picture/';%图像库路径imgDir=dir([imgPath'*.jpg']);%遍历所有jpg格式文件fori=1:length(imgDir)%遍历结构体就可以一一处理图片了X=imread([imgPathimgDir(i).name]);%读取每张图片endfprintf('compilingthecode...');compile;fprintf('done.\n\n');load('VOC2007/car_final');model.vis=@()visualizemodel(model,...1:2:length(model.rules{model.start}));test('car1.jpg',model,-0.3);functiontest(imname,model,thresh)cls=model.class;fprintf('/////Runningdemofor%s/////\n\n',cls);im=imread(imname);clf;image(im);axisequal;axison;disp('inputimage');disp('pressanykeytocontinue');pause;disp('continuing...');%loadanddisplaymodelmodel.vis();disp([cls'modelvisualization']);disp('pressanykeytocontinue');pause;disp('continuing...');%detectobjects[ds,bs]=imgdetect(im,model,thresh);top=nms(ds,0.5);clf;ifmodel.type==model_types.Grammarbs=[ds(:,1:4)bs];endshowboxes(im,reduceboxes(model,bs(top,:)));disp('detections');disp('pressanykeytocontinue');pause;disp('continuing...');ifmodel.type==model_types.MixStar%getboundingboxesbbox=bboxpred_get(model.bboxpred,ds,reduceboxes(model,bs));bbox=clipboxes(im,bbox);top=nms(bbox,0.5);clf;showboxes(im,bbox(top,:));disp('boundingboxes');%disp('pressanykeytocontinue');pause;end%imwrite(picture,['D:\school\picture_dpm\',int2str(i),'.jpg']);fprintf('\n');经过一系列准备之后，得到了基于可变形模型的目标检测对感兴趣区域（人体）的检测结果，如表4.2所示：表4.2基于可变形模型的目标检测对感兴趣区域（人体）的检测结果名称数量单位测试图像帧总数699帧正确检测出人体的图像帧数642帧漏检人体的图像帧数12帧误检人体的图像帧数44帧正确率91.8%误检率1.7%漏检率6.5%表4.2的数据与表4.1的数据相比，前者的检测效果明显有很大的提升，正确检测人体的图像帧占总测试图像帧的91.8%，比基于HOG特征的人体检测的正确率提高了24.7%，虽然也存在漏检、误检的情况，但这已经满足了检测目标的基本要求。图4-10显示的是两种检测算法检测人体的截图：图4-10两种检测算法的比较通过数据可知，基于可变形模型的目标检测的检测效果要比基于HOG特征的人体检测的效果好很多，至此，本文的目标检测已完成，下面进行目标检测（人体）成功的图像帧的压缩。4.4基于小波变换的二次压缩算法的实现目标图像帧已经完成了筛选，那么下面进行对检测成功的图像进行压缩，对单独的一张图像帧，首先进行图像的灰度处理，原始大小为2.074MB，进行第一次的小波图像压缩处理之后，大小变为0.529MB，第二次进行压缩时，大小已经变为了0.138MB，为了考虑图像的质量，要保证失真度小，那么选取第一次压缩的图像即可满足本文的要求。图像压缩运行截图如图4-11所示： 图4-11基于小波变换的图像压缩 代码实现如下：clearclcimgPath='D:/school/picture_hog/';%图像库路径imgDir=dir([imgPath'*.jpg']);%遍历所有jpg格式文件fori=1:length(imgDir)%遍历结构体就可以一一处理图片了a=imread([imgPathimgDir(i).name]);%读取每张图片X=rgb2gray(a);%对图像用小波进行层分解[c,s]=wavedec2(X,2,'bior3.7');%提取小波分解结构中一层的低频和高频系数ca1=appcoef2(c,s,'bior3.7',1);ch1=detcoef2('h',c,s,1);cv1=detcoef2('v',c,s,1);cd1=detcoef2('d',c,s,1);%小波重构a1=wrcoef2('a',c,s,'bior3.7',1);h1=wrcoef2('h',c,s,'bior3.7',1);v1=wrcoef2('v',c,s,'bior3.7',1);d1=wrcoef2('d',c,s,'bior3.7',1);c1=[a1,h1;v1,d1];%保留小波分解第一层低频信息进行压缩ca1=appcoef2(c,s,'bior3.7',1);%首先对第一层信息进行量化编码ca1=wcodemat(ca1,400,'mat',0);%改变图像高度ca1=0.5*ca1;ca2=appcoef2(c,s,'bior3.7',2);%保留小波分解第二层低频信息进行压缩%首先对第二层信息进行量化编码ca2=wcodemat(ca2,400,'mat',0);%改变图像高度ca2=0.25*ca2;%显示原始图像subplot(221)imshow(X)title('原始图像')disp('原始图像的大小')whos('X')%显示分频信息subplot(222)c1=uint8(c1);imshow(c1)title('显示分频信息')subplot(223)disp('第一次压缩图像的大小')%显示第一次压缩的图像ca1=uint8(ca1);whos('ca1')imshow(ca1);imwrite(ca1,['D:\school\picture_compress\',int2str(i),'.jpg']);title('第一次压缩的图像')disp('第二次压缩图像的大小')subplot(224)%显示第二次压缩的图像ca2=uint8(ca2);imshow(ca2);title('第二次压缩的图像')whos('ca2')%disp('pressanykeytocontinue');pause;%end单张图像的压缩完成之后，进行检测成功标记的图像帧的整体压缩，给定一个循环，进行处理。压缩率的公式如下：（4-1）公式表明压缩率越小，压缩效果越好，下面的表4.3是统计了原始视频序列进行几次压缩的压缩率：表4.3几次压缩的压缩率数据原始视频大小58.6MB感兴趣区域筛选后视频大小18.5MB小波变换进行压缩后视频大小5.38MB首次压缩的压缩率31.6%小波变换的图像压缩的压缩率9.1%

第五章总结与展望5.1总结本文针对于视频序列的存储问题，为了达到有效降低目标视频序列的存储空间，延长视频序列保留期限的目的，对于获得的视频图像，利用传统的目标检测技术HOG检测算法和近几年在通用目标检测领域有着极大关注的可变形部件模型（DeformablePartModel，简称为DPM）检测算法，循环地对每一帧图像进行检测，筛选出感兴趣区域部分（如人体、汽车）的图像，筛选后的图像进行小波变换图像压缩，压缩后的图像帧生成视频序列，保存最后的视频图像，与原始的视频相比，这样的处理有效地减少了内存的开销，达到了获取准确的对象，节约硬件成本的目的。实验结果表明，压缩前的视频与压缩后的相比较，后者的压缩效果显著，对实际中的视频压缩给出新的探索路径，具有很大的现实意义。本文工作可总结如下：获取监控视频，将视频切割为图像帧利用HOG特征的人体检测和基于可变形模型的目标检测（人体、汽车）技术，对感兴趣图像帧进行筛选。筛选成功之后的图像帧进行小波变换的图像压缩。将筛选并压缩过后的图像帧合并为视频，集中存储5.2展望获取的视频序列中，对图像帧进行感兴趣区域检测时，存在着很多的因素，比如周围环境、目标训练模型以及图像后处理等，会导致检测不准确，检测时间长等问题。在今后的时间，还可以在以下几个方面做进一步的研究：检测算法的优化，提高检测正确率。2.模型训练优化，提高检测效率。

致谢又是一年六月，充满收获与伤感的毕业季，时光荏苒，大学四年的时光匆匆逝去，四年的大学生活即将结束，我也即将面临一段新的旅程，这对我来说绝不是终点，而是一个新的起点，时光匆匆，转眼间已经是来到长春工业大学的第四年，还记得刚刚来到北湖校园时的激动和向往，我结识了很多志同道合的同学朋友，给予我很多的帮助，在这里遇到了我敬重的的老师、亲爱的同学以及许多关心照顾我的人，想要真诚地说一声谢谢，在这个将要离开的季节里，心里充满了感激和不舍。在此首先，我要感谢我的毕业设计指导师宋宇老师，在选题时帮助我给了我很多想法和建议，给予我很多的指导意见还有新的思路，让我的论文更加的完整和具有新意，在遇到困难时，帮助我们解决问题。还注意培养我们独立思考问题的能力。此外，还要感谢李阳老师，因为这个题目其实是我在之前所做的比赛项目的延伸，当时作为指导老师的李阳老师也给了我很多帮助和修改意见，并且我也要感谢所有在大学期间教过我，给予过我帮助的所有老师和导员，帮助我不断成长和追求成为更好的自己。然后我要感谢我的同学，在写论文的期间也和我分享交流很多相关的参考文献，包括论文怎么写，怎么修改，怎么查找资料的一些信息交流分享，让我感受到校园的温暖氛围。然后要感谢一直陪在我身边的朋友们，白慧、吴迪、王彦方、时梦瑶、魏淑婷等人的陪伴，大学四年的相处，让我们像家人一样，给我的大学生活增添了许多的快乐，还记得大学刚入学时在寝室第一次见到你们的样子，还记得我们一起去食堂吃饭，一起去图书馆学习的日子，谢谢你们的照顾和陪伴，祝愿你们在今后的人生道路上可以天天开心、一帆风顺。感谢我的父母，感谢他们的辛勤汗水和无私奉献与默默付出，正是他们对我的高期望与高要求才能造就今天的我，他们在平日里一直关心我监督我努力学习，告诉我学到扎实的本领以后才能在社会上立足，感谢他们所有的付出。最后我要感谢我的父母和家人，谢谢他们一直以来对我的支持和鼓励，没有他们的照顾与陪伴，我就不能健康快乐的成长，无忧无虑的学习。无论自己在高山还是低谷，他们都不离不弃，一直默默陪伴着我、呵护着我、鼓励着我，不求回报。在未来，相信任何时候父母和家人都是自己坚实的后盾，也要努力加油，让他们不再为自己担心。真诚的希望父母和家人开开心心、身体健康。感谢我的男朋友，在我写论文的期间给予我精神上很大的支持和鼓励，帮助我解答在毕业季期间很多问题，让我能专心地写好论文，完成我的毕业设计。即将离开学校，充满了不舍，我会牢记校训爱国敬业、求实创新，做一个对社会有用的人，在此真诚的祝愿母校越来越好，年年桃李，岁岁芬芳。参考文献[1] 董彦汝.基于可变形部件模型的目标检测技术研究[D].北京邮电大学,2017.[2] PapageorgiouCP,OrenM,PoggioT.Ageneralframeworkforobjectdetection[C]//Computervision,1998.sixthinternationalconferenceon.IEEE,1998:555-562.[3] PapageorgiouC,PoggioT.Atrainablesystemforobjectdetection[J].Internationa-lJournalofComputerVision,2000,3(1):15-33.[4] MohanA,PapageogiouC,PoggioT.Example-basedobjectdetectioninimagesBycomponents[J].IEEEtransactionsonpatternanalysisandmachineintelligence,2001.23(4):349-361.[5] DalalN,TriggsB.HistogramsofOrientedGradientsforHumanDetection[C]//20-05IEEEComputerSocietyConferenceonComputerVisionandPatternRecog-nition(CVPR’05).IEEE,2005,1:886-893.[6] BarnichO,VanDroogenbroeckM.ViBe:AuniversalbackgroundsubtractionAlgo-rithmforvideosequences[J].IEEETransactionsonImageprocessing,2011,20(6):1709-1724.[7] DollarP,BelongieS,PeronaP.TheFastestPedestrianDetectorintheWest[C]//BMVC.2010,2(3):7.[8] DollarvP,WojekC,SchieleB,etal.Pedestriandetection:AnevaluationoftheStat-eoftheart[J].IEEEtransactionsonpatternanalysisandmachineintelligence,2012,34(4):743-761.[9] P.F.Felzenszwalb,R.B.Girshick,D.McAllester,D.Ramanan,andP.F.Felz,“ObjectDetectionwithDiscriminativelyTrainedPart-BasedModels,”IEEETransactionsonPatternAnalysisandMachineIntelligence,vol32,no.9,1627-45,Sep.2010.[10] PepikB,StarkM,GehlerP,etal.Teaching3dgeometrytodeformablepartModel-s[C]//ComputerVisionandPatternRecognition(CVPR),2012IEEEConferenceon.IEEE,2012:3362-3369.[11] BransonS,PeronaP,BelongieS,Strongsupervisionfromweakannotation:Intera-ctivetrainingofdeformablepartmodels[C]//2011InternationalConferenceonComputerVision.IEEE,2011:1832-1839.[12] PandeyM,LazebnikS.ScenerecognitionandweaklysupervisedobjectLocalizati-onwithdeformablepart-basedmodels[C]//2011InternationalConferenceOnComputerVision.IEEE,2011:1307-1314.[13] D.Gavrila,”Real-TimeObjectDetectionfor‘Smart’Vehicles,”IEEEInternationalConferenceonComputerVision,voll,pp.87-93,1999.[14] A.OpeltandA.Pinz,”Incrementallearningofobjectdetectorsusingavisualsha-pealphabet,”IEEEInternationalConferenceonComputerVisionandPatternRecognition,voll,pp.3-10,2006.[15] D.GavrilaandS.Munder,”Multi-cuePedestrianDetectionandTrackingfromaMovingVehicle,”InternationalJournalofComputerVision,vol73,no.1,pp.41-59,Jul2007.[16] S.MunderandD.M.Gavrila,”Anexperimentalstudyonpedestrianclassification,”IEEETransactionsonPatternAnalysisandMachineIntelligence,vol28,no.11,pp.1863-8,Nov.2006[17] D.M.GavrilaandJ.Giebel,”Virtualsamplegenerationfortemplate-basedshapematching,”IEEEInternationalConferenceonComputerVisionandPatternReco-gnition,p.I-676-I-681,2001.[18] N.DalalandB.Triggs,”Histogramsoforientedgradientsforhumandetection,”IEEEInternationalConferenceonComputerVisionandPatternRecognition,volpp.886-893,2005.[19] C.Bregler,”Learningandrecognizinghumandynamicsinvideosequences,”IEEEInternationalConferenceonComputerVisionandPatternRecognition,pp.568-574,1997.[20] A.Iketani,Y.Kuno,N.Shimada,andY.Shirai,”Real-timesurveillancesystemdetectingPersonsincomplexscenes,”Proc.IAPRInt.Conf.ImageAn.AndProcessing,Venice,pp.1112-1115,1999[21] A.J.Lipton,”VirtualPostman-Real-time,interactivevirtualvideo,”Tech.reportCMU-RI-TR-99-12,1999.[22] P.F.FelzenszwalbandD.P.Huttenlocher,”PictorialStructuresforObjectReco-gnition,”InternationalJournalofComputerVision.vol61,no.1,pp.55-79Jan.2005.[23] R.RonfardandC.Schmid,”Learningtoparsepicturesofpeople,”EuropeanConfe-renceonComputerVision,pp.700-714,2006.[24] S.IoffeandD.A.Forsyth,”ProbabilisticMethodsforFindingPeople,”InternationalJournalofComputerVision.vol.43,no.1,pp.45-68,2001.[25] K.Mikolajczyk,B.Leibe,andB.Schiele,”MultipleObjectClassDetectionwithaG-enerativeModel,”IEEEInternationalConferenceonComputerVisionandPatternRecognition,pp.26-36.[26] K.MikolajczykandC.Schmid,”Humandetectionbasedonaprobabilisticassemblyofpartdetectors,”EuropeanConferenceonComputerVision,2004.[27] P.Felzenszwalb,R.Girshick,andD.McAllester,”Cascadeobjectdetectionwithdefor-mablepartmodel,”IEEEInternationalConferenceonComputerVisionAndPatternRecognition,pp.2241-2248,2010.[28] L.Bourdev,S.Maji,andT.Brox,”DetectingpeopleusingmutuallyconsistentPoseletactivations,”ExchangeOrganizationalBehaviorTeachingJournal,pp.1-14,2010.[29] T.Brox,L.Bourdev,andS.Maji,”Obje