一种改进的从交通监控视频中提取关键帧的方法

1、一种改良的从交通监控视频中提取关键帧的方法摘要：考虑到交通监控视频中相邻帧内容比拟相近，为了减少检索计算量，从中提取视频关键帧。文章介绍了从交通监控视频中提早关键帧的常用方法，着重研究了基于内容提取关键帧，并对此种方法做了一定的改良，减少了计算量。文章中阐述了根据欧式间隔 的大小确定本帧和前后帧的相似度，欧式间隔 极大时表示三帧间相似度极小的思想，并在此根底上实现了视频关键帧的提取，给出了实验结果。关键词：关键帧；三帧差；欧式间隔 ；极大值Abstract：Considering content of the adjacent frames in the traffic monitoring

2、video is similar， in order to reduce the searching putation， extract key frames from the video . This paper first introduced the monly methods of extracting key frames from the traffic surveillance video ， then studied the method of extracting key frames based on content， and done some improvement i

3、n this kind of method， reduced the amount of calculation. This paper elaborated according to the size of the Euclidean distance to determine the similarity of before and after the frame and the frame， Euclidean distance will be a maximal value when the three frame were little similarity ， and on thi

4、s basis to realize extracting the key frames from the video ， and the paper gave the experimental results .Key words：key-frame； three frame difference； Euclidean distance； maximal value1 概述由于视频的数据量宏大，为了减少视频索引的数据量，可以提取视频关键帧。关键帧去除了视频中变化少的内容，提供了视频图像帧序列的概貌，作为视频的索引使用。基于内容的视频检索一般要经过三个步骤1：首先，通过场景转换检测Scene

5、Change Detection，SCD技术分割视频镜头，镜头是同一个场景下的一段视频单元；其次，提取每个镜头的关键帧或者代表帧r帧，并提取这些帧的特征数据，建立索引数据库；最后，根据用户提供的需求信息匹配索引数据库，到达检索的目的。考虑到交通视频和一般视频有明显的区别2，一般的视频拍摄场景可能会有变换，导致视频数据由多个镜头组成，而交通视频通常是将视频采集设备固定到某个路口，所以几乎没有场景转换的问题，所以对于交通视频的检索，我们一般可以省略分割视频镜头的步骤，直接进入提取关键帧的步骤。而基于车牌识别的视频中车辆检索，只需要分析提取关键帧中出现的车辆牌照信息，存入索引数据库，以备检索即可。所

6、以提取视频关键帧是检索的第一步。2 关键帧提取常用方法交通监控视频中车辆检索时，提取视频关键帧必须反响视频中主要的内容，使得视频中出现的所有车辆都能出如今关键帧中。所以提取的关键帧必须可以反响镜头的主要事件，宁可错选，不能错过，但是，之所以提取关键帧是考虑到减少检索时的数据和计算量，因此关键帧又要越少越好，目前提取关键帧的主要方法有：1镜头法镜头法选取关键帧一般有三种方法：基于镜头边界的方法、直方图均值法和帧均值法。基于镜头边界的方法通常选择镜头片段的第一帧、中间帧和最后一帧为关键帧；直方图均值法是求取镜头中所有帧的直方图，而后用这些直方图均值构建一个新的直方图，拿每一帧直方图和均值均值直方图

7、比拟，取最接近的帧作为关键帧；帧均值法那么是求某个位置上所有帧的像素均值，然后将镜头中该点位置的像素值最接近平均值的帧作为关键帧。2基于内容分析的方法视频图像中，由于有运动目的的存在或者其他拍摄因素的影响，通常需要多帧图像老表达一个镜头。根据信息论的观点，关键的帧图像比类似的帧图像携带更多的信息，所以提取关键帧时主要是考虑帧之间的相关程度。该方法为帧图像选取一个特征向量，计算不同帧图像特征向量的相关系数，选取相关度最小的一组图像作为关键帧。这种算法的一般实现过程如下：ij=Cij/ij 1其中Cij=Ti-meanTTj-meanT，meanT表示T特征量的均值，i2=Cii。 式1中ij表示

8、第i帧和第j帧的相关系数，分别计算每一帧与其他帧的相关系数，根据相关系数确定相似度，选取相似度最小的一组帧作为关键帧。该方法在一定程度上改善了基于镜头法的缺点，提取的帧数根据视频内容不同也会不一样，但计算量较大，且当有镜头变化比拟大的时候，容易选取过多的关键帧。3运动分析法运动分析法主要是根据运动信息提取关键帧，有些通过计算光流来计算运动量，例如Wolf等人提出的基于光流分析Opctial Flow Anyalssis提取关键帧3，先用Horn-Schunck法计算光流，对每个像素光流分量的模求和，作为第k帧的运动量Mk，Mk为极小值时，第k帧即为关键帧；也有提取运动加速和减速的变化提取关键帧

9、，例如Tianming Liu4提出了感知运动能量的三角模型，在运动加速和减速的转折点处提取关键帧；也有根据运动加速度提取关键帧，比方Yanzhuo Ma5等人提出了物体运动状态运动加速度改变时即为关键帧；还有根据MEPG-7标准的运动描绘符来提取关键帧，根据描绘符描绘的时间轴上的运动强度和运动行为的空间分布来确定关键帧。这种方法考虑了运动特征，但是在分析视频中的运动特征时比方计算光流、比方计算运动速度计算量都比拟大。4聚类分析法聚类方法其根本思路6是：计算当前帧与已存在的每个聚类中心之间的间隔 ，同预先指定的阈值相比拟，假设当前帧与所有聚类中心间的间隔 均大于该阈值，那么从该帧开场形成一个新

10、类别，否那么将其分配到离它最近的类中。最后，取各类中离类中心间隔 最小的帧为关键帧，其优点是能有效地消除镜头间的相关性，缺点是不能有效地保存原镜头内图像帧的时间顺序和动态信息.5压缩域方法视频数据量大，考虑到存储容量，通常都会压缩存储，比方MP4格式的视频，采用MPEG-7标准对视频压缩。MPEG采用离散余弦变换DCT压缩视频，这种方法一般通过DCT的DC系数和运动矢量MV等来提取关键顿。6其他方法如图论、曲线分割、奇异值分解等，这些方法7将视频帧看成高维特征空间上的点，抽取关键帧就是在这些点中选取一个子集，这个子集中的点有些能在指定特征间隔 内覆盖其他点，有些反映了镜头内容上的显著变化。此外

11、，还有人把文本检索的相关技术应用于关键帧提取。3 一种根据三帧差的欧式间隔 极值选取关键帧的方法考虑到交通视频中场景转换的可能性比拟小，所以不用考虑镜头边界问题，直接提取关键帧即可。上面那些方法中，镜头法过于死板，不能充分反映复杂的视频内容；运动法计算量比拟大；聚类法算法也挺复杂，所以本文选取基于内容的方法，基于内容的方法比拟简单，容易实现，但是基于内容的方法也有它的缺陷：计算量较大，而且可能会选取多余的帧。本文对这个方法提出了一点改良。考虑到交通视频镜头的连续性，在时间上不连续的帧相似度很大的可能性比拟小，为了减小帧间相似度的计算量，帧间相似度采用连续的三帧差值来衡量；另外为了防止可能选取多

12、余的帧，取三帧差极大值处的帧作为关键帧，步骤如下。1设有一M，N的视频，其中MN表示摄像设备的分辨率，提取视频帧图像，灰度化；2计算第n帧图像灰度值与前后两帧的差值之差。Inx，y表示视频中第n帧在x，y的灰度值，Cnx，y=In+1x，y-Inx，y-Inx，y-In-1x，y表示第n帧图像在x，y点的三帧差；4对视频每一帧执行步骤13，形成每一帧的欧氏间隔 ；5求所有帧欧氏间隔 的极值，根据一阶导数为0的点的二阶导数大于0为极小值点，而二阶导数值小于0为极大值点，得到欧氏间隔 为极大值点的帧，因为极大值说明该帧和前帧以及后帧的差距比拟大，是比拟关键的帧，所以取极大值点处的帧为关键帧；6为了

13、防止提取关键帧过多，对欧式极大值点进展中值滤波，最后得到关键帧。4 根据三帧差的欧式间隔 极值选取关键帧的MATLAB实验仿真分析实验仿真流程如图1所示。实验一：实验数据是从优酷视频下载的某路口监控视频片段，分辨率672x378，时长22秒，共计672帧，提取结果57帧。从以上实验结果分析，本文的基于三帧差的欧式间隔 极值法提取的关键帧 没有将有车牌变化的图像漏掉，对于交通视频中提取关键帧是有效的方法，且计算方法简单，计算速度比拟快。5小结本文首先介绍了提取视频关键帧的常用方法，分析了各种方法的优缺点，而后在基于内容分析方法提取关键帧的根底上进展改良，提出了基于三帧差的欧氏间隔 极限值提取关键

14、帧的方法，并用MATLAB仿真实现，分析了实验结果，经实验验证这种方法是一种行之有效的关键帧提取方法。参考文献：2 夏洁. 交通视频中机动车辆检索关键技术研究D.苏州大学，2022.3 Wolf Wayne. Key frame sel 4 Tianming Liu，Hong-Jiang Zhang，et al.A novel video key-frame-extraction algorithm based on perceived motion energy modelC.IEEE Transactions on Circuits and Systems for Video Technology，2022 ：1006-1013.5 Yanzhuo Ma， Yilin Chang， Hui Yuan.Key-frame extraction b