11 关键帧提取

1、1,视频关键帧抽取,2,视频结构化的基本概念,书,视频,章,节,页,场景,镜头,帧,A VIDEO KEY frame is the frame that can represent the,salient content,of a video shot.,3,提纲,?,关键帧抽取算法介绍,?,关键帧抽取的意义,4,关键帧抽取的意义,5,?,减少视频帧间存在的大量冗余信息内容,关键帧提取的意义,?,更凝炼地表达一段视频中包含的信息，便,于对视频内容建立索引、管理,6,减少冗余信息,?,视频由成千上万的帧组成，视频数据流中,t,时刻的,图像帧和,t+1,时刻的图像帧在视觉特征和内容上差,别不大。

2、,?,人们从由成千上万存在冗余的图像帧提取出“关,键图像帧”，而且使用这些关键图像帧表示视频,，会更加简洁。这是在视频内容分析中提取视频,关键帧的原因之一。,7,快速全面了解视频的内容,?,对于只想了解大致视频内容的用户而言，他们并,不愿意花很多时间观看每一帧。,?,提取关键帧可以极大地节约用户的欣赏时间。用,户通过关键帧，能了解整个视频数据流所蕴含的,内容。,?,在通过提取关键帧的底层信息来建立索引，方便,用户对视频内容的查询。,8,小结,?,关键帧提取可以减少视频数据流在内容上,的冗余度，其提取原则既要在数量上精简,，又能够反映视频内容。,?,前面介绍了如何通过相邻视频帧间特征发,生变换，

3、将连续视频流分割成长短不一的,视频镜头。要进行的下一步工作是从每个,切分出来的镜头中提取关键帧，在关键帧,的基础上进行进一步的结构化。,9,2.,关键帧抽取算法,10,几种关键帧提取算法,?,基于抽样的方法,?,基于镜头边界法,?,基于颜色特征法,?,基于运动分析法,?,基于聚类的关键帧提取,（重点介,绍）,11,基于抽样的方法,?,思想,：,基于抽样的方法是一种比较简单的方法,，这种方法一般通过随机的抽取几帧、或者规,定间隔抽取关键帧、或者规定每个镜头提取的,帧数然后等间隔抽取。,?,优点：,这种方法的优点是简单快速。,?,缺点：,这种方法具有明显的缺点即不能够有效的,表达视频的内容。当镜头

4、很短时可能只能抽取到,一个关键帧，这可能导致一些重要信息丢失，而,对于一些比较长的视频镜头片断，可能会有很多,相似的关键帧被提取出来，这样关键帧提取的目,的没有达到。,12,基于镜头边界法,?,思想：,将切分得到镜头中的第一幅图像,和最后一幅图像作为镜头关键帧。,?,依据：,既然在一组镜头中，相邻图像帧之,间的特征变化很少，所以整个镜头中图像,帧的特征变换也应该不大，因此选择镜头,第一帧和最后一帧可以将镜头内容完全表,达出来。,13,基于镜头边界法,?,缺点：,以镜头首帧或尾帧或首帧加尾帧为,关键帧，这种方法虽简单，但它不考虑当,前视觉内容的复杂性，并且限制了镜头关,键帧的个数，使长短不同和内

5、容不同的视,频镜头有相同个数关键帧，这样做并不合,理，事实上首帧或尾帧往往并非关键帧，,不能精确地代表镜头信息。,14,基于颜色特征法,?,思想：,将镜头当前帧与最后一个判断为关键帧,的图像进行比较，如有较多特征发生改变，则,当前帧为新的一个关键帧。,在实际中，可以将视频镜头第一帧作为关,键帧，然后比较后面视频帧图像与关键帧的图,像特征是否发生了较大变化，逐渐得到后续关,键帧。,15,基于颜色特征法,?,优点：,按照这个方法，对于不同的视频镜,头，可以提取出数目不同的关键帧，而且,每个帧之间的颜色差别较大。,?,缺点：,对摄像机的运动（如摄像机镜头拉,伸造成焦距的变化及摄像机镜头平移的转,变）

6、很不敏感，无法量化地表示运动信息,的变化，会造成关键帧提取不稳健。,16,基于运动分析法,?,依据：,在视频摄影中，摄像机运动所造成的,显著运动信息是产生图像变化的重要因素。,?,思想：,将相机运动造成的图像变化分成两类：,一类是相机焦距变化造成的；一类是相机角,度变化造成的。对前一种，选择首、尾两帧,为关键帧；对后一种，如当前帧与上一关键,帧重叠小于,30%,，则选其为关键帧。,17,基于聚类的关键帧提取,?,聚类方法在人工智能、模式识别和语音识别等领域中,有着很广泛的应用，也可以使用聚类方法来提取镜头,关键帧。,?,实现步骤：,?,第一步：设某个镜头,Si,包含,n,个图像帧，可以表示为,

7、Si=Fi,1,，,Fi,n,，其中,Fi,1,为首帧，,Fi,n,为尾帧。如果,相邻两帧之间的相似度定义是这相邻两帧颜色直方图,的相似度（也即是直方图特征差别），预定义一个阈,值控制聚类的密度。,18,基于聚类的关键帧提取,?,第二步：计算当前帧,Fi,i,与现存某个聚类质心间,的相似度，如果该值小于，则该帧与该聚类,之间距离较大，因此，,Fi,i,不能加入该聚类中。,如,Fi,i,与所有现存聚类质心相似度均小于，则,Fi,i,形成一个新的聚类，,Fi,i,为新聚类的质心；否,则将该帧加入到与之相似度最大的聚类中，使,该帧与这个聚类的质心之间的距离最小。,19,基于聚类的关键帧提取,?,第三

8、步：通过上面方法将镜头,S,i,所包含的,n,个图像帧，分别归类到不同聚类后，就可,以选择关键帧：从每个聚类中抽取离聚类,质心最近的帧作为这个聚类的代表帧，所,有聚类的代表帧就构成了镜头,S,i,的关键帧。,?,假设镜头,S,i,形成了,cluster,个聚类，那么就,可以从镜头,S,i,中提取,cluster,个关键帧。,20,基于聚类的关键帧提取,?,特点：,该聚类算法由阈值控制，越大，形成的,聚类数目越多，镜头,S,i,划分越细，选择的关键帧也,越多；反之，越小，所形成的聚类个数越少，镜,头,Si,划分越粗。,?,示例：,表,8.1,和表,8.2,显示了当,取不同阈值时采,取聚类算法所提

9、取的关键帧结果。,21,基于聚类的关键帧提取,表,1,动作视频片提取关键帧结果,镜头,ID,镜头边界,=,0.80,=,0.85,=,0.90,关键帧,关键帧,关键帧,1,066,41,41,134,2,67134,90,68,75,11,641752,676,655,679,733,662,665,675,698,738,17,107211,45,1101,1,0,7,4,，,1102,1079,1097,1107,1133,1144,22,基于聚类的关键帧提取,表,2,生活视频片提取关键帧结果,镜,头,ID,镜头边界,=,0.80,=,0.85,=,0.90,关键帧,关键帧,关键帧,1,0

10、302,173,173,41,2,303388,367,367,367,3,389439,401,401,401,11,111314,02,1219,1114,1117,1267,1348,23,基于聚类的关键帧提取,?,优点：,1),该方法不仅计算效率高，它还能有,效地获取视频镜头的显著视觉内容。,对于低活动性镜头，大多数情况下它会提取少,量的关键帧或仅仅一个关键帧（表,2,）。但对于高,活动性镜头，它会根据镜头的视觉复杂性自动提取,多个关键帧（表,1,）。,24,基于聚类的关键帧提取,?,由于该方法仅依赖于当前帧与前面帧，因此,易于,在线实现,。,?,和其他关键帧提取算法一样，虽然这里使用

11、,颜色直方图作为相似度度量，但是任何有用,的视觉或语义特征都能被集成到这个聚类算,法中。聚类算法基本上是一个非监督过程，,用户只要提供聚类参数，那么聚类与关键,帧提取等过程就可以自动完成，不需要人工,干预，因此效率较高。,25,基于聚类的关键帧提取,?,注：在聚类过程中也可以加入些约束条件，如每个聚,类集中的图像帧数目不应该很少，也不应该很多；每,个聚类集的聚类质心不应该“相似”，也就是这些聚,类质心的距离要大；还可以采用模糊聚类方法实现关,键帧的提取。,?,缺点：,聚类算法最大的限制是聚类参数,是否恰当，,从上面对动作片与生活片视频关键帧提取可以知道，,对于不同的应用，聚类参数,的设置就差别

12、较大，因,此一个普遍的聚类参数,获取是相当困难的。,26,?,视频帧,i,和视频帧,j,的直方图差,HD,ij,的计算如下：,基于,PGF,（,peer group,filtering),的关键帧提取,H,颜色分量的归一化直方图,27,基于,PGF,（,peer group filtering),的关键帧提取,?,PGF,主要思想：找出滤波窗口与中心象素特征,相近的邻域象素作为同组成员参加滤波。它是,先根据滤波窗口中邻域象素与原来象素特征的,相似性进行升序排列，再根据,Fisher,判别找出,该象素的同组成员，然后用滤波窗口中属于同,组成员象素的加权特征值代替原来中心象素的,特征值。,?,优点

13、：很好的滤除混合噪声，且保护图像边缘,信息,28,基于,PGF,（,peer group,filtering),的关键帧提取,?,采用递归同类组滤波（,PGF),的策略把镜头的视频帧根据,每一帧划分分两组：与第一帧属于同一组的视频帧和与第,一帧属于不同组的视频帧,?,PGF,的主要功能是把一组数据集合通过最大化一个基于,Fisher,区分分析的类间散度和两个类内散度的比率来划分,成两个类,?,d1,dM,是时间序列上各个帧和第一帧的距离，这些,距离是按照从小到大的顺序排列。很显然，当距离很小时,，这些帧和第一帧属于同一组。,29,基于,PGF,（,peer group,filtering),的关键帧提取,30,基于,PGF,（,peer group,filtering),的关键帧提取,31,基于,PGF,（,peer group,filtering),的关键帧提取,32,