基于帧相似性度量的镜头检测方法.ppt

1、基于帧相似性度量的镜头检测方法,报告人：钮玥,镜头检测,镜头检测的基本概念 镜头边界的分类 镜头检测的基本方法,基本概念,镜头是从一个摄像机得到的一个不间断的帧序列， 它是由镜头边界划分的一个物理实体, 是视频的构建单位 ，而镜头检测的工作就是在视频中划清镜头的边界。,镜头边界的分类,切变（CUT） 渐变（GT） 规则渐变：淡入淡出，溶解，平移等等 非规则渐变,基本方法,基于帧比较的方法 基于边缘检测的算法 基于压缩域的算法,基于帧相似性度量的方法,基本概念 通过直接比较相邻帧的相似性来判断是否存在镜头切换 基本方法 用帧间距离D表示两帧的相似度，D越小表明两帧越相似，存在镜头切换的可能性越低

2、，反之亦然，当D高于阈值T的时候，就可以认为存在镜头切换。,像素距离,像素距离DP： 其中Pk表示第k个颜色分量，ak表示权重系数 针对RGB颜色空间，DP： 其中k表示色深，Dp是一个介于(0,1)之间的数。,第一种方案,直接比较两帧的像素对，求两帧之间的平均像素距离作为帧距离，而阈值T是给定的。 公式如下：,优点与缺点,简单，思路清晰，是其他改进算法的基础 无法判断渐变镜头，对噪声和抖动十分敏感，不实用。,基于颜色直方图的帧比较,算法思路： 分别计算待比较两帧的颜色分布直方图，根据直方图的统计特征判断图像距离，再根据既定的阈值判断是否存在镜头边界。关于统计特征，常用以下两种统计量： Col

3、or Histogram： 2 Histogram： 其中，Hi(j)表示第i帧在第j个颜色等级下的分量，即满足整个帧中满足该颜色等级的像素数量。,优点与缺点,对抖动和噪声不敏感，稳定性好 当两帧颜色分布相近是会造成误判,基于块比较的方法,思路： 将帧分成r块，块内采用像素比较或者直方图比较，得出块距离，再利用块距离的统计特征分析，判断是否存在镜头切换。 优缺点： 对渐变有比较好的效果 算法复杂度比较高,基于像素差的统计特征和分块直方图算法,出处 CHENG Yong, YANG Xu, XU De等在 IEEE TENCON02提出 思路 在利用颜色直方图的基础之上，用像素差的统计特征降低颜

4、色直方图带来的误判，提高准确率。 简介 同时计算两帧像素差的统计特征V(i,i+1)和基于分块的直方图距离D(i,i+1)，利用滑动窗口自适应的产生阈值，先确定切变，再确定渐变。,像素差直方图,计算待比较两帧的像素距离p，计算像素个数针对像素距离的分布 以横坐标未p，纵坐标为像素个数N，可得如下示意图：,像素差直方图的方差,分析图可得如下结论： 如果图比较相似，该分布图的方差就比较大，如果图像之间没有什么关系，该分布图的方差就会比较小。 定义V(i,i+1)如下： 其中Hi,i+1(j)为第i帧和第i+1帧的像素差直方图中的第j颜色等级分量，N一帧的像素数，V(i,i+1)的取值在0,1之间。

5、,基于块的颜色直方图,在本算法中，同时要计算基于块的颜色直方图距离，首先将每帧分成r块，按照如下公式计算D(i,i+1):,阈值分析,利用大小为200的滑动窗口W，TV取窗口内V均值的一半， TD取窗口内D的2倍。 由此，可以得到满足条件的边界集合DV，其中DV可被视为切变镜头的分界。 针对渐变镜头，定义Y(i,i+1)=D(i,i+1)/ V(i,i+1)，取窗口内的Y均值的2倍作为渐变镜头的阈值。,实验结果,该文分别针对景物，教学片，和动画片的片段做了实验，结果如下：,参考文献,1.A Method For Shot Boundary Detection With Automatic Th

6、reshold. CHENG Yong, YANG Xu, XU De. Beijing Proceeding of IEEE TENCON02 2 Automated High-Level Movie Segmention for Advanced Video-Retrieval System Alan Hanjalic, Reginald L. Lagendijk, Senior Member IEEE, and Jan Biemond, Fellow IEEE. IEEE Transactions on circuits and system for video technology vol 9 NO4 JUNE 1999 3. Comparison of Automatic Shot Boundary Detec