多媒体通信课设镜头分割与关键帧提取2016661131刘海岭2016522063

1、多媒体通信课设实验报告题目：镜头分割和关键帧提取班级：2016661131姓名：刘海岭学号：2016522063班内序号：11课设项目介绍选题如何进行视频镜头边缘检测与镜头内关键帧提取(2)工作简介视频逐帧进行直方图绘制并按照X2做差根据当前帧所处环境进行自适应阈值防缩得到镜头边缘帧优化镜头边缘帧进行自适应关键帧提取(3)开发环境c+opencv3.3.1技术细节(1)理论知识边缘检测基于直方图差异进行边缘检测，差异越大的帧越有可能是镜头边界处，且使用直方图的方法可以很好的避免镜头内对象运动而造成的差异，提高一定鲁棒性。同时算法应该兼顾几个方面的问题。+相邻两个镜头边缘不应该太靠近+镜头边缘帧

2、与前一帧的差值应该是当前镜头所有帧差值中最大的+镜头边缘帧与前一帧的差值应该普遍大于该镜头中所有帧的平均差值的倍数+下一个镜头中，靠近这个镜头的部分的两帧之间的差值不应该出现明显大于这个镜头边缘帧与前一帧的差值的情况关键帧提取动态进行关键帧提取，不应该根据当前镜头的长短而应该根据当前镜头的变化剧烈程度，前镜头变化越剧烈，则应该提取越多的关键帧，即便当前镜头并不长。相反，即便是一段很长的镜头，如果画面基本没变，我们也应该提取较少的关键帧。如果当前镜头画面为全黑，我们不应该提取任何关键帧。(2)具体算法对于每一帧我们用以下结构保存1 structm_frame2 intindex_frame;3

3、floatdistance;/与上一帧的差值4 boolM;/是否有可能是镜头分界帧5 boolKeyFrame;/是否是关键帧6;/定义最小镜头长度#definem_MinLengthOfShot4镜头边缘检测计算帧与帧之间的差值直方图差异利用如下公式计算0|也！=0)土(e一q户fhghL】二回修小产)将差值保存在结构中m_frame:distance=XA2三次筛选进行自适应阈值的边界帧的判断对于镜头边界帧的选取，我们进行了三次筛选：(1)制作一个大小为10帧的窗口，步长为8,所以窗口重叠次数为2。我们寻找窗口内distance最大的帧定义为可能的MM帧，并判断它距离上一个MM的距离。如

4、果距离小于m_MinLengthOfShot(最小镜头长度)，我们取消它的MM资格，否则它是一个新的M咖。(2)进一步判断MM是否是边缘帧。我们计算两个M帧之间帧的distance的平均值，并判断MM帧是否远大于这个平均值，这里选择的thresholdthreshold为6,即，当且仅当MM帧的distance大于平均值的6倍，才得以保留。经过了这一步，已经能得到基本合理的镜头边缘了。(3)进一步优化镜头边缘。判断该MM后的小区间内是否有比MM#更合适的帧。方法如下：从MM开始，往后寻找8帧中的最大帧，若最大帧的distance小于MM则M帧得以保留。否则进行下一步若存在大于MM帧的帧，我们将

5、其命名为PP计算MMF口PP之间帧distance的平均值判断PP是否大于平均值的倍数，若没有大于，则M得以保留，否则P为新的M帧，并接下来继续判断。选择了其中一次筛选的函数的一部分：/1.从M帧开始，往后找8帧，如果没有比M更大的，则M得以幸存/2,若有,为P,则判断P是否大于M和P之间的数的平均值的阈值倍数，若并没有大于，则M得以幸存，否则，P为新的M/3.我们紧接着找下一个M直到到末尾voidm_ThirdDelete(m_frame*temp)while(true)/首先找到下一个M的坐标for(i=index_M+1;i=m_TestFrameNum)break;/找到后续间隔最大值

6、及对应的P帧floatmax_behindinterval=tempindex_M.distance;intindex_P=index_M;for/找到往后数窗口间隔个数的最大值或者到最后一位的最大值(inti=index_M;iindex_M+m_WindowInterval&iaverage*m_threshold)/如果P没有大于平均值的阈值倍，M得以幸存else)镜头内关键帧提取我们根据镜头内帧的变化程度来确定关键帧的数量。1 .首先计算所有镜头内的帧的平均distance2 .找出镜头内帧的distance大于平均值的倍数的帧3 .如果没有这样的帧，则证明该镜头变化过于平缓，我们选择

7、镜头的中间帧4 .排除亮度过于黑暗的帧while(true)floatsum=0;inti=lastM+1;/先统计在两个镜头边缘所有帧差别的平均值floataverage=sum/(i-lastM-1);boolisFlappy=true;/如果期间帧变化挺快的，那么我们保存变化最快的几个位置/如果两个帧之间几乎没有变化，则取两帧的中间值)/删除那些颜色过暗的for(inti=0;im_TestFrameNum;i+)if(tempi.KeyFrame=true)floatsum=mean(m_FrameImgi)0;if(sum5)tempi.KeyFrame=false;)实验结果镜头该视频镜头共有：56个误判的镜头有：7个(因为全黑的过