用于裸眼立体显示的平面视频立体转换方法

1、用于裸眼立体显示的平面视频立体转换方法作者：杨铀，戴琼海单位：清华大学自动化系技术摘要摘要附图图1图2图3权利要求书1、用于裸眼立体显示的视频立体转换方法，其特征在于，所述方法包括：A1：对所输入的视频类型进行分类，所述类别包括单视点平面视频、双目立体视频，并根据所分类型分别输入至对应的A2或A3；A2：输入视频类别为单视点平面视频，设裸眼立体显示设备所需视点数为N（N>2），对单视点平面视频进行适用于裸眼立体显示设备所需视点数的N视点立体转换；A3：输入视频类别为双目立体视频，对双目立体视频进行适用于裸眼立体显示设备所需视点数的N视点立体转换；A4：对于A2或A3所转换得到的多视点立体

2、视频，进行适用于裸眼立体显示设备所需的像素排列。2、如权利要求1所述的方法，其特征在于，所述步骤A1中对输入的视频进行类型判断，具体方法包括：如果所输入视频的视点数为1，则为单视点平面视频；如果所输入视频的视点数为2，则为双目立体视频。3、如权利要求1所述的方法，其特征在于，所述步骤A2中对输入的单视点平面视频进行适用于裸眼立体显示设备所需视点数的N视点立体转换，具体方法包括：B1：对单视点平面视频计算场景深度；B2：利用视频帧序列在时域上的相关性，将B1所计算得到的场景深度进行时域传播；B3：利用基于深度的图像绘制方法，对视频的每一帧进行其余N-1视点的图像绘制，与该视点一起总共为N个视点。

3、4、如权利要求1所述的方法，其特征在于，所述步骤A3中对输入的双目立体视频进行适用于裸眼立体显示设备所需视点数的N视点立体转换，具体方法包括：C1：计算双目立体视频间的视差，并利用视差与深度间的转换关系，得到视频的场景深度也可不求深度，直接利用视差计算，这一块可分两部分写；C2：利用视频帧序列在时域上的相关性，将C1所计算得到的场景深度进行时域传播；C3：利用基于深度的图像绘制方法，对视频的每一帧进行其余N-2视点的图像绘制，与双目视点一起总共为N个视点。5、如权利要求1所述的方法，其特征在于，所述步骤A4中对A2或A3所得的N视点视频帧其像素按照裸眼立体显示设备所需的像素排列进行重排列。说明

4、书技术领域本发明涉及计算机视觉技术领域，特别涉及一种用于裸眼立体显示的平面视频立体转换方法。技术背景随着3D立体显示技术的不断发展，立体电影、电视、移动设备等立体产品迅速普及，大众对立体视频的需求程度越来越高。此时，除了提供新的立体拍摄片源以外，还有大量平面视频资料需要通过立体化的方法才能实现立体观赏。立体视频目前大多是通过双目的方式进行显示，观看过程中需要通过主动快门式、偏振式、红蓝式眼镜等将双目图像分别发送至人的左右两眼，从而形成立体视觉感知。这种方式需要用户佩戴眼镜，观看不便。裸眼立体显示设备能够让用户无需佩戴辅助设备即观看到视频所具有的立体效果，是未来家庭娱乐、广告宣传、公共展示等场合

5、中用于进行立体观看观赏较为理想的方式。如何向该设备提供立体片源内容，成为一个需要解决的问题。在裸眼立体显示设备进行立体内容的显示，需要根据该显示设备所提供的观看视点数量N，向该设备同时输入等量视点N的视频信号源。比较直观的做法是，开发具有N个视点的视频采集设备进行同步采集，为裸眼立体显示设备提供节目源。但是这样的方式下，节目制作的成本高、周期长、技术难度大，同时对采集设备及辅助控制设备的要求较高，而且不利于将已有的大量单视点平面节目源、双目立体节目源无法在裸眼立体显示设备上得以展示。本专利针对单视点平面节目源、双目立体节目源在裸眼立体显示设备上的播放而涉及的节目源裸眼N视点立体转换方法。针对。

6、的方法？本发明中所涉及的已有算法单目镜头检测（3篇）颜色直方图方法1篇聚类方法变换域方法（DCT、小波变换）1篇镜头渐变检测方法（双阈值法、模糊聚类、B样条拟合方法）1篇图像特征提取（聚类、色彩量化等方法、运动信息）直接灰度化聚类最小生成树01篇色彩量化运动信息提取01篇分水岭深度图求取（深度赋值方法、深度传播方法）基于立体线索的直接计算（遮挡、透视、纹理、聚焦等）1篇基于运动的深度赋值轮廓匹配进行深度图求取的方法1篇关键帧的空域深度扩散方法1篇非关键帧的深度传播方法（运动信息、各种跟踪算法）2篇深度图后处理（滤波、时域平滑、边缘增强等）非对称滤波、双边滤波时域平滑1篇边缘增强1篇立体图像绘制

7、方法像素偏移（方法选择，均匀or汇聚）空洞填充方法（最近邻、邻域插值、邻域滤波、Inpainting）12篇参考渲染方法（每次参考相邻视点进行渲染）1篇双目双目图像镜头检测（已校准）同上双目图像视差/深度估计局部匹配方法（区域匹配、特征匹配等）至少2篇全局方法（动态规划、图割、BP）3篇有文献非关键帧深度传播（同上，可考虑利用双目视频得到更精细的深度图）视差图/深度图后处理各种滤波（双边滤波）时、空域联合优化（plane fitting）1篇（1） 双目立体图像绘制像素偏移错误去除1篇空洞填充（最近邻、邻域插值、邻域滤波、Inpainting）双目原视点参考渲染方法1篇近邻视点参考渲染方法（一

8、侧渲染）1篇硬件（还可细分）转换芯片12篇含一篇框架立体视频芯片（信号转换，频率转换）12篇板卡电路（芯片、FPGA）12篇多视点数量切换方法及装置（1输入m路输出n路，m可以大于、等于、小于n）1篇多视点间自由切换（类似于自由视点）1篇立体视频信号视点数目识别方式与装置（匹配）1篇立体视频芯片配置参数在线调整设备（外接到板卡上，与芯片通信或遥控器）1篇（1）镜头检测算法中的双阈值法双阈值法是一种比较经典的镜头检测算法。用该方法进行镜头边界检测的主要依据是镜头内部的相邻帧之间具有较大的相似性，当出现镜头突变和镜头渐变时，该相似性会遭到不同程度的破坏。该方法的主要思想是设置一高一低两个阈值 和，

9、当帧差大于时存在镜头突变；当帧差小于而大于时可能存在镜头渐变，此时将后一帧作为镜头渐变的潜在起始帧，并从该帧开始同时计算两种帧差：相邻两帧的帧差以及和潜在起始帧相隔帧的累积帧差。若累积帧差大于而相邻帧的帧差小于时，当前帧便为镜头渐变的结束帧。若相邻帧的帧差小于而累积帧差仍不超过时，则废除潜在起始帧，重新寻找新的起始帧。（2）K均值算法聚类算法是不是好一些？K均值法是一种应用非常广泛的动态聚类方法，其目标是将个数据对象划分为个聚类，使最终的聚类具有最大的类内相似度和最小的类间相似度。该方法通常分为以下步骤：从个数据对象中随机选择个对象作为初始聚类中心；将剩余对象分别分配给与其距离最近的的聚类中心

10、所代表的聚类中；重新计算每个新聚类的聚类中心，及该聚类中所有对象的均值；重复2、3两步直到均方误差准则函数达到收敛条件为止。（3）光流法基于运动信息光流是空间运动物体在观测成像面上的像素运动的瞬时速度。光流的研究是利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的“运动”，即研究图像灰度在时间上的变化与景象中物体结构及其运动的关系。一般情况下，光流由相机运动、场景中目标运动或两者的共同运动产生。光流计算方法大致可分为三类：基于匹配的、频域的和梯度的方法。（4）基于深度的图像绘制方法（5）图割法基于标号的图像匹配算法把图像的视差看成标号，建立标号的能量函数，把匹配问题转化为能量函数最小化问题。图割算法通过构造网格图使能量函数与网格图的割的容量相对应，利用最大流/最小割理论求出对应最小割。图割法一般包含3个步骤：建立匹配能量函数、构造网格图、利用最大流求解能量函数的最小值。匹配能量