浅析视频和图像编辑技术

浅析视频和图像编辑技术浅析视频和图像编辑技术 摘要 多媒体存储 压缩技术以及网络技术的发展使图像和视频信息日益剧 增 在生活 娱乐 教育 医疗等诸多领域都产生了大量的图片和视频数据 用户在进行图像 视频信息的访问时己不仅仅是被动的浏览者 越来越多的 用户需要人性化的系统来辅助他们对信息进行浏览 检索 编辑以及制作等 操作 来自电影 电视工业的经验表明 对图像或视频进行特殊的编辑 操 作和处理 是与观众进行交流 引发观众兴趣的有效手段 关键词 视频 图像 编辑技术 视频和图像编辑的基本框架视频和图像编辑的基本框架 视频图像编辑是通过对视频或图像信息内容分析 根据用户或系统的需 求编辑 处理信息的过程 传统的编辑采用线性编辑技术 按照信息记录顺 序 从磁带中重放数据来进行编辑 其需要较多的外部设备 如放像机 录 像机 特技发生器 字幕机等 编辑制作流程十分复杂 线性编辑过程中 视频或图像的编辑 音频编辑 特技效果 字幕处理需要分别在编辑机 调 音台 特技机 字幕机等不同的硬件设备中进行处理 无法一次性合成 涉 及到设备的使用和人员分工合作等问题 效率不高 素材检索要按照时间顺 序操作 重复工作多 机器磨损大 在编辑过程中素材的顺序不能调整 也 不能随意插入 限制了节目制作的灵活性 非线性编辑是于 20 世纪 90 年代提出的影视编辑制作技术 它将传统视 频图像编辑技术与计算机技术相结合 通过硬件和软件的支持而实现 从狭 义上讲 非线性编辑是指编辑处理素材无需在存储介质上重新安排它们的顺 序 从广义上讲 它是指在用计算机编辑视频或图像的同时还能实现特殊的 处理效果 从本质上讲 非线性编辑就是把传统视频图像编辑设备中的特技 机 切换台 录像机 调音台 编辑机 字幕机等设备用计算机平台代替 对输入的信号进行数字化处理汇 非线性编辑借助计算机来进行数字化制作 将传统线性编辑要完成的工作放在计算机的非线性编辑系统中来实现 其实 现不需要太多的外部设备 对素材的调用可以瞬间完成 不用反反复复地在 磁带上进行寻找 突破传统线性编辑的按时间顺序处理的限制 可以按各种 顺序排列 改变了工作流程 缩短了制作周期 此外 非线性编辑对视频或 图像只要通过一次上传 就可以进行多次的编辑 并且其信号质量始终不会 降低 所以节省了人力 设备 大大提高了制作质量和水平 目前大多数的电视电影制作机构都采用了非线性编辑系统 非线性编辑 系统通过视频图像编辑软件以及硬件设备来实现 它的硬件系统是以高速 CPU SCSI 硬盘阵列为基础 由非线性编辑板卡 视频卡或 IEEEI394 卡 声卡 专用板卡 如字幕卡或特技加卡 以及监视器等外围设备构成 为了保 证不同信号的输入和输出 非线性编辑系统带有各种视频接口 有的系统还 带有 SDI 标准的数字接口以保证视频图像的输入和输出质量 非线性编辑系 统的软件系统主要基于 UNIx WINDOWS 05 2 等系统平台 由非线性编辑核 心软件 图像动画处理 音频处理等软件组成 基于计算机的数字非线性编辑技术使编辑手段得到很大的发展 通过计 算机进行的编辑处理 可以实现各种特效机所具有的特技功能 通过软硬件 的扩展 可以产生特效机也无法实现的复杂特技效果 下面是几个目前热门的非线性编辑技术下面是几个目前热门的非线性编辑技术 l 镜头衔接 视频数据在形式上是一种无结构性的数据 但它在内容上又有着很强的 逻辑结构 正如一篇文档的内容可以分成段落 句子和词语一样 结构化就 是把视频看作一种特殊的文档 根据其内在的时序结构和关系合理地组织视 频数据 把它组织成类似于 段落 句子 或 词语 等形式的内容单元 通常 一段视频可以分为几个场景 也称作故事单元 每个场景又包含多个 镜头 其中 一个镜头是指一系列连续记录的图像帧 用于表示一个时间段 或相同地点连续的动作 镜头由摄像机一次摄像的开始和结束所决定 一个 场景是指一连串语义相关的镜头 它们一般发生在相同的时间和地点 出现 相同的人物或事件 根据内容的粒度大小 视频数据一般被结构化为从大到 小的 4 个层次 视频 场景 镜头和图像帧 实际领域中有着广泛的应用 如在科幻电影制作中 用于产生不同物体的变形 卫星图像 超声图像的处 理中 它用于校正由于工具或方法的内在限制而产生的图像扭曲 在医学图 像处理和三维重建中 变形用于定位 匹配等技术中去 在图像编辑和艺术 设计中 利用变形可达到某些特殊效果 2 图像变形 图像变形是当今许多新技术的基础 研究灵活快速的图像变形技术不仅 具有重要的理论意义 而且还有巨大的实际应用价值 目前的图像变形技术 主要是基于像素域进行研究 图像变形技术最早于 1988 年应用在一部片名 叫做 V 八 110w 的电影中 近年来 随着计算机视频技术的发展 越来越 受到研究学者的广泛关注 目前已经提出多种图像变形的算法 按照变形过 程中是否需要特征基元的对应 可以把变形技术分为两类 基于特征基元对 应的图像变形技术和基于非特征基元的图像变形技术 基于特征基元对应的 图像变形技术主要应用在源图像和目标图像之间有明显的特征对应关系的情 况下 一般是使用几何的点 线等 利用人机交互的方法勾画图像中的对应 特征 建立关联 求得相应的几何变换函数 根据变换函数实现图像的变形 基于非特征基元的图像变形技术主要应用在源图像和目标图像中难以提取特 征基元的情况下 如火焰 瀑布 云彩等具有一定流动性的对象 通常应用 物理的或数学的方法对其进行图像变换 3 图像和视频的修复 图像和视频修复的目的是对图像和视频目标区域内的像素以一种视觉可 接受的方式进行填充 其本质上是一个带约束的优化问题 图像修复主要通 过破损区域周围信息对图像进行修复 视频修复技术通常利用运动估计技术 通过相邻帧之间的互相补偿 对各帧中的数据进行修复 在过去的几年中 研究者提出许多有关图像和视频修复的算法 相对于静态图像的修复 视频修复更具有挑战性 一方面 要处理的数 据量大大增加 另一方面 必须要保持时间一致性 由于人眼对运动信息更 敏感 时间一致性要比图像中的空间一致性更加重要 逐帧利用图像修复算 法将会引起视频的抖动 目前修复方法主要分成基于偏微分方程 PDE 的方 法和基于纹理合成的方法两大类 基于偏微分方程的修补技术主要以像素级 进行处理 利用热扩散原理 将待修补区域周围的信息由边界向待修补区域 内部扩散 由于 PDE 是基于图像的几何特征 通过像素间差分来实现扩散 所以这些方法对局部非纹理的小区域修复有较好的复原效果 但 PDE 扩散不 能保持图像纹理信息 因此在处理受损较大或纹理复杂的区域时会产生很大 的失真 此外 求解偏微分方程需要大量的迭代运算 以致处理速度非常慢 基于纹理合成的修复方法以图像块级进行处理 通过选择性地拷贝图像和视 频己知部分的像素点或者邻域块来填充待修复的区域 其对纹理修复有较好 的结果 但对结构信息的恢复能力有限 然而 当同时应用基于偏微分和纹 理合成两种算法进行图像或视频修复时 首先需要判断待修复区域适用于哪 一种算法 要求找到一种能自适应所有待修复目标类型的判断标准 这无疑 给修复技术增加了难度 4 视频稳像 在很多情况下 由于拍摄环境与条件的限制 例如手持式终端拍摄视频 时人手的抖动 获得的视频图像会产生抖动 出现画面不稳定现象 给观测 者和后期处理带来诸多不便 为稳定视频画面 提高视频的主观质量 视频 稳像技术成为人们研究的热点 视频稳像也称为电子稳像 是指应用计算机 数字图像处理和电子技术的方法来直接确定图像序列的帧间偏移 从而进行 补偿的方法 与传统的光学稳像 机电稳像方法相比 视频稳像具有更精确 灵活 易于操作等特点 视频稳像系统主要是由图像预处理 运动检测和运 动补偿三部分组成 Michele 等人在反射模型的基础上减少了亮度剧变时特 征窗的匹配丢失现象 提高了特征匹配的鲁棒性 采用几何分析方法建立了 视频稳像处理的数学模型 提出一种基于运动矢量的视频稳像算法 作者采 用快速鲁棒估计法获得摄像机全局运动参数集 并对该参数集进行滤波 滤 除随机抖动带来的运动噪声 为了提高算法的可靠性 在全局运动估计之前对原始运动矢量进行了时 空滤波 在运动校正阶段 引入了 重同步 机制防止差错累积 该算法具 有良好的去抖动效果 能够用于实时处理 用迭代最小二乘法求解 使用 局部运动矢量和运动模型建立的线性参数系统获得全局平移 旋转及缩放运 动等参数 最后通过迭代计算对运动参数进行精确化 该算法对平移 旋转 及缩放运动的处理能力较高 能处理的运动幅度范围以及运动参数的估计精 度都比基于光流的算法有很大提高 数字视频是传统的视频技术与计算机多 媒体技术相结合的产物 自 20 世纪 90 年代中期以来 随着计算机软硬件环境和视频音频编辑的 进一步完善和发展 影视节目的后期制作进入数字时代 视频图像编辑的观 念发生了重大变化 一套完善的非线性编辑系统中 除了最基本的对素材的 剪辑功能外 还应融合动画模型 数字特效和多视频合成等多种功能 从而 使得非线性编辑系统为影视爱好者 制作者提供一个充分发挥其创造力和想 象力的技术平台 相关分析相关分析 特征提取贯穿在整个视频和图像研究分析过程中 为信息处理建立从测 量空间到特征空间的映射 以得到一些能够更好描述事物本质的有效特征 从特征提取的结果可以得到一些原始数据具有内容表征性的描述子 特征提 取存在于分析处理的各个流程中 在整个框架中处于一个非常重要的地位 视觉信息是视频特征的一个重要来源 例如颜色 纹理 形状和空间关系等 图像的视觉特征可以直接用来描述帧的视觉内容 早期的研究工作中 IBM 推出的 QBIC QUeryByIinagecontent 系统和劝 rage 公司的劝 rage 系统都 是采用若干低层特征以及多特征联合来实现视频内容的描述 其中 颜色是 最有效和权重最大的检索特征 视频与图像的重要区别在于视频信息多了一 个时间维度 即帧的内容随时间的流逝而发生变化 这种变化可以通过运动 信息表达 运动信息对于描述理解视频内容具有非常重要的作用 目前已经有了很多描述运动的方法或特征 参数化的全局运动估计方法 可以产生摄像机运动或主运动的参数模型 非参数的运动估计方法可以产生 位移场 人提出的运动纹理可以描述运动强度 主运动方向和时空运动模式 等信息 Ngo 等人使用了时序切片来描述运动信息并用于镜头检索 MPEG 一 7 也推荐了摄像机运动 运动轨迹 参数运动和运动活力等一系列描述符 视 频是多模态特征的混合媒体 不仅仅是图像帧序列 同时也包括音频流和文 本信息 利用语音 文本识别技术可以从视频流中得到丰富的高层语义内容 近年来 很多研究工作和系统通过融合多模态特征旨在减少语义的模糊性 从而得到更合理的效果 应用前景 发展趋势和研究机构应用前景 发展趋势和研究机构 非线性编辑将计算机技术引入到编辑领域中 由于信息处理的数字化特 性突破了线性的局限 使得表现形式更加丰富 制作的空间更加广泛 编辑 处理更加自由 随着相关学科 如人工智能 认知科学 的发展 这个领域的 研究将获得长足的发展 根据系统的使用者 非线性编辑的应用可以分为两 类 面向职业用户的应用和面向普通用户的应用 这两类应用有着很大的不 同 前者面向经过严格的培训 具有一定专业技能的用户 如电视台或影视 制作公司的相关工作人员 后者的用户范围非常广泛 职业用户不但要对画 面的布局 内容进行分析 同时对非线性编辑工具也需要具有专业的操作知 识 普通用户通常对系统的实时性要求较高 且其手中的设容层次内从摄像 机操作的角度来分析 镜头是组成视频的基本物理单元 而场景却是语义单 位 导演和剪辑师首先将视频帧序列划分为一个个的镜头 再将镜头组合起 来形成场景 虽然在视频拍摄和剪辑时都是以场景为单位展开故事情节 但 这个单位是导演和剪辑师安排 设计或构思出来的 并不是物理存在的 镜 头衔接是指把一个视频片断的每一个镜头按照一定的顺序和手法连接起来 成为一个具有条理性和逻辑性的整体 其是为解决如何合理地衔接两段视频 序列而开展的 通过镜头衔接 可以增强作品的艺术感染力 使作品成为一 个呈现现实 交流思想 表达感情的整体 渐变切换是常用的非线性编辑中 镜头衔接切换的方式 而淡入淡出和划像则是最常用的渐变切换特技 一些 复杂的非线性编辑特技都是在这两种渐变特技的基础上做出改进 目前 针 对镜头衔接技术的算法有很多 Femando 等人直接在压缩域利用码流中的 运动矢量信息实现淡入淡出和划像的算法 大大提高了切换速度 Aki0I 在 对图像复杂度进行统计的基础上