（信号与信息处理专业论文）h264编码软件分析及视频水印算法研究.pdf

论文题目：h.264 编码软件分析及视频水印算法研究 专 业：信号与信息处理 研 究 生：杜 琳 （签名） 指导老师：张敏瑞 （签名） 摘 要 h.264 视频压缩编码标准是新一代高效的压缩编码方式。研究基于 h.264 编解码标 准的视频水印具有非常重要的技术意义和市场价值。本文介绍了视频水印技术的概念、 应用领域、典型的水印方案，对 h.264 标准基本概念和编解码过程也做了详细说明。 jm 软件是 h.264 标准测试代码，主要用于理论研究。该程序结构冗长，编码复杂 度高，其不同版本引入了各种新特性以提高编码性能。本文对 jm 软件编码流程的进行 了分析，用图表罗列出各单元之间的调用关系，深入透彻解释了整个编码单元，最终通 过修改 jm 代码将水印嵌入算法集成在 h.264 视频压缩标准的 jm10.2 参考软件中。 根据h.264视频标准的编码特点， 本文研究了一种适用于版权保护的视频水印算法： 在视频序列 i 帧的亮度 dct 系数中嵌入水印。仿真实验表明，该算法具有较好的不可 见性。 关 键 词：h.264；视频水印；版权保护；dct 研究类型：理论研究 subject : h.264 encoding software analysis and research on video watermarking algorithm specialty : signal and information processing engineering name : du lin （signature） instructor : zhang minrui （signature） abstract h.264 video encoding standard is a new generation of highly efficient coding method.of which the research has very important technical significance and market value. this paper introduces the concept of video watermarking technology, meaning, applications, and a typical strategy of video watermarking both of embedding and extraction. making a specific explanation of basic concept of h.264 video coding and decoding process. jm software is a h.264 standard test code, mainly focuses on theoretical research and increasing the coding function with several new characteristics, as a result of long program structure and coding high complexity. this paper deeply illustrate the coding unit and analysis the relations of the function behave among these coding units, further more watermark embedding algorithm has been successfully integrated in h.264 coder of jm software. according to the standard h.264 video encoding features, the watermarking embedding algorithm we propose in this paper is suitable for copyright protection. the solution is to embed the watermarking to the dct coefficients(y component) of luminance frame i. simulation results show that the algorithm has a desirable invisibility. key words：h.264 vedio watermark copyright protection discrete cosine transform thesis ：theory research 1 绪论 1 1 绪论 1.1 课题研究背景及意义 人们对于“水印”一词并不陌生，最早水印出现在用手工造纸技术中，目的是跟踪 纸张的来源同时对质量进行鉴定。即使到现在，纸张上的水印仍然得到了广泛的应用， 比如纸币中的水印，其目的就是为了防止伪造。同样，在邮票，银行票据、发票的纸上 也可以加入水印。这些都是模拟媒体中的水印方法，与之相对应，本文研究的是面向数 字媒体的数字水印技术1。 数字化多媒体产品有着方便快捷存取的优点， 又极大地提高了信息表达的效率和准 确性2。如数字视频相对模拟视频，其视觉质量明显更接近真实画面。dvd 技术正是数 字视频应用的典范。但是另一方面带来的问题是，人们可以很容易地通过复制的方式获 得越来越多的数字多媒体数据，并可以将其迅速地传播和扩大。借助先进的多媒体处理 软件，盗版者可以对数字作品制作出完美的拷贝，甚至不留痕迹的对作品做各种各样的 篡改。这便引起了内容所有者的关注，内容所有者们渐渐意识到了，传统的版权保护机 制已不能满足现在的需要。 数字内容迟早是要被解密并最终被消费者所获得。 这样的话， 由加密技术所提供的对版权的保护就会变得荡然无存3。如果问题得不到解决，将可能 导致书籍、音乐、电影、软件等电子出版业得不到健康发展4,5。这就带来一系列问题： 如何保护原作者的产权；如何确认作品是否完整；内容是否真实。因此在这种情况下， 版权保护和防篡改技术在数字多媒体产品的应用， 便作为一个迫切而现实的问题提到了 人们面前。 数字视频水印技术作为一种强有力的隐藏不可见信息的辅助技术由此应运而 生6，并且作为视频数据的一种版权保护方法正在受到越来越多的重视7。数字水印技 术第一次被广泛地应用是对于静态图像进行研究。然而，今天所提出的许多的水印研究 课题则是针对于多媒体技术的，如：声音、视频、文本、3d 网络。 随着视频应用的不断扩大，针对视频产品版权保护的需求日益突出。上个世纪九十 年代国内外学者开始致力于数字水印处理算法和基本理论的研究， 目前己经取得了一定 的研究成果，但作为一种新技术，数字水印仍然是一个尚未成熟的研究领域，特别是数 字视频水印，大多数的水印算法还不成熟，还有许多问题需要解决。 主要存在以下几个方面的问题： （1）视频水印系统缺乏统一的检测方法和适合的评价方法。目前，无法对水印系统 进行全面测试和衡量； （2）视频水印检测的研究还有很多工作需要完善补充； （3） 目前水印算法原理上有许多相似的地方， 对算法共性问题还没有更深层的研究， 西安科技大学硕士学位论文 2 缺乏对数字水印研究具有指导意义的理论结果； （4）新的视频压缩编码技术层出不穷，视频技术也在迅速发展，所以视频水印的研 究还需要很大努力。 数字视频水印在以数字化为特征的信息技术变革中具有重要的应用和地位。 视频大 多以压缩编码的方式存储和传输，压缩的目的是去除冗余信息。而水印则是利用载体的 冗余空间进行操作的， 这就形成了一对矛盾要求视频水印必须能够抵抗常见的压缩 攻击。压缩性能越好，水印嵌入就越困难。h.264 是最新的视频压缩标准，压缩性能较 之前的压缩标准更好， 水印设计难度也就更大。 由于 h.264 具有广泛的应用前景， 因此， 结合 h.264 压缩标准的水印研究必将更有前景。 jm （joint model）是 jvt（joint video team）发布的 h.264 官方标准测试代码，学 术研究的算法一般都是在 jm 代码基础上实现。 jm 包含了 h.264 视频编解码标准所有的 特性，所以其程序结构冗长，并且为了提高编码性能引入各种新特性，因此 jm 编码复 杂度极高。它对 h.264 的学习和研究有着重要的意义。本文水算法是结合 h.264 视频压 缩标准设计而成的，因此研究 h.264 视频压缩标准的 jm 参考代码是十分必要的。 1.2 数字视频水印的主要应用领域 近年来，数字化技术以及 internet 的飞速发展，人类在享受则现代化信息交流的同 时， 也感受到来自版权保护的危机。 无线电广播、 电视、 dvd 等新技术的产生和 internet 的全球传播能力使得数字产品的版权保护成为困扰各国法律界、艺术界、商界、政府、 计算机科学家的难题。在最近十年中，随着人们对数字内容版权保护方面关注的加强， 人们对数字版权的兴趣越来越大， 同时也强调了数字水印潜在的商业价值数字水印 的各种用途以及对将来反盗版技术的有力支持。所谓数字水印812技术就是将序列号、 数字、文字、图像标志等版权信息嵌入到多媒体数据中，起到秘密通信、保护版权、产 品标识和数据文件的真伪鉴别等作用。数字视频水印的应用范围很广，在版权保护、票 据防伪、隐蔽通信、数据隐藏等方面都有重要应用。表 1.1 反映了这部分的应用9。 （1）拷贝控制 在数字视频作品发行过程中，人们希望有一种拷贝保护措施，不允许未授权的媒体 或个人拷贝他人的作品， 数字视频需要特殊的硬件来拷贝。 例如可以采用某种水印机制， 在视频作品中嵌入水印来标识允许的拷贝份数，每拷贝一份，进行拷贝的硬件会修改水 印内容，将允许的拷贝数减一，以防止大规模的非法拷贝。 1 绪论 3 表表 1.1 视频水印应用及目的视频水印应用及目的 应 用 嵌入水印目的 防止非法拷贝控制 防止非作者身份拷贝 广播追踪 证实当前广播内容 数字指纹 追踪恶意使用者 视频认证 确保原始视频数据未被改动 版权保护 证实所有者 视频编码增强 加入附加信息如：错误纠正 篡改估计/认证 电子商务、多媒体产品出售控制 信息隐藏 多媒体检索、多媒体索引、制图等 隐蔽通信 在密码被禁止时进行网际间秘密通信 自 1996 年末，数字多功能光盘（影碟）dvd 在消费市场上的出现，由于 dvd 播 放器可以提供了一个高质量的视频信号， 所以这项新技术在市场上出现立刻受到了广大 消费者的青睐。然而，由于非法盗版光的日益猖獗，使其优势大打折扣。与传统的录像 机磁带刻录机相比，每个数字视频数据的副本都是一个完整的复制品。这便引起了版权 所有者及电影制作商的注意，进而要求对所有者的版权进行保护。 （2）广播监测 许多宝贵的视频资料是通过电视网络传播的。如新闻报道等，这些内容是由公司付 费提供的。在法国，2002 年韩日世界杯足球决赛中，在休息时段播出了 30 秒的商业广 告，广告商要支付 10 万欧元，同样，如果法国国家队出现在决赛中，最后结算要高达 220,000 欧元。整个电视市场的价值高达几十亿美元，在这种情况下知识产权侵权行为 极有可能发生。 如果在数字广播节目的内容中，嵌入标记广播电台的数字水印信息，通过检测设备 实时监测，判断节目内容来源便可有效地用于广播监测，防止广播电台之间大规模的侵 权行为。 （3）内容认证 当数字作品用于新闻、出版、法庭、医学和商业用途时，常常需要认证作品的内容 是否被伪造、修改。目前许多视频编辑和处理软件可以修改数字视频的内容，使得视频 内容不再可靠。 利用视频水印进行内容认证和完整性校验的目的是检测对数字视频作品 的修改，其优点在于认证同内容是密不可分的，简化了处理过程。 （4）版权保护 目前，版权保护是水印最主要的应用，为表明对数字视频作品的所有权，数字视频 作品所有者用密钥产生水印，并将其嵌入原始载体中，然后公开发布嵌入水印的数字视 频作品。如果该作品公开后被盗版或出现版权纠纷时，所有者可利用从盗版作品中提取 西安科技大学硕士学位论文 4 水印作为证据，保护所有者的权益。 （5）数字指纹 为避免未经授权的复制数字视频， 数字视频作品的所有者可在其发行的每个拷贝中 嵌入不同的水印（数字指纹） 。如果发现了未经授权的复制品，则通过检索指纹来追踪 来源。例如：在即付即看和视频点播等实时视频流的应用中，可以将用户的信息作为数 字指纹嵌入到视频中来跟踪用户是否有超越其许可权限的行为。 （6）安全隐蔽通信 视频水印同样可用于军事保密或商业保密，其属于信息隐藏的范畴。发送时可以将 秘密信息（如软件、图像、数据、文本、音频、视频等）嵌入到公开的视频中，只有指 定的接收方才能根据事先约定的密钥和算法提取出其中的信息， 而其他人无法觉察到隐 藏的水印，从而实现秘密信息的安全传输。 （7）商务交易中的票据防伪 随着高质量图像输入输出设备的发展，特别是高精度彩色打印机、复印机的出现， 使得支票、货币以及其他票据的防伪变得更加容易。 据美国报道，仅在 1997 年截获的价值 4000 万美元的假钞中，用高精度彩色打印机 制造的假钞就占 19%，目前，日本、美国等国家都开始研究用于票据防伪的数字水印技 术。其中，麻省理工学院媒体实验是受美国财政部委托，研究在彩色打印机、复印机输 出的每幅图像中加入不可见数字水印，需要时可实时从扫描票据中判断水印的有无，快 速辨别真伪。 另一方面，从传统商务向电子商务转化的过程中，会出现大量电子文件，比如各种 纸质票据的扫描图像等。即使在网络安全技术成熟后，各种电子票据也还要一些非密码 的认证方式。数字水印技术可以为各种票据提供不可见的认证标志，从而大大增加了伪 造的难度。 （8）声像数据的隐藏标志和篡改提示 有些数据的标志信息往往比数据本身更具保密价值，如遥感图像的拍摄日期、经/ 纬度等。没有标志信息的数据有时无法使用，但直接将这些重要信息标记在原始文件上 又很不安全。数字水印技术提供了一种隐藏标志的方法：标志信息在原始文件上是肉眼 不可见的，只有通过特殊的阅读程序才可以读取。这种方法已被国外一些公开的遥感图 像数据库所采用。 此外，数据的篡改提示也是一项很重要的工作。现有的信号拼接和镶嵌技术可以做 到不为人知，因此，如何防范对图像、音频、视频数据的篡改攻击是重要的研究课题。 基于数字水印的篡改提示是解决这一问题的理想途径， 通过隐藏水印的状态可以判断声 像信号是否被篡改。 1 绪论 5 1.3 论文主要工作及安排 本文在研究 h.246 视频编解码关键技术的基础上，对 h.264 数字视频的版权保护， 给出了一种在量化后的 i 帧亮度 dct 系数（y 分量）中嵌入水印的方案。利用 jm10.2 软件模型和 visual studio_2008、matlab 开发工具，在 windows 系统下，实现了水印 的生成、嵌入以及性能评估，并对实验结果进行分析和总结。 本文主要有以下工作： （1）阐述了数字视频水印基本理论，分析了视频水印基本系统模型； （2）介绍了h.264压缩编码标准的原理和关键技术； （3）完成了对h.264编解码标准参考模型jm代码的分析、调试，为压缩域视频水印 算法实现奠定基础； （4）给出了一种基于h.264视频水印版权保护的算法，并给出实验仿真结果。 全文结构安排如下： 第一章 绪论：阐述了课题的研究背景，简单介绍了数字水印的概念及应用。 第二章 数字视频水印算法概述：首先介绍了视频数字水印的应用领域，然后对数 字水印基本框架、视频数字水印的性能要求及分类、指标等进行介绍。 第三章 h.264视频编码标准概述：首先概述了h.264编码标准，然后详细介绍了 h.264压缩编码原理的关键技术，尤其是编解码器部分流程和整数变换与量化。 第四章 h.264编解码软件分析：介绍了h.264视频编解码jm10.2代码的一些基本概 念，详细分析了jm10.2中视频编码部分源码，解释了编码过程中的关键函数，并给出了 核心文件lencode.c的主程序流程图和码片编码流程图，为第五章视频水印算法嵌入做 了准备工作。 第五章 基于h.264视频编解码标准的版权保护水印算法： 对现有视频水印noorkami 算法进行了分析，并根据h.264视频标准的编码特点，提出了一种适用于版权保护的视 频水印算法，详细描述了该算法的设计思想、改进思路，对水印的生成，嵌入过程进行 了详细说明，在此基础上通过h.264标准的参考模型jm软件进行水印算法嵌入的仿真， 并对性能测试结果做了分析。 第六章 结论：总结全文工作，并指出了今后进一步研究的内容和方向。 西安科技大学硕士学位论文 6 2 数字视频水印算法概述 2.1 数字水印概念及分类 （1）数字水印的概念 数字水印是信息隐藏技术的一个分支。它的基本思想是将秘密信息嵌入到数字图 像、音频、视频、文档等数字对象中，用于实现数字产品的版权保护、真伪鉴定、完整 性认证、盗版跟踪等功能。秘密信息可以是版权标志、用户序列号、产品特征信息等。 一般地，秘密信息需要经过预处理后才形成水印信息。通常称变换后的秘密信息为数字 水印（digital watermark）可以定义水印信息为如下的信号： ii w wwoi 0,1,2 n 1， 其中，n表示水印长度，o表示值域。o可以是二值形式，o =0，11317或-1，1 或-r，r1820等，也可以是高斯白噪声2125，通常记为n(0，1)，这是cox26首先提出 的一个重要建议。水印信号不仅可以是一维序列，也可以是二维矩阵，甚至是三维或高 维信号，这通常要求根据载体对象来确定。如音频对应一维，静止图像对应二维，动态 图像（视频）对应三维。一般地，可以把高维水印信号表示为一维信号，统一用上述公 式表示。 （2）数字水印技术的分类 从不同的角度，数字水印技术可有不同的分类： 按照水印信息有无意义分类 按照水印信息有无意义可以分为两类：无意义水印信息和有意义水印信息。 无意义水印信息主要指伪随机序列。常见的有m序列、m序列、和r-s序列，但 狭义上人们认为伪随机序列就是二值m序列。一方面，伪随机序列是在密钥的控制下 生成的，非法者很难生成相同的序列，如果能够产生相同的随机序列，那么就认为这个 人就拥有相应的密钥，也就判定是合法者。因此，伪随机信息具有一定的安全性，可以 作为标志版权信息水印来使用。另一个方面，伪随机序列具有良好的自相关特点，可以 利用相关检测方法进行有效的水印检测。 有意义水印信息是指水印本身也是某个数字图像（如商标图像）或数字音频片段的 编码，有意义水印的优势在于，如果由于受到攻击或其他原因致使解码后的水印破损， 人们仍然可以通过视觉观察确认是否有水印。 按水印嵌入域分类 主要可分为空域方法和变换域方法。空域方法是直接在载体信号空间叠加水印信 息。如在频域中改变系数lsb水印。变换域方法是在载体信号的某个变换域上进行水印 2 数字视频水印算法概述 7 嵌入。如dct域，小波域等。 按水印使用的密钥分类 若嵌入和提取采用相同密钥控制，则称其为对称水印，也称私钥水印，否则称为非 对称水印也称为公钥水印。目前的水印算法主要是对称水印。 按检测时需要的辅助信息分类 分为非盲水印、半盲水印及盲水印。若检测时需要使用原始载体信息、水印信息和 密钥就是非盲水印， 若只需要水印信息和密钥就是半盲水印， 若只需密钥， 则是盲水印。 目前，大多数水印算法为半盲和盲水印。 按水印特性分类 可以分为鲁棒水印和脆弱水印（易碎水印）两类。鲁棒水印能够经受各种有意或无 意的攻击，可用于数字内容的版权保护。脆弱水印对于载体信号的操作比较敏感，脆弱 水印可用于载体的篡改提示及内容认证等。 按水印的可见性分类 分为可见水印和不可见水印。可见水印是指视觉上或听觉上可感知的，如电视台台 标就是一种可见水印。不可见水印就是在视觉上或听觉上不可感知的。目前研究较多的 是不可见水印。 按水印载体分类 可分为图像水印、音频水印、视频水印、文档水印等。 按水印内容分类 可分为有意义和无意义水印。有意义水印是指水印信息本身也是某个图像（产品商 标）；无意义水印则是指水印信息是一个序列号或一个伪随机数。在检测时，如果水印 受到一定攻击，有意义水印可以通过人的感知系统得到判断，而无意义水印则需要通过 机器统计来判断水印存在与否。 2.2 数字水印系统和特性 数字水印系统包括嵌入器和检测器两大部分27。嵌入器至少具有两个输入量：秘密 信息和载体作品。期中秘密信息通过适当变换后作为待嵌入的水印信号。水印嵌入器的 输出结果为含水印的载体作品，通常用于传输和转录。然后，该作品或另外一个未经过 这个嵌入器的作品可作为水印检测器的输入量。 大多数检测器试图尽可能地判断出水印 是否存在，若存在则输出为所嵌入的水印信号。图2.1和图2.2给出了数字水印处理系统 基本框架的示意图。它可以分为8个部分（m，i，w， k，g，em， d， ex），分别定 义如下： 西安科技大学硕士学位论文 8 图 2.1 数字水印嵌入系统基本框架 水印检测 算法d 含水印 产品 提取水印w 水印提取算法ex 检测水印 有或无 图 2.2 数字水印提取系统基本框架 m代表所有可能的秘密信息m的集合； i 代表所要保护的数字产品的集合； w代表所有可能的水印信号w的集合； k代表水印密钥k的集合； g 代表利用秘密信息m、密钥k和数字产品i共同生成水印的算法，即 g: mik w， w= g（m ，i， k） 其中，原始数字产品不一定参与水印生成过程，因此2.1中用虚线表示。 e m表示将水印w嵌入数字产品i 中的嵌入算法，即 em：iwi， i= em（i，w） 这里i是原始产品，i是含水印产品。为提高安全性，有时在嵌入算法中含嵌入密钥。 e x表示水印提取算法，即 xx e :i kw, wei,k 一般而言，水印系统常见有4种特性。每种特性的相对重要性取决于应用要求和水 印所起的作用，甚至对水印的解释也会随着应用场合变化。与水印嵌入过程有关的特性 主要有：嵌入有效性和信息容量；与检测过程有关的特性主要有：盲检测、明检测、和 2 数字视频水印算法概述 9 鲁棒性。下面介绍这些特性的具体意义。 （1）有效性 水印系统的有效性是指水印嵌入器的输出含有水印的概率， 即在水印嵌入后马上检 测的到肯定结果的概率。水印系统的有效性可以通过分析确定，也可以根据在大量测试 图像集合中嵌入水印的实际结果确定。只要集合中的图像数够大，而且相同应用条件下 图像实验结果的数据分布类似， 输出图像中检测出水印的百分比就可以近似为有效性的 概率。 （2）信息容量（数据容量） 水印系统的信息容量（数据容量）是指单位时间或一件数字作品中能嵌入水印的比 特数。对视频而言，信息容量既可以指嵌入在每一帧图像中的比特数，也可以指每秒嵌 入的比特数。 （3）明检测和盲检测 明检测分两种，第一种是指需要原始作品（不含水印）信息的检测。第二种是指只 需少量原始作品（不含水印）信息而不需要整件原始作品参与的检测。相反，把那些不 需要原始作品任何信息的检测称为盲检测。 水印系统使用明检测还是盲检测决定了他是 否适合某一种具体场合的应用。明检测只能够用于得到原始作品的场合28。 （4）鲁棒性 鲁棒性是指在经过常规信号处理操作后能检测出水印的能力。 常规的信号处理操作 主要有：空间滤波、有损压缩、复印打印、几何变换、视频转码等。 2.3 数字视频水印嵌入提取方案 下面根据水印技术与数字视频编码系统结合方式的分类方法进行讨论，即基于原始 视频域水印算法和基于压缩域视频水印算法， 而基于压缩域视频水印算法又可以分为内 置式水印算法和后置式水印算法。如图2.2所示方案一即基于原始域视频水印算法29， 方案二、方案三分别为基于压缩域的内置式水印算法30和后置式水印算法31。 图2.232中虚线表示在压缩视频中嵌入和提取水印，既可以在视频编码器中进行， 也可以作为单独的模块，直接在编码视频流上进行。前者需要修改视频码流过程，在编 码器中加入水印嵌入和提取的功能，适用于可以直接介入视频编码过程的情况。比如： 采用自己的编码器， 对摄像头捕捉的原始视频流进行编码。 后者不需要修改视频编码器， 但是需要对视频流进行分析，在压缩码流中找到适合嵌入水印的数据并完成水印的嵌 入，适用于不能直接介入视频编码过程，而只能得到编码视频流的情况。比如，在第三 方制作的编码视频流中嵌入版权信息。 西安科技大学硕士学位论文 10 图 2.2 视频水印嵌入提取方案 2.4 数字视频水印的性能评估 水印系统的评估主要包括两个方面透明性和鲁棒性，而这两者一般是相互矛盾的。 水印的嵌入量、嵌入强度、图像大小等对水印的鲁棒性都有影响。通常，水印嵌入的越 多，嵌入强度越大，鲁棒性越好，但是透明性就越差。所以在设计水印算法时，要对这 两者综合考虑。为了使性能评估有效，必须在各种不同的测试图像集中进行测试。以下 是经常使用的一些视频水印的评估参数： （1）主观评估指标 主观度量方法是观察者本人通过对视频、图像、声音等多媒体信息进行观测给出的 评价32。国际电信联盟（itu）在iturbt.5001133协议中详细给出了图像质量评 价过程和标准，包括信号源、测试环境、测试人员的选择、多种测试方法、测试过程等， 共有多页的描述。其中一种测试方法是评价对视频或图像质量损害的可感知程度，并用 5个等级来定义其质量。 国际电信联盟（itu）在itur bt.5001133协议中推荐使用平均主观得分法来 评价接收者感知的媒体质量。做法通常是给接收者播放一段视频，接收者采用5分制评 价。其中5分为很好，4分为好，3分为中，2分为差，1分为不可接受。记录他们的评 分，然后对所有评论者的评分进行统计，得出平均分作为评价结果。这种方法为接收媒 体质量提供了定量指标，但是对流媒体而言，这种评价方法存在着弊端必须有接收 者参与。这将花费大量的人力和时间，并且这种方法不能避免主观因素的影响。 （2）均方误差mse（mean square error） 原始视频流 视频编 码器 视频解 码器 编码视频流 解码视频流 原始视频 水印嵌入 压缩视频 水印嵌入 压缩视频 水印检测 压缩视频 水印检测 水印嵌入 方法一 水印嵌入 方法二 水印嵌入 方法三 水印提取 方法三 水印提取 方法二 水印提取 方法一 2 数字视频水印算法概述 11 均方差常常在统计过程当中使用，是一种非常有效的统计特性指数。反映估计量与 被估计量之间差异程度的一种度量。均方差公式如下： 2 r mseef i, jfi, j （2.1） 式（2.1）中f(i，j)为原始视频帧的像素值，fr(i，j)是嵌入水印后视频帧的像素值。 （3）信噪比snr（signal-to-noise ratio） 信噪比就是在信号处理过程中，有用信号与噪声功率的比值。snr的单位是分贝 (db)，通常使用的视频序列格式为yuv格式(4:2:0)，所以snr值反映在三个分量的平均 值上，即snry、snru和snrv。它们是h.264视频压缩标准的jm10.2参考软件中视频质量 的衡量指标。 信噪比公式如下： 10 snr20log mse （2.2） 其中， m 1 n 1 2 2 i 0 j 0 1 f mn （i,j）-y， m 1 n 1 r i 0 j 0 1 f (i, j) mn y= y是添加水印后视频帧像素值的平均值，m，n分别是视频帧的宽和高。 （4）峰值信噪比 psnr（peak signal-to-noise ratio） 它度量嵌入水印的能力，其值越高，透明性越好26。视频在传播过程中，通常是以 压缩格式存在的。经过压缩后的各帧图像相对于原始视频帧要损失一部分信息，所以通 常人们用psnr值来衡量压缩帧与原始帧之间的相似度，从而得出压缩编码对于视频视 觉质量的影响。同样，在原始域中嵌入水印的视频，psnr直接反映水印对原始视频的 影响：而在压缩域中嵌入水印的视频，psnr反映出水印和压缩编码对原始视频的影响。 因此，无论采用哪种方法嵌入水印，psnr都反映水印对视频视觉质量的影响程度，成 为衡量视频水印系统性能好坏的一个重要参数。 如果i代表原始图像，i代表含水印图像， 则psnr计算公式为： 2 j n 1i m 1 2 i 0j 0 mn max i psnr10log10 i i, ji i, j （2.3） 其中 2 mn max i 表示视频像素能取的最大值，m，n分别是视频帧的宽和高。psnr 的单位是分贝(db)， 通常使用的视频序列格式为yuv格式(4:2:0)， 所以psnr值反映在三 个分量的平均值上，即psnry、psnru和psnrv。 （5）相关系数 nc（normalized correlation） 西安科技大学硕士学位论文 12 常用来计算提取的水印图像与原始水印图像之间的相似性，计算公式为26： j n 1i m 1 i 0j 0 j n 1i m 1 2 i 0j 0 w i, j w i, j nc w i, j （2.4） 其中，w表示原始水印图像，w表示提取出的水印图像，m，n分别是视频帧的宽 和高。 3 h.264 视频编码标准概述 13 3 h.264 视频编码标准概述 3.1 h.264 视频编码标准的发展过程 从1948年提出电视信号可以数字化以来，图像压缩编码技术已有50多年的历史， 不仅在理论研究上取得了重大进步，而且在实际应用中也取得了很大成果。近10年来， 图像编码技术得到了迅速发展和广泛应用，并且日趋成熟，其标志是多个关于图像编码 的国际标准的制定，即国际标准化组织（iso）和国际电工委员会（iec）关于静止图像 的编码标准jpeg/jpeg2000，关于活动图像的编码标准mpeg-1、mpeg-2、mpeg-4 等，以及国际电信联盟（itu）制定的视频编码标准h.26x系列。这些标准融合了各种 性能优良的图像编码算法，代表了目前图像编码技术的发展水平34。 h.261视频编码标准是最早出现的实用的视频编码建议，目的是规范isdn上的会 议电视和可视电话应用中的视频编码技术。 它采用的算法结合了可减少时间冗余的帧间 预测和可减少空间冗余的dct变换的混合编码方法，和isdn信道相匹配。 h.262视频编码标准也相当于mpeg-2，1995年由itu与iso/iec联合开发，目前 这个标准已经成功地应用在dvd（数字化视频光盘） 、标准清晰度电视（sdtv） 、高清 晰度电视（hdtv）等诸多领域。 h.263视频编码标准是专为中高质量运动图像设计的低码率图像压缩标准。 与h.261 的传码率相比，h.263的码率更低，并且支持的原始图像格式更多。h.263的编码速度 快，其设计编码延时不超过150ms；码率低，在512k乃至384k带宽下仍可得到满意 的图像效果，十分适用于需要双向编解码并传输的场合（如：可视电话）和网络条件不 是很好的场合（如：远程监控） 。 h.264/ avc标准是国际上最新的图像编码标准。它被itu命名为h.264，iso/iec 则将此标准称为国际标准14496-10（mpeg-4的第十部分） 先进视频编码avc（advanced video coding） 。是1995年自mpeg-2视频压缩标准发布以后的最新、最有前途的视频 压缩标准。h.264是由itu和iso/iec的联合开发组共同开发的最新国际视频编码标准。 通过该标准， 在同等图象质量下的压缩效率比以前的标准提高了2倍以上， 因此，h.264 被普遍认为是最有影响力的行业标准。 h.264和以前的标准一样，也是dpcm加变换编码的混合编码模式。但它采用了简 洁设计，不用众多的选项，获得比h.263更好的压缩性能；加强了对各种信道的适应能 力，采用“网络友好”的结构和语法，有利于对误码和丢包的处理；应用目标范围较宽， 以满足不同速率、不同解析度以及不同传输（存储）场合的需求；它的基本系统是开放 西安科技大学硕士学位论文 14 的，使用无需版权。 图3.1表示了视频编码标准发展历程，由图可见，图像压缩标准可分为两大系列： mpeg-x和h.26x。mpeg-x是iso/iec提出的标准，h.264是由itu提出的。 图 3.1 视频编码国际标准发展历程 在技术上，h.264标准中有改进之处，比如统一的vlc符号编码，高精度、多模式 的唯一估计，基于44块的整数变换，以及分层的编码语法等。这些措施使得h.264算 法具有很高的编码效率，在相同的重建图像质量下，能够比h.263节约50%左右的比特 率。h.264的码流结构对网络的适应性强，增加了差错恢复能力，能够很好地适应ip和 无线网络的应用。 3.2 h.264 标准中的基本概念 （1）场和帧 视频的一场或一帧可用来产生一个编码图像。通常，视频帧可以分成两种类型：连 续或隔行视频帧。在电视中，为减少大面积闪烁现象，把一帧分成两个隔行的场。显然， 这时场内邻行之间的时间相关性较强，而帧内邻近行空间相关性强，因此活动量较小或 静止的图像宜采用帧编码方式，对活动量较大的运动图像则宜采用场编码方式。 （2）宏块 宏块（macro block，mb） ：一个编码图像首先要划分成多个宏块才能进行处理， 通常一个宏块由一个大小为1616亮度像素和附加的一个88cb和一个88cr彩色像素 块组成，在一幅图像中，多个宏块被排列成片的形式。宏块分为i、p、b宏块，i宏块 只能利用当前片中已解码的像素作为参考进行帧内预测， 不能用其他片中的已经解码的 像素作为参考；p宏块可以利用前面已解码的图像作为参考图像进行帧内预测；b宏块 则是利用前后向的参考图形进行帧内预测。 3 h.264 视频编码标准概述 15 （3）片和片组 片（slice） ：一帧视频图像可编码成一个或者多个片，每片包含整数个宏块，即每片 至少一个宏块，最多时包含整个图像的宏块，一幅图中每片的宏块数不一定固定。 片的目的是为了限制误码的传输和扩散，使编码片相互间保持独立。片共有5种类 型：i片（只包含i宏块） 、p片（p和i宏块） 、b片（b和i宏块） 、sp片（用于不同 编码流之间的切换）和si片（特殊类型的编码宏块） 。 片的句法结构如图3.2所示。其中，片头规定了片的类型、该片属于哪个图像、有 关的参考图像等；片的数据包含一系列的编码宏块，和跳编码数据。每个宏块包含头单 元和残差数据。 图 3.2 片的语法结构 片组：一个编码图像中若干宏块的一个子集，包含一个或若干个片。一般一个片组 中，每片的宏块是按光栅扫描次序进行编码的，如果每幅图像仅仅取一个片组，则该图 像中所有的宏块均按光栅扫描次序被编码，除非使用任意片次序（aso） ，即一个编码 帧中的片之后可跟随任一解码程序的片。 或者另外一种片组灵活宏块次序（fmo） ，它用灵活的方法把编码的宏块映射 到相应的片组中。 （4）档次和级 h.264的基本部分规定了三种主要档次，每个档次支持一组特定的编码功能，并支 持一类特定的应用。 基本档次：利用i片和p片支持帧内和帧间编码，支持利用基于上下文的自 适应的变长编码进行的熵编码（cavlc） 。在h.264的cavlc中，通过根据 以编码句法元素的情况，动态调整编码中使用的码表，取得了极高的压缩比。 主要用于可视电话、会议电视、无线通信等实时视频通信。 主要档次：支持隔行视频，采用b片的帧间编码和采用加权预测的帧间编码； 支持利用基于上下文的自适应算术编码（cabac） 。主要用于数字广播电视 西安科技大学硕士学位论文 16 与数字视频存储。 扩展档次：支持码流之间有效的切换（sp和si片） 、改进误码性能（数据分 割） ，但不支持隔行视频和cabac。 （5）编码数据格式 h.264的视频格式 h.264支持4：2：0的连续或隔行视频的编码和解码，缺省的4：2：0的取样格式如3.3 所示。 图 3.3 4：2：0 连续视频取样格式 图 3.4 4：2：2 连续视频取样格式 图 3.5 4：4：4 连续视频取样格式 h.264的编码格式 h.264的功能分为两层：视频编码层（vcl，video coding layer）和网络提取层 （nal，natwork abstraction layer） 。vcl数据即编码处理的输出，它表示被压缩后的 视频数据序列。在vcl数据传输或存储之前，这些编码的vcl数据，先被映射或封装 3 h.264 视频编码标准概述 17 进nal单元中。 每个nal单元包括一个原始字节序列负荷（rbsp，raw byte sequence payload） 、 一组对应于视频编码数据的nal头信息。nal单元序列的结构如图3.6所示。 图 3.6 nal 单元序列 3.3 h.264 编/解码器 （1）h.264编码器 编码器采用的是变换编码和预测编码的混合编码。在图3.7中，输入的帧或场fn 以宏块为单位被编码器处理。首先，按帧内或帧间预测编码的方法进行处理。 图 3.7 h.264 编码器 如果采用帧间预测编码， 其预测值p是由当前片中前面以编码的参考图像经运动补 偿（mc）后得出。其中参考图像用fn-1表示。为了提高预测精度，从而提高压缩比， 实际的参考图像可在过去或未来（显示次序）以编码解码重建和滤波的帧中进行选择。 预测值p和当前块相减后，产生一个残差块dn，经块变换、量化后产生一组量化 后的变换系数x，再经过熵编码，与解码所需的一些头信息（如预测模式量化参数、运 动矢量等）一起组成一个压缩后的码流，经nal（网络自适应层）供传输和存储用。 为了提供进一步预测用的参考图像，编码器必须有重建图像的功能。因此必须使残 差图像经过反量化、反变换后得到的dn与预测值p相加，得到ufn（未经滤波的帧） 。 为了去除编解码环路中产生的噪声，提高参考帧的图像质量，从而提高压缩图像性能， 西安科技大学硕士学位论文 18 设置了一个环路滤波器，滤波后的输出fn即重建图像，可用作参考图像。 （2）h.264解码器 在图3.7中，由编码器的nal输出一个压缩后的h.264压缩比特流。在图3.8中经 熵解码得到量化后的一组变换系数x，再经过反量化、反变换，得到残差dn。利用从 该比特流中解码出的头信息，解码器就产生一个预测块p，它和编码器中的原始p是相 同的。当该解码器产生的p与残差dn相加后，就产生ufn，再经滤波后，最后就得到 滤波后的fn，这个fn就是最后的解码输出图像。 图 3.8 h.264 解码器 3.4 整数变换与量化 为了节省图像传输码率，需要对图像信号进行压缩，通常采用变换编码及量化来消 除图像信号中的相关性及减小图像编码的动态范围。 变换编码将图像时域信号变换成频 域信号，在频域中，图像信号能量大部分集中在低频区，相对时域信号，码率有较大下 降。在h.264中对图像或预测残差采用了44整数离散余弦变换技术，避免了以往标准 中使用的通用的88离散余弦变换、逆变换经常出现的失配问题。量化过程中，根据图 像的动态范围大小来确定量化参数，既保留了图像必要的细节，又可减少码流。 在图像编码中，变换编码和量化从原理上讲是两个独立的过程。但在h.264中，将 两个过程中的乘法合二为一，并进一步采用整数运算，减少编解码的运算量，提高图像 压缩的实时性，这些措施对峰值信噪比（psnr）的影响很小，可以忽略不计。h.264 中整数变换及量化的具体过程如图3.9和3.10所示。其中，如果输入块是色度块或帧内 1616预测模式的亮度块，则将宏块中各44块的整数余弦