（电路与系统专业论文）网络多媒体数字水印技术研究.pdf

摘要 随着信息时代的到来，信息资源在国民经济及国防建设等各个领域起着越来 越重宴的作用。多媒体信息存储与传输技术的进步，尤其是国际互联网( i n t e r n e t ) 的广泛应用，使得保护数字多媒体信息的知识产权就变得十分迫切习数字水印技 术为包括多媒体信息在内的数字数据信息的版权保护提供了个科学而有效的 方法。 笔者在对图象、视频压缩编码技术，h v s ( h u m a n v i s u a ls y s t e m ) 特性，伪 随机编码技术等研究的基础上，给出了适用于多媒体信息中m p e g 2 视频数据 和静态数字图象的空间频域水印嵌入提取方法。在视频数据水印嵌入方法中， 将图象空间域的l s b ( l o w e s ts i g n i f i c a n tb i t ) 算法思想应用于m p e g 。2 视频的 空间频域，在中频部分适当选择水印数据嵌入的频率位置及力度，以获得较高的 效率及水印数据嵌入率。对待嵌入的水印图象，应用码控位交换法和数字数据加 ，。，_ - _ - _ 一 乱器进行伪随机处理，不仅能消除水印模板的空间相关性，而且提高了水印的隐 秘性和鲁棒性。另外，已嵌入水印的视频数据流比特率基本不变。 f 在图象水印嵌入方法中，根据h v s 特性，通过在不同类型图象块d c t 域不 同中频系数嵌入不同强度水印，从而使得在嵌入相同水印数据条件下，已嵌入水 印的图象有较好的主观效果。 在给出上述水印嵌入提取方法的基础上，我们在p c 机上实现了一个适用于 m p e g 一2 视频数据、数字图象的水印嵌入提取实验性软件系统。该系统可以方 便地进行水印的嵌入，提取及视频回放。 上述方法已在一台p e n t i u mi i 计算机上进行了验证。结果表明文中所述水印 嵌入方法思想新颖，方法可靠，实用性较强。水印嵌入方法效率较高，有一定的 抗干扰，抗攻击性能。有较好的主观效果及较好的鲁棒性。j 夕? a b s t r a c t w i t ht h ec o m i n go fi n f o r m a t i o ne r a ，i n f o r m a t i o nr e s o u r c eh a sb e e nm o r ea n d m o r ei m p o r t a n ti nt h ec o n s t r u c t i o no fn a t i o n a le c o n o m i c sa n dn a t i o n a ld e f e n s e i ti s t h ep r o g r e s so f s t o r ea n dt r a n s f e r st e c h n o l o g yo f m u l t i m e d i a , e s p e c i a l l yt h ep r e v a i l i n g o fi n t e m e t ，t h a tm a k e st h ec o p y r i g h tp r o t e c t i o no fm u l t i m e d i av e r yi n s i s t e n t d i g i t a l w a t e r m a r k i n gt e c h n o l o g yp r o v i d e s f ls c i e n t i f i ca n de f f e c t i v em e t h o dt op r o t e c tt h e d i g i t a ld a t ai n c l u d i n gm u l t i m e d i a a f t e rr e s e a r c h i n gi nt h ef i e l d s ：i m a g ea n dv i d e oc o m p r e s s i n ga n dc o d et e c h n o l o g y , s p e c i a lc h a r a c t e ro fh v s ，p s e u d o r a n d o mc o d et e c h n o l o g y , e t c ，t h ea u t h o rp r o p o s e d t h ee m b e d d i n g e x t r a c t i n gm e t h o d si ns p a t i a lf r e q u e n c yd o m a i na b o u tm p e g - 2v i d e o d a t aa n ds t i l li m a g ed a t a w ea p p l yt h el s b a l g o r i t h mo f s t i l li m a g ei ns p a t i a ld o m a i n t om p e g 一2v i d e oi n s p a t i a lf r e q u e n c yd o m a i n w es e l e c ta p p r o p r i a t ee m b e d d i n g p o s i t i o n sa n ds t r e n g t ho fw a t e r m a r k i n gd a t ai nm i d - f r e q u e n c yd o m a i ni no r d e rt o o b t a i nh i g he f f i c i e n c ya n dh i g hb i t r a t eo fw a t e r m a r k i n g t h eo r i g i n a lw a t e r m a r k i m a g ew a sp s e u d o r a n d o mb yc o d e c o n t r o ls w i t c hm e t h o da n dd i g i t a ld a t ar a n d o m m e t h o d t h e s ek i n d so f m e t h o d sn o to n l ya v o i ds p a t i a lr e l a t i v i t y , b u ta l s oi m p r o v et h e s e c u r i t ya n dr o b u s t n e s so fw a t e r m a r k i na d d i t i o n ，t h ew a t e r m a r k e dv i d e oh a st h e s a m eb i t r a t ew i mt h eu n w a t e r m a r k e dv i d e o f o r i m a g ew a t e r m a r k i n gm e t h o d s ，w ee m b e dd i f f e r e n ts t r e n g t hw a t e r m a r ki n d i f f e r e n tm i d - f r e q u e n c yo fd i f f e r e n tk i n d so f i m a g eb l o c kb a s e do nt h ec h a r a c t e ro f h v s s ou n d e rt h es a m ec o n d i t i o no fe m b e d d i n gw a t e r m a r kd a t a ，t h ee m b e d d e d i m a g e h a st h eb e r e r s u b j e c t i v ee f f e c t b a s eo nt h ew a t e r m a r ke m b e d d i n g e x t r a c t i n g m e t h o d s ，w er e a l i z eas o f t w a r e s y s t e mf o rm p e g - 2v i d e od a t aa n dd i g i t a li m a g ew a t e r m a r k i n g t h es y s t e mc a n e a s i l ye m b e d a n de x t r a c tw a t e r m a r k w eh a v ev a l i d a t e dt h ea l g o r i t h mm e n t i o n e da b o v eo nap e n t i u m1 ic o m p u t e r t h e r e s u l t ss h o wt h a tt h ew a t e r m a r k i n gm e t h o di s n o v e l ，r e l i a b l ea n da p p l i c a b l e t h e e m b e d d i n gm e t h o di se f f i c i e n ta n dh a ss o m ea n t i - j a m m i n g ，a n t i a r a c k i n gc a p a b i l i t y i ta l s oh a v e g o o ds u b j e c t i v ee f f e c ta n dr o b u s t n e s s 致谢 回想三年的硕士研究生生活，首先要特别感谢我的导师程义民教授的悉心 指导。程老师治学严谨，思想活跃；认真负责，平易近人，使我受益匪浅。他不 仅在学业上给予我许多指导，而且从他身上我学到了很多做人的道理，处世的经 验。程老师谆谆教导，将使我终身受益。 其次，我要感谢王以孝老师，感谢他真诚的勉励以及学术上精心指导。是 他的关心，使我可以专心的学习和研究。 我还要衷心的感谢电子科学与技术系的戴蓓倩教授，郭立教授，庄镇泉教 授，以及我的班主任朱领娣老师，他们在学术和生活上对我的关心令我难以忘。怀。 他们辛勤工作的态度和无私奉献的精神永远值得我学习。 另外，我要感澍实验室一起工作的王春声、蔡尚书、段鸿、陆红琳、施建 国、朱建国、田源和李先忠同学，还有已经毕业了的沈勇、张海宏、傅庆东和许 文杰等师兄，从他们那里我学到了许多知识，与他们的讨论开拓了我的视野，丰 富了我的知识面。 我还要感谢我的家人及朋友，在漫长的求学之路上，是他们给了我精神上 和物质上的强力支持，使我能够克服前进道路上一个又一个困难。 第一帝 引言 第一章引 言 水印作为一种版权标识和保护的技术有着悠久的历史，按其载体主要可以分 为两类：纸水印和数字水印技术。 纸水印作为一种工艺出现在大约7 0 0 年前。现存最早的带水印的纸张可追溯 到1 2 9 2 年，产自于意大利的f a b i r a n o ，那里被认为是水印的诞生地。在1 3 世纪 末有大约4 0 家造纸作坊分享f a b i r a n o 的纸张市场，他们生产不同版式、质量以 及不同价值的纸张。原始的、粗糙的纸张，经过手工艺人加工，然后由商人销售。 不仅仅在造纸作坊之间，在手工艺人之间和商人之间也存在着激烈的竞争，常需 追溯纸张的源地从而进一步鉴定纸张的版式、质量。水印技术的出现及应用为标 识纸张源地，版式，保护品牌起到了很好的作用，从而促进了造纸技术的发展。 水印技术一经发明就得到了广泛的传播。尽管一开始水印是用于标识纸张的 品牌以及造纸作坊的，但它们后来也被用于标识纸张版式、质量、强度、生产日 期等，并用于鉴定纸张。 随着数字多媒体信息应用与传播的飞速增长，个人计算机及互联网使数字媒 体信息的传播与应用变得更快，更方便，如何保护这些数字媒体信息的知识产权 就变得很迫切。数字水印技术在这种形势下应运而生。 数字图象水印思想最早出现于1 9 9 0 年，但直到1 9 9 5 1 9 9 6 年，数字水印技 术_ 才引起相当的关注。从c a r o n n i 于1 9 9 3 年【2 j 将数字水印技术用于图象，到现在 的短短几年，已有不少著名大学和研究机构投入相当大的人力和财力，致力于该 项技术的研究，并取得了一定的成果f 1 8 l 。 1 9 9 5 年b r a s s i l 3 j 【4 】【5 】等人提出了三种不同的向文本中嵌入信息的方法：行移 位编码、词移位编码和特征编码。在行移位编码中，将文本中某些单一的行向上 或向下移动很小的距离，信息就是通过这种方式嵌入的。同理，词移位编码通过 水平移位来改变连续单词之问的空隙，从而嵌入信息。( 这两种方法只适合于格 式化的文件和位图形式的文本) 。第三种方法就是轻微地改变某些字符的特征。 1 9 9 5 年b e n d e r l 6 j 等人提出了一种相位编码方法应用于音频水印。该方法以 相位信息作为数据空间，应用f o u r i e r 变换，通过改变每个频率分量的相位来嵌 入水印信息，这是因为人的h a s ( h u m a na u d i os y s t e m ) 对相位的变化不敏感。 1 9 9 6 年c o x i7 】等人提出了一种从扩频通讯技术发展起来的水印技术，其水印的检 第一帝 引言 测是通过相关运算实现的。1 9 9 7 年j o r d a n 【8 】等人提出了将信息嵌入运动补偿方 案中的运动矢量的压缩视频水印方法。1 9 9 8 年l i n n a r t zf 9 j 等人提出了一个向 m p e g 一2 压缩视频的g o p ( g r o u p o f p i c t u r e ) 结构中嵌入水印的方法。通过有意使 用不规则的g o p 结构来嵌入信息。此方案只适用于压缩过程中，因为压缩过后， g o p 结构就固定了。1 9 9 9 年c h i o u t i n gh s u t 加等人提出了一种通过有选择性地 改变图象的中频部分来把视觉上可视的图案嵌入到图象中。此技术成功地经受住 了图象处理操作，图象剪切以及j p e g 有损压缩。1 9 9 8 年h a r t u n g 】等人采用直 接扩频方法将水印嵌入到视频中，水印被处理为与视频信号具有相同维数的 p n 伊s e u d o r a n d o mn o i s e ) 数据流。每个比特都被冗余地嵌入到许多象素中。 国内于九十年代后期开始开展水印研究，一般都集中于静态图象数字水印技 术。中国科学院自动化研究所的刘瑞祯，谭铁牛提出了一种基于奇异值分解的数 字图象水印方法【1 2 j ，哈工大的几位研究人员提出了一种基于灰度等级数字水印的 多分辨率视频水印算法1 1 3 】，汕头大学的黄继武1 4 1 提出了一种自适应图像水印算 法。 为了给数字媒体提供版权保护发展了两种互补的技术：加密和数字水印。加 密技术使数据在传输时变得不可读，可以给处于从发送到接收过程中的数据提供 有效的保护，但加密技术所能提供的保护其实是有限的或者说是不完全的，因为 一旦在接收端被解码后，这种保护就不存在了。数字水印技术正好弥补了加密技 术的这一不足，它通过将一不可感知的信号( 水印) 直接嵌入到数据中，可以为 解码的数据提供进一步的保护。在不明显影响数字媒体信息质量的情况下很难将 这科，水印信号从数据中移去。因而可以通过在水印中包含作者的相关信息来达到 保护版权的目的。另外，也可以用来跟踪数据信息流失的源头，这种方法又称为 指纹技术。在这种情况下，媒体提供者将与客户i d 相关的信息( 如序列号) 嵌 入到媒体数据的拷贝中，如果发现非法拷贝，例如在i n t e r n e t 上，则很容易确定 是哪位客户违反了授权协议将媒体数据提供给第三方。水印信号还可以用于控制 数字复制设备，因为它能指示某一数据能否被复制，当然，这种情况下，录制设 备必须配备水印检测器。其他水印技术的应用还有广播自动监测系统，数据鉴定 以及隐秘信息传输等。 纸水印，数字水印的相似之处是显而易见的，实际上，正是纸币和邮票上 2 翌二翌 一一一型里 的水印【15 i 导致了“水印”这个术语用于数字媒体。 水印算法的实现可以分为两类：空域方法和变换域方法( 如d c t ，d f t ， d w t ) ，从综合性能分析，变换域的方法更优越，目前占据了主要地位。 多媒体信息数据量大，特别是视频信息，一般都是以压缩方式存储和传输， 因此直接在压缩域实现多媒体数字数字水印有着重要的意义。本文分析了多媒体 水印技术的一般性框架，主要探讨了数字多媒体水印技术中视频水印技术和图象 水印技术。将图象水印中的l s b ( l o w e s ts i g n i f i c a n tb i t ) 算法思想【3 6 】应用到 m p e g 2 视频水印技术中，给出了一种高效的，具有一定抗攻击能力的视频水印 算法，泼算法与m p e g - 2 编码标准兼容，水印数据率较高。 另外，本文对c h i o u t i n gh s u l l 0 i 等人提出的图象水印算法进行了改进，充分 利用人眼的视觉特性，给出了一种有较好主观效果及较好鲁棒性的图象水印嵌入 提取方法。 论文的结构安排为：第一章引言，第二章网络视频数字水印基本要求，第三 章介绍m p e g 2 视频编码，第四章伪随机编码及视觉原理与模型，第五章一种基 于位流的视频水印算法，第六章一种基于块分类的图象数字水印算法，第七章实 验及结果，第八章为结论。 第二章 隔络多媒体数字水印基本要求 第二章网络多媒体数字水印基本要求 随着多媒体信息存储与传输技术的进步，以及国际互联网( i n t e r n e t ) 技术的 发展，数字多媒体信息应用迅速增长，版权保护问题便臼显突出。网络多媒体数 字水印技术为保护知识产权和多媒体技术的健康发展而提出现的一项新技术。 2 1 网络多媒体 多媒体系统一般分为单机多媒体系统和分布式多媒体系统，由于在分布式多 媒体系统中必然要用到网络，所以又称为网络多媒体系统，网络视频就属于网络 多媒体系统的一部分。 多媒体系统中需要通信的原因可以分为两大类1 1 6 j ： 支持真正的网络应用。很多多媒体应用系统用于提供远程通信服务，例如多 媒体电子邮件、视频会议以及音频视频的分组交换广播发送。 实现客户机服务器模型。即使是支持面向单机系统的多媒体，使用客户机 服务器模型也是非常有效的，在这类系统中，把资源( 多媒体存储能力) 集 中到服务器存放，有利于资源共享，多媒体表示系统可以远程访问服务器上 的内容。 典型的网络多媒体应用的例子有：视频会议系统，多媒体电子邮件，多媒体 文档交换，协同编著系统，视频点播，远程多媒体数据库，远程计算机辅助教学， 协同c a d 等。网络多媒体应用有许多共同特征，但对其他应用来说这些特征又 是多媒体应用所特有的：需要实时传输连续媒体的信息；要交换的数据量比较大， 因而连续媒体信息需要编码；许多应用都是面向分布式的，特别是服务于居民时 ( 如v o d 系统) 。 2 2 数字水印基本技术 作为密码学的补充，数字水印技术将一秘密的、不可感知的信号( 数字水印) 直接嵌入到原始数据中，并保持它的存在。 一般来说，对数据加水印的处理可看成是由两部分组成的通讯任务： ( 1 ) 水印的嵌入。此过程将水印信号在原始信号上进行调制。为了能成功地提 取水印信号，算法必须对故意或非故意的袭击和失真( 相当于信道噪声) 具有鲁棒性。 ( 2 ) 水印的检取。此步骤从接收的信号或修改的信号中提取出水印。 笙三至 塑塑圭塑竺墼圭查空苎查窭苎 在设计一个水印系统时有以下几个主要问题： 水印信号的设计。一般水印信号w 依赖于密钥k 和水印信息i ： w = i o ( i ，i ( ) ； 有时，水印信号还依赖于用于嵌入水印的数据( 宿主数据) x ： w = i o ( i ，k x ) ； 嵌入方法的设计。将水印信号w 嵌入宿主数据x 得到嵌入了水印的数据y y = ，i ( x ，w ) ； 相应提取算法的设计。分为需要原未嵌入水印的数据x ： i = g ( x ，y l ( ) ； 和不需要原未嵌入水印的数据x ： i = g ( y ，k ) ； 图2 1 表示水印的一般嵌入方案。输入为宿主数据、水印、以及密钥( 通常 是随机数发生器的种子) 。根据应用的不同，宿主数据可以是未压缩的或压缩的， 现有的大部分算法都是针对未压缩数据的。水印可以是数字，文本以及图象等。 密钥是为了增强安全性。输出为嵌入了水印的数据。图2 2 表示水印的一般提取 方案。输入为嵌入了水印的数据，密钥，另外根据算法的不同，输入还可能包括 未嵌入水印的宿主数据及原水印。输出为提取出的水印或某种置信度测量。 水印 宿主数据 嵌入了水印的数据 密钥 一i 图2 1 水印的一般嵌入方案 水印或原数据一一 测试数据+ i i i ；i ；e i p 困水印或置信度测量 测试数据叫数字水嵌入l 水印或置信度测量 【_ 一 密钥 一： 图2 2 水印的一般提取方案 按输入和输出的不同，有以下几种典型的水印系统： ( 1 ) 私有水印：其检测至少要提供原始数据。一种类型是从可能已被修改的数 塑三童 一塑塑墼兰塑薹奎里翌 据中提取水印，并用原数据作为提示寻找在测试数据中何处可能有水印。另 一种类型的检测过程还要求使用内嵌水印的副本，并对问题“待测数据中是 否包含水印”作出r 是或“否”的回答。由于其提供的信息少，并要求检 测者能得到保密的材料，故此方法可望比其他方法具有更强的鲁棒性。 ( 2 ) 半私有水印：其检测不需要原数据，但须回答同样的问题，即“待测数据 中是否包含水印”。私有水印和半私有水印的唯一用途似乎是在法庭上提供 证据来证明产品的所有者及其对应用的控制权。近期文献大部分属于此类 范畴。 ( 3 ) 公有水印( 盲水印) ：其检测既不需要保密的原数据，也不要求内嵌的水印。 此系统从可能已被修改的图象中提取n 比特水印信息。公有水印应用范围要 比其他算法广泛的多。 ( 4 ) 不对称的水印( 公钥水印) ：任何用户能看到但不能去掉的水印。 数字水印可以用于以下目的： 版权保护( c o p y r i g h tp r o t e c t i o n ) ：为了保护知识产权，数据拥有者可以在他的 数据中嵌入个代表版权信息的水印，当有人侵犯他的版权时，这个水印可 以在法庭上证明他的所有权。 指纹技术( f i n g e r p r i n t i n g ) ：为了跟踪非法拷贝的来源，所有者可以采用指纹 技术，在这种情况下，所有者可以在提供给不同消费者的拷贝中嵌入不同的 水印，如与消费者i d 相关的序列号。它可以使知识产权所有者确定是那个 消费者破坏了许可协议，将数据提供给了第三方。 拷贝保护( c o p yp r o t e c t i o n ) ：存储在水印中的信息可以直接用来控制数字录制 设备，用于拷贝保护。这种情况下，水印提供了一个禁止拷贝的标识位，录 制设备中的水印检测器判断提供给录制设备的数据能否被存储、拷贝。 广播监钡i ( b m a d c a s tm o n i t o r i n g ) ：通过在商业广告中嵌入水印，自动监测系统 能确定广告是否按合同进行了广播。另外，付费电视也可以通过广播检测进 行保护，如新闻节目等，广播监测系统能检测所有的广播频道，并根据检测 结果向电视台收费。 数据鉴定( d a t aa u t h e n t i c a t i o n ) ：易碎水印可用于检测数据的真实性。易碎水 印显示数据是否被修改，并提供数据被修改的定位信息。 笙三! 旦塑兰堡竺茎兰查旦墨查墨生 数字水印技术不仅仅用于保护目的，其他应用包括： 弓 ( i n d e x i n g ) ：将注解嵌入视频，如电影、新闻节目等，这些注解作为索引 能用于搜索引擎。 医学安全( m e d i c a ls a f e t y ) ：将数据和病人姓名嵌入医学图象中是一个有用的、 安全的方法。 数据隐藏( d a t ah i d i n g ) ：水印技术可以用来传输秘密的私人信息。因为许多政 府限制加密服务的使用，人们可以将他们的消息隐藏在其他数据中。 2 3 网络多媒体数字水印的主要特性 每一种水印应用都有各自的特殊要求，因此没有一个统一的要求能满足所有 的水印技术。不过大多数数字水印应用都具有以下一些要求和特性： 1 统计和视觉不可见性( 即不显著性) 。在绝大多数应用中，数字水印的嵌入应 不会引起原始数据质量的明显下降。如果人无法分辨原数据和嵌入了水印的 数据，则水印的嵌入过程是真正不可感知的。但即使是对原数据进行极微小 的改变，当用原数据和嵌入了水印的数据比较时，这种改变也会变得明显。 由于用户一般不会获得原始数据，所以他们也就不能进行这种比较，所以在 不和原数据比较的情况下，嵌入水印的影响不可感知就足够了。 2 容易提取。数据所有者应该能很容易地提取水印。 3 水印的信息量。存储在水印中的信息总量依赖于应用。对于拷贝保护，只需 要l b i t 的信息就足够了。 4 鲁棒性。用于证明真实性的易碎水印并不需要对信号处理技术和有意破坏宿 主数据( h o s td a t a ) 具有鲁棒性，因为如果检测不到水印则证明宿主数据已 被修改，不再真实。但对于其他应用，则要求袭击者难于用信号处理技术、 失真和多次加水印等来破坏、删除水印或伪造数据的版权标记。 5 确定性。一般水印应能充分可靠地证明所有者对特定产品的所有权。 6 安全性。水印技术的安全性可以被解释为与加密技术的安全性类似，假设用 于加密数据的方法是公开的，安全性在于密钥的选择。因此如果仅知道水印 的嵌入算法，而不知道密钥，未授权方不能检测出水印的水印技术才是真正 安全的。 对于网络视频数字水印技术还要求：该数字水印技术的水印嵌入和提取不应 笙三童 塑笪童塑堡塑! 查旦苎查曼翌 太复杂，这有两个原因，首先它们应能被实时处理，另外因为他们用于消费产品， 故应廉价，这也就是说将压缩域数据完全解压，嵌入水印，再将数据压缩不是一 种可选的方案。应该将水印信号直接嵌入压缩数据中。不仅如此t 嵌入水印后不 明显改变视频流的大小也很重要。例如如果压缩的m p e g 一2 视频流的大小增大 了，则在固定数据率的信道中传输就会出现问题，如解码的缓存可能会溢出，或 者破坏了音频和视频的同步。 2 4 网络多媒体数字水印可能面临的攻击 数字水印对数字媒体版权的保护作用有可能由于受到有意或无意的攻击而 削弱。对于数字水印的袭击一般有两种基本形式：( 1 ) 改变数据使内嵌于其中的 版权标记无法辨认，即降低检测水印的可能性：( 2 ) 降低水印作为指示合法所有 权的能力，使内嵌标记不能作为可靠的识别工具。因此，要使水印算法在多媒体 环境下有效和切实可行，版权标记必须具有鲁棒性。对水印技术的鲁棒性要求意 味着水印应该能抵抗常见的信号处理变换、几何失真及在数据中重复加水印的混 淆、伪造等袭击。 对于视频来说，应能抵抗常见的视频操作，如剪辑，特技操作等。 2 5 网络多媒体数字水印面临的难点 到目前为止，人们对数字水印技术的原理仍不是很清楚，还没有一个统一的 理论指导。很难评价一个水印技术的优劣。文献中给出的一些方法只是给出了一 些评价水印算法的指导方针。更多的研究和标准化需要更科学的评价系统。在评 价时，应将些性能因素考虑在内，如视觉可见性，水印负载，水印复杂度以及 鲁棒性等。问题是不同应用要求各个性能因素权重不同以及对可视性和鲁棒性的 定义不同，如某个水印算法对一种标准的视频处理技术具有鲁棒性，但可能对其 他视频处理技术不具有鲁棒性。现存和将来的有损压缩技术，各种水印攻击技术 极大地限制了水印算法用于可靠传输水印信息的带宽，与此形成对照的是现在的 水印应用要求水印能存储尽可能多的水印信息。为了解决这个矛盾，结合人眼视 觉特性是一个可行的途径。另外，网络视频水印的应用要求实时处理，如何将这 几个方面结合起来，仍是一个难点。 8 第三章 j p e g 与m p e g 编码及解码 第三章j p e g 与m p e g 编码及解码 多媒体数据在工业生产、国防建设及人类社会活动中有着重要的作用，图象 及视频信息是多媒体信息的重要组成部分。为了有效地将数字水印嵌入图象或视 频数据，有必要首先了解图象及视频数据的主要压缩编码技术。 3 1j p e g 编码算法 j p e g 标准由i t u ( 正式名为c c i t t ) _ 乖i i s o 联合开发，定义于1 9 9 1 年3 月 提出的i s oc d l 0 9 1 8 号建议草案【1 9 1 。草案主要包括如下几个内容：基本系统 提供顺序扫描重建的图像，实现信息有丢失的图像压缩，而重建图像的质量要达 到难以观察出图像操作的要求。扩展系统选用累进工作方式，编码过程采用有 自适应能力的算术编码。无失真的预测编码，采用帧内预测编码及哈夫曼编码 ( 或算术编码) ，可保证重建图像数据与原始图像数据完全相同( 即均方误差等于 零1 。 为了满足各种需要，j p e g 制定了四种工作模式2 0 】：顺序( s e q u e n t i a l ) 编 码：从左到右，从上到下扫描信号，为每个图像元素编码；累进( p r o g r e s s i v e ) 编码：对变换时间长的扫描器，按照山粗到细的过程，以复合扫描顺序进行图像 编码；无损编码：保证准确恢复图像所有样本值的图像编码，但是它的压缩比 较低；分层编码：以多种分辨率进行图像编码，可以直接获得低分辨率图像， 根据需要对图像进行复原。 j p e g 标准采用混合编码方法，并定义了两种基本压缩算法：一种是基于空 间线性预测技术，即d p c m 无损压缩算法：另一种是基于d c t 的有损压缩算法， 并进一步应用行程编码和熵编码。 一、无损预测编码压缩算法 源图像数据 无失真编码嚣 表说明 图3 1 无损压缩编码器框图 为了满足无损压缩的要求，j p e g 选用了一个简单的空间线性预测技术 9 第三章 p e g 与m p e g 编码及解码 d p c m 算法，其编码器的框图如图3 1 所示。 c占 图3 2 三邻域预测 表3 1 三邻域预测公式 选择值预测 0 1a 2b 3c 4a + b + c 5 a + ( ( b c ) 2 ) 这种编码方法具有硬件容易实现、重建图像质量好的优点。图3 2 给出了一 个有三邻域采样值( a b ，c ) r c j 示, 意图。以x 表示该的预测值，x 为该点的实际值， 从x 可以得到一个差值，再对差值进行无损的熵编码。预测值可以从表3 1 中的选择值中进行选择，如选择1 、2 、3 是进行一维预测，而选择4 、5 、6 、7 则是二维预测。对于一般的彩色图像，无损编码和解码可以达到2 ：1 的压缩比。 二、基于d c t 的有损压缩编码 嚣圈像数据 广一一一一一一一一一一一一一一一1 i d c t 填码器i 压缩后的图像数据 表说明ii 表说明 图3 3 基于d c t 的编码过程 压缩后的图像数据 箍；孬j 袭说明ij 衰说明 并图像数据 图3 4 基于d c t 的解码过程 基于d c t 的有损压缩编码算法包括两个不同层次的系统：一个是基本系统， 采用顺序工作方式编码技术，利用哈夫曼编码方法；另一个是扩展系统，采用累 进工作方式。它是基本系统的扩充和增强，采用了有自适应能力的算术编码。图 1 0 塑三至型型型唑 3 3 给出了编码过程，图3 4 给出了解码过程。 图3 3 和图3 4 表示的是一个单分量图象的压缩编码和解码过程。对于彩色 图像，可以看成是对多个分量进行压缩和解压缩。 1 d c t 变换 j p e g 将源数据图像分成8 8 大小的子块，然后进行d c t 变换。编码器的 输入端把原始图像按照8 8 顺序地分割成多个小块，同时将原始图像的采样数 据从无符号整数变成有符号整数。也就是说。如果采样精度为p 位，即采样数 据在【0 ，2 p 4 i 范围内，则把它变换到卜2 p 。，2 p - 。_ 1 j 范围内，用它来作为d c t 的 输入。在解码器的输出端经过逆d c t 变换后，得到一系列8 x 8 的图像数据块， 需要将其数值范围由卜2 p 。1 ，2 p - 11 1 再变换i 亘1 o ，2 p 4 】范围内的无符号整数，这样 才能够重新恢复图像。 d c t 有相应的快速变换，它把8 8 块不断分成更小的无交叠子块，直接对 数据块进行运算操作，可以减少加和乘的次数。 原始的图像数据块经过d c t 变换后，输出6 4 个d c t 变换系数。这6 4 个 变换系数中包括一个d c 系数，代表直流分量，它位于频域图像块的左上角，另 有6 3 个a c 系数，代表交流分量。离直流分量越远，系数所代表的图像交流成 分的频率越高，也就是说，随着行、列的增加数所代表的交流成分的频率也增加。 2 量化处理 为了达到压缩数据的目的，对d c t 系数c ( u ，v ) 需要作量化处理。量化处理 是一个多到一的映射，它是造成d c t 编码，解码信息失真的主要原因【2 翔。 3 d c 系数的编码和a c 系数的行程编码 6 4 个变换系数经过量化处理后，坐标u = v = - o 是直流分量d c 系数，它是 6 4 个空间域图像采样值的平均值。其余6 3 个系数均为a c 分量，量化后通常出 现较多的0 值。相邻8 x 8 块之间的d c 系数有较强的相关性，因此j p e g 中对 d c 系数采用d p c m 编码，其余的6 3 个a c 系数采用行程编码。 4 熵编码 经过d p c m 编码的直流项和经过行程编码的交流项仍然具有进一步压缩的 潜力。j p e g 建议使用两种基于统计特性的熵编码：哈夫曼编码和自适应二进制 算术编码。可以任选一种编码对第一个字节进行编码，第二个字节( 表示幅值) 不 苎三皇 旦坐竺型量坠盟 作编码，直接传送实际的编码值。若使用哈夫曼编码，j p e g 提供了针对d c 系 数、a c 系数使用的哈夫曼编码表，对亮度分量和色度分量分别给出了不同的哈 夫曼编码表。 5 压缩比和图像质量 基于d c t 的j p e g 标准的压缩是有失真的，d c t 变换后系数的量化是引起失真 的主要原因。另外，压缩效果与图像内容本身有着较大的关系。 3 2m p e g - 2 编码与解码标准 3 2 1 概述 运动图象及其伴音通用的压缩编码技术是多媒体计算机、多媒体数据库、多 媒体通讯、常规电视数字化、高清晰度电视( h d t v ) 以及交互式电视( i n t e r a c t i v e t v ) 系统中的关键技术。m p e g 2 与m p e g - 1 一样，是为数字视听信号准备的 压缩方法。m p e g 一2 视频允许数据速率高达1 0 0 m b i t s s 并且也支持隔行扫描视 频格式和许多高级性能，包括支持高清晰度电视( h d t v ) 。m p e g 2 视频可用于 卫星，电缆和其他广播信道的数字视频传输。它建立在已有的m p e g - 1 标准上， 由i s o i e c ( 1 3 8 1 8 2 f 2 1 】) 和i t u ( h 2 6 2 2 2 】) 联手开发。 m p e g 一2 视频标准的技术规范集包括5 类( p r o f i l e ) 4 级( 1 e v e l ) 组成，并 采用分级编码。如表3 2 所示。表中，图像清晰度由低到高逐级提高，使用的编 码工具从简单到高级依次递增。2 0 个可能的组合中有11 个已获通过，称为m p e g 一2 适用点，其中主类主级m p m l 适用于标准数字电视，主类高级m p h l 则用于 高清晰度电视。 表3 2m p e g 一2 视频规范( 表中空白栏为未定义项) 类 s n r 可分级类空间可分级类高级类( b 帧， 码率 简单类( 无b主类( b 帧， ( b 帧，s n r( b 帧，空间或空间或s n r 可 帧，不可分 不可分级) 级别 级)分级)s n r 可分级)分级) 高级1 ( 1 9 2 0 1 1 5 2 x 6 0 ) 8 0 m b p s1 0 0 m b p s 高级2 ( 1 4 4 0 1 1 5 2 6 0 ) 6 0 m b p s6 0 m b p s8 0 m b p s 主级( 7 2 0 5 7 6 6 0 ) 1 5 m b p s1 5 m b p s1 5 m b p s一 2 0 m b p s 低级( 3 5 2 2 8 8 6 0 ) 4 m b p s一 4 m b p s 笙三翌 ! 哟坚生翌羔塑生塑 所谓类是指m p e g 一2 的不同处理方法，每一类都包括压缩和处理方法的一个 集合。不同的类意味着使用不同集合的码率压缩工具。越高的类编码越精细，而 每升高一类将提供前一类没有使用的附加工具，当然实现的代价会更高。而解码 器却是向下兼容的，任何一种高级类解码器，均应能解码用低级类方法编码的图 像。m p e g 一2 共分5 类：简单类s p ( s i m p l ep r o f i l e ) ；主类m p ( m a i n p r o f i l e ) ， 它比简单类增加了一种双向预测方法，在相同比特率的情况下，将给出比简单类 更好的图像；信噪比可分级类s n r p ( s n rs c a l e a b l ep r o f i l e ) ；空间可分级类 s p p ( s p a t i a l l ys c a l e a b l ep r o f i l e ) 和高级类t i p ( h i g hp r o f i l e ) 。前两种可 分级工具允许将编码的视频数据分为基本层和上层信号。基本层表示编码图像的 基本数据，但代表的图像质量低；上层信号则可用来改进信噪比或清晰度。这就 意味着有时解码器可以忽略比特流中的增强部分，而只解码比特流中的基本部 分，仍可得到有用的图像序列，只不过此时所得的图像分辨率低一些，或者帧速 率低一些，或者质量低一些。 现有数字电视广播系统就利用了m p e g - 2 的这种可分级性，使数字信号能同 时覆盖接收条件好的和接收条件差的地区，并使能接收和不能接收的区域过渡更 为平滑，同时粗编码的低层信号可以有较强的抗干扰能力，可以有更大的覆盖范 围。 另外，m p e g 一2 除向下兼容目前已有的标准( m p e g 1 与h 2 6 1 ) # - ，与 m p e g - 1 相比，m p e g 一2 还具有以下特点： ( 1 ) 宏块层有多种y 、c b 、c r 构成方法。根据不同的y 、c b 、c r 的比例， m p e g 2 有4 ：2 ：0 、4 ：2 ：2 、4 ：4 ：4 三种方法。 按c c i r 6 0 1 建议的数字电视有效区是7 2 0 x 5 7 6 ，2 5 帧，因此压缩编码前的 数码率为 4 ：2 ：2 ：7 2 0 x 5 7 6 x 2 5 x 8 + 3 6 0 x 5 7 6 x 2 5 x ( 8 + 8 ) = 1 6 6 m b s 4 ：2 ：o ：7 2 0 x 5 7 6 x 2 5 x 8 + 3 6 0 x 2 8 8 x 2 5 x ( 8 + 8 ) = 1 2 4 m b s m p e g 2 对标准清晰度4 ：2 ：0 的视频可以压缩到约3 1 5 m b s ，在其低端 会有损失，对于数字地面广播( 标准清晰度) 在6 m b s 时图象质量和传输带宽 利用率之间得到兼顾。 ( 2 ) m p e g 2 有两组量化表和两组h u f f m a n 码表供选择。 铳= 童 j p e g 与m p e g 编码及解码 ( 3 ) 针对隔行扫描的常规电视图象，专门设置了按“帧编码”和按“场编 码”两种模式，并采用了适合于隔行扫描的帧，场自适应运动补偿。 ( 4 ) 根据技术复杂度，将各类应用划分为不同的“层次”( p r o f i l e ) ，每种 层次又划分为不同的“等级”( 1 e v e l ) ，每种等级都是对有关参数规定的约束条件。 主要层次，主要等级用m p m l 表示，适用于有效处理c c i r r e c6 0 1 隔行扫描， 分辨率为7 2 0 象素x 5 7 6 行。 ( 5 ) 增加“可分级性”( s c a l a b i l i t y ) ，指解码器对m p e g 2 码流中已排序的 子集进行解码的能力。例如，对常规电视按m p e g 2 压缩后的码流若分成两个子 集，对优先权高的子集解码后即可获得会议电视质量的图象，而对两个子集一起 解码d 能获得常规电视质量的图象。已定的可分级性有空间域的、信噪比的、时 间域的、数据分割的和混合型的。 ( 6 ) 系统语法有较大扩展。m p e g 2 将原来m p e g l 的系统层语法加以改 进，扩展为两类码流：传送码流( t r a n s p o r ts l r e a m ) 和程序码流( p r o g r a m s t r e a m ) ，两者都由压缩后的视频或音频数据( 加辅助数据) 以分组形式构成。 前者的灵活性较大，允许使用复接器对数据进行快速的重新组合或分离，提供几 个程序多路传输功能，并设计成应用于有误码环境，因而可在通讯网络如a t m 上传输。后者应用与相对无误码的环境中，适合支持程序信息的软件处理或 d v d 、c d r o m 之类的多媒体存储回放应用。由于在字头作了很多详细规定， 使用起来较为方便灵活，可对每个分组设置优先级、加密，解密或加扰，解扰、插 入多利懈说声音和字幕等。 m p e g 2 的系统编码有两种方法：传送流和程序流。两种流定义都是面向分 组的多路复用流。根据i t u tr e c h 2 6 2 1 1 s o i e c l 3 8 1 8 2 和i s o i e c l 3 8 1