（计算机应用技术专业论文）鲁棒性数字音频水印算法研究.pdf

摘要 音频压缩技术的成熟和互联网的普及使得对音频作品的保护变得日益重要。 在一个充满了竞争对手的商业环境中设计一个鲁棒且安全的数字音频水印系统 是一项十分困难的工作。对音频水印技术来说，时间域上的同步攻击是一个极具 挑战性的公开研究难题，本论文主要致力于设计能够有效抵抗这些同步攻击的鲁 棒性数字音频水印算法。而且，还以我们开发的算法为基准，详细研究了纠错码 技术在各种音频信号处理、同步攻击以及音频水印系统鲁棒性标准测试工具 s t i r m a r k f o r a u d i o 的攻击下对水印检测器性能的影响。 随机剪切( r a n d o mc r o p p i n g ) 、抖动攻击( j i t t e r i n g ) 、变调( p i t c hs h i f t i n g ) 、保 持音调不变的时间缩放t s m ( t i m es c a l em o d i f i c a t i o n ) 是数字音频水印技术中十 分典型的几种时间域同步攻击方法。与m p 3 音频压缩、低通滤波等常规的音频 信号处理攻击相比，同步攻击更加难以抵抗，已经成为研究界的一个公开难题。 在本论文中我们设计了两大系列鲁棒性数字音频水印算法，其主要目的是对各种 同步攻击进行高强度的抵抗。第一系列算法基于恒定水印的思想，在离散小波 域寻找在各种音频信号处理和同步攻击下都能保持基本稳定的物理量用于水印 的嵌入和检测。而且，基于该算法进行了大量实验，研究纠错码( 重复码和b c h 码) 对提高水印检测性能的作用，并给出了有效使用纠错码的几条规则。第二系 列算法是基于隐含同步思想开发的局部化音频水印技术。首先根据不同的方法选 择出代表音乐边缘的许多小的局部区域，然后在这些区域中重复嵌入完全相同的 水印比特序列。这些区域通常对应于鼓等打击乐器，对音乐的节奏、感情等具有 极大的影响。一般说来，为了保持高的音频质量，这些区域即使经历音频信号处 理和同步攻击也不会有太大变化。这样，水印不仅可以在与嵌入几乎相同的区域 中进行检测，而且还可以躲避各种音频信号处理和同步攻击。本质上，这种算法 依赖于水印嵌入区域在各种攻击下的稳定性，检测水印前首先利用这种性质进行 隐含同步。 关键字：鲁棒音频水印，恒定水印，隐含同步，纠错码 a b s t r a c t t h en e e dt op r o t e c ta u d i ow o r k sh a sb e c o m e i n c r e a s i n g l yi m p o r t a n td u e t ot h em a t u r e o fa u d i oc o m p r e s s i o nt e c h n i q u e sa n dt h ep r o l i f e r a t i o no ft h ei n t e r n e t i ti s av e r y c h a l l e n g i n gw o r k t od e s i g nar o b u s ta n ds e c u r ew a t e r m a r k i n ga l g o r i t h mi na h o s t i l e e n v i r o n m e n tf u l lo f p o t e n t i a la d v e r s a r i e s t h i st h e s i si sm a i n l yc o n c e r n i n gr e s o l v i n g t h et i m e d o m a i ns y n c h r o n i z a t i o np r o b l e m sw h i c ha r er e g a r d o dt h em o s t c h a l l e n g i n g a t t a c k st oa u d i ow a t e r m a r k i n gt e c h n i q u e s a l s o ，i t i n v e s t i g a t e dt h ee f f e c to f e r r o r c o r r e c t i o nc o d i n go nt h eb a s e l i n ea u d i ow a t e r m a r k i n ga l g o r i t h mw e p r o p o s e du n d e r v a r i o u sa u d i os i g n a lp r o c e s s i n g , s y n c h r o n i z a t i o na t t a c k s ，a n dd i s t o r t i o n si n t r o d u c e di n s t i r m a r kf o ra u d i o r a n d o m c r o p p i n g ( i n c l u d i n gj i r e r i n g ) a n dt i m e - s c a l em o d i f i c a t i o n ( t s v 0a r ev e r y t y p i c a la n dc h a l l e n g i n gs y n c h r o n i z a t i o na t t a c k st oa u d i ow a t e r m a r k i n gt e c h n i q u e s c o m p a r e dw i t hc o m m o n a u d i os i g n a lp r o c e s s i n ga t t a c k ss u c h 船m p 3 c o m p r e s s i o n 1 0 w - p a s sf i l t e r i n ge t c ，廿l e y 撇m o r e d i f f i c u l tt o m a n a g e t os o l v e t h e s eo p e n p r o b l e m s ，t w os e r i e so f n o v e la l g o r i t h m sw e r e c a r e f u l l yd e s i g n e da n dd e v e l o p e d t h e f i r s ts e r i e so f a l g o r i t h m sa r ea i m i n ga tt m d i n gs o m ep h y s i c a lv a l u e so nt h ed i s c r e t e w a v e l e tt r a n s f o r m a t i o nd o m a i na c t i n ga s “i n v a r i a n tw a t e r m a r k ，w h i c hs h o u l db e r a t h e rs t a b l eu n d e rc o m m o na u d i os i g n a lp r o c e s s i n ga n ds y n c h r o n i z a t i o na t t a c k s b a s e do nt h e p r o p o s e da l g o r i t h m ，e x t e n s i v ee x p e r i m e n t s w e r e p e r f o r m e d t o i n v e s t i g a t et h ei m p a c to f e r r o rc o r r e c t i o nc o d e s ( r e p e t i t i o nc o d ea n db c h c o d e ) o n i m p r o v i n gw a t e r m a r kd e t e c t i o ne f f i c i e n c y s e v e r a lp r i n c i p l e sw e r eg i v e no nh o w t o u s ee r r o rc o r r e c t i o nc o d e sm o r ee f f i c i e n t l y t h es e c o n ds e r i e so f a l g o r i t h m sa r eb a s e d o nl o c a l i z e dw a t e r m a r k i n gt e c h n i q u e t h ew a t e r m a r ki sr e p e a t e d l ye m b e d d e di n t o s e l e c t e de m b e d d i n gr e g i o n st h a tr e p r e s e n tm u s i c e d g e sa c c o r d i n g t od i f f e r e n tm e t h o d s t h e s er e g i o n su s u a l l yc o r r e s p o n dt op e r c u s s i o ni n s t r u m e n t sl i k ed r u m sa n dc a na f f e c t t h ea u d i t o r yq u a l i t yo fm u s i cg r e a t l y g e n e r a l l ys p e a k i n g ，t h e s er e g i o n sw i l ln o tb e c h a n g e dm u c h a f t e ru n d e r g o i n ga u d i os i g n a lp r o c e s s i n ga n ds y n c h r o n i z a t i o na t t a c k s i nt h i sw a y t h ew a t e r m a r kc a nn o to n l yb ed e t e c t e di nr e g i o n st h a ta l ea l m o s tt h e g a m ea st h ee m b e d d i n go r e sb u tc a na l s ob ee x p e c t e dt oe x e m p tf r o md i f f e r e n tk i n d s o f d i s t o r t i o n s b yn a t u r e ，t h i ss e r i e so fa l g o r i t h m sd e p e n d o nt h ei n v a r i a n c ep r o p e r t y o f t h e s er e g i o n s ，i e i m p l i c i ts y n c h r o n i z a t i o n k e yw o r d s ：r o b u s td i g i t a l a u d i o w a t e r m a r k i n g ，i n v a r i a n tw a t e r m a r k , i m p l i c i t s y n c h r o n i z a t i o n ，e r r o r c o r r e c t i o nc o d e 望兰苎兰塑兰兰焦笙苎一 塑兰童塑查望垫查旦塞 第一章绪论 近年来，数字多媒体技术及互联网的迅猛发展使得图像、视频和音频等多种 形式的多媒体数字作品的创作、存储和传输都变得极其便利。以m p 3 为代表的网 络音乐在互联网上广泛传播就是得益于数字音频压缩技术的成熟。但是，i n t e m e t 上肆无忌惮的复制和传播盗版音乐制品，使得艺术作品的作者和发行者的利益受 到极大损害。在这种背景下，能够有效地实行版权保护的数字水印( d i g i t a l w a t e r m a r k i n g ) 技术应运而生。 数字水印技术是一个新兴的交叉学科，成为当前一个热门的研究领域，聚集 了来自通信、信息论、密码学、图像，视频膺频处理等各个领域的学者。许多相 关领域的方法如扩频技术【l 】，独立元分析i c a 2 ，3 1 ，主成分分析p c a 4 等都已 经被引用到数字水印技术的研究中。除了保护常规的图像、视频、音频作品，数 字水印还可以用来保护一些不太常见的数字媒体【5 - 1 0 】。 1 1 数字音频水印技术的定义和性质 一个完整的数字音频水印系统的框架如图1 1 所示 1 1 1 。 图1 1 数字音频水印系统 从理论的角度看，数字水印技术与通信系统十分类似。音频作品视为信道， 水印视为待传输的信号。许多通信领域的理论和技术可以有效地应用到信息隐藏 及数字水印技术中，但一个水印信道和一个经典的通信信道还是有重要区别的： ( 1 ) 由各种信号处理以及攻击引起的噪声本质十分不同而且难以建模描述。 ( 2 ) 对水印信号的约束是由人的感知系统决定的，这比传统通信中简单的b 模型 复杂得多而且至今尚未被人们完全理解。这些区别使通信理论和信息论中的很多 复旦大学博士学位论文 数字音频水印技术研究 理论结果难以直接应用到水印技术中。 到目前为止，数字音频水印技术还没有一个公认的定义。一般说来，它是一 种在不影响原始音频质量的条件下向其中嵌入具有特定意义且易于提取信息的 技术。根据应用目的不同，被嵌入的信息可以是版权标识符、作品序列号、文字 ( 如艺术家和歌曲的名字) 、甚至是一个小的图像【1 2 】或- - 4 , 段音频【1 3 】等。水印与 原始音频数据紧密结合并隐藏在其中，通常是不可听到的，而且能够抵抗一般信 号处理和盗版者的某些恶意攻击。与传统密码学相比，水印一直存在于宿主信号 中，可以一直对数字作品提供保护，而采用传统加密手段保护的媒体在解密之后 就不再受到任何保护。 数字水印技术一般可以分为鲁棒数字水印技术和脆弱数字水印技术两类。鲁 棒数字水印主要用于在数字作品中标识著作权信息，如作者、作品序号等，它要 求嵌入的水印能够经受各种常规的编辑处理；脆弱数字水印则主要用于完整性保 护，与鲁棒水印的要求相反，它必须对信号的改动很敏感，人们可以根据脆弱水 印的状态判断数据是否被篡改过。本文主要研究用于保护版权的鲁棒性数字音频 水印技术，致力于抵抗时间域上的同步攻击。 理论上，一个成功的数字音频水印系统需要具备以下一些性质 1 4 ，1 5 】： f 1 ) 水印必须嵌入到宿主音频数据中，而不能存储于文件头或单独的文件，否 则可以很轻易地被除去或改变。 ( 2 ) 水印不应对原始音频的声音质量产生可听到的失真，即应具有透明性。 f 3 1 水印在统计上必须具有不可检测性，防止攻击者逆向嵌入过程来除去水印。 f 钔水印必须具有一定的鲁棒性，能抵抗宿主音频信号上的压缩、滤波、重采 样、重量化、剪切、加噪声等一般信号处理。 f 5 1 水印应易于提取，嵌入和检测的计算量要低，以方便其集成到一般电子产 品中。 闻水印算法必须具备某种同步机制，以对抗时间域上的同步攻击。 m 原则上水印的检测不应需要原始音频，即实现盲检测，因为寻找原始音频 是十分困难的。 ( 8 )水印算法应该公开，安全性最好依赖于密钥而不是算法的秘密性。 设计一个音频水印系统使以上所有目标都达到最优很困难，有些性质如鲁棒 性和透明性之间就是互相冲突的。水印系统试图平衡这些要求，尽量使每一个郡 得到足够的满足，而不显著地影响其它要求。 与数字i 圉像和视频水印技术相比，数字音频水印技术面临着更大的挑战。一 方面是因为人类听觉系统h a s a 胁m 锄a u d i t o l ys y s t e m ) 对随机噪声十分敏感，使 可以嵌入的水印数据量非常有限；另一方面在互联网上可以自由得到众多的音频 编辑工具对数字音频的结构进行修改，从而对水印的生存构成了巨大的威胁。 1 2 数字音频水印技术的应用 这里我们介绍数字水印技术的六种典型应用即：版权保护、广播监控、认证、 指纹鉴别、拷贝控制、标注 3 0 ，3 1 1 ，并简要介绍针对各种应用的设计要求。 ( 1 ) 版权保护 一个标志作品所有权的水印被嵌入到媒体数据中，成为其不可分割的一个部 分。水印只为版权所有者所知，并且能够抵抗常规的信号处理和蓄意攻击。水印 检测必须具有较小的错误率，没有二义性，并保持尽可能小的虚警率，而水印容 量即嵌入的数据量不必很大。目前已有许多用于版权保护的音频水印算法 【1 6 - 2 2 】。 ( 2 ) 广播监控 在电视或电台广播中，广告通常是一个电台的重要收入来源，电台借着将广 告时段提供给广告商播放广告来收取费用，而广告商当然也希望电台确实将广告 依时段播出。音乐家或演员也会要求电台在播放他们作品时能够付给他们应得的 版税，版权所有者也希望能确实监控是否有未授权的电台播放他们的作品。 技术上可以将各不相同的数字水印嵌入到各个影片或音乐片段中，并设立一 个自动监控的接收站，用以接收监控电台播放的影片或声音等媒体，并自动在媒 体中搜寻这个唯一的数字水印，这样便可以确切知道这些媒体被播放的时间、次 数等相关信息。图1 2 描述了一个完整的用于广播监控的数字音频水印系统的框 架。 3 复旦大学博士学位论文 数字音频水印技术研究 图1 2 数字音频水印技术用于广播监控系统框图 实际上用于商业应用的水印系统已经存在了多年，类似概念也有了较长历史 【2 3 ，2 4 】。例如l i q u i d 公司在1 9 9 8 年发布了用于保护音乐作品的音频水印技术， 通过检测水印可以显示歌曲是何时何地被何人下载。n a k a m u r a 等【2 5 】在2 0 0 0 年 提出一种自动监视无线广播的音频水印技术，可以跟踪音乐在何时被播放多长时 间。 ( 3 ) 认证或篡改检测 认证在密码学中已得到完备的研究。f r i e d m a n 2 6 ，2 7 1 首次提出通过计算与图 像相关的密码签名来将认证用于产生“可信赖的相机”。即使图像只有一个比特被 改变，那么计算出来的签名也无法与原始签名相腰配，这样对图像的任何改变都 可以被检测到。但是数字签名必须和图像一起传输，比如存放在某种图像格式的 文件头中。但是如果图像拷贝到另一种不包含该文件头的格式，签名就会丢失， 认证也就不再有效 一种更可取的办法是采用水印技术把辅助数据预先嵌入到源数据中，然后通 过水印来判断宿主数据是否已被篡改，这种方式不需要额外保持数据签名。此外， 任何对源数据的改变也会作用到水印上，这也使我们可以更多地了解篡改是如何 进行的。在认证应用中，没有必要对除去水印或使之无法检测的攻击保持高的鲁 棒性，因为这不是攻击者的兴趣所在。但是，在一个已被篡改的媒体数据中伪造 一个用于认证的水印是必须要防止的。在实际应用中，还希望能够定位篡改区域， 并且区分保持内容操作( 如中等强度的m p 3 压缩) 和恶意篡改。一般来说为了满 足这些需要，嵌入容量必须要大，检测必须在没有原始媒体数据的情况下进行。 - 4 _ 皇皇奎兰苎圭兰垒丝奎一 墼呈童塑查空量查堕塞 即进行盲检测或非相关检测，因为原始数据很可能无法找到，即使存在也无法验 证其有效性。 ( 4 ) 指纹鉴别 在上述版权保护、认证等应用中，对所有多媒体数据的复本拷贝，都是嵌入 同一组数字水印。然而有时候需要对每一个复本嵌入不同的水印，它可以让多媒 体版权拥有者或多媒体传播者辨识该多媒体数据是不是一个合法的复本，这种应 用称为指纹鉴别。 假设某音乐c d 在正式发售上市前，只有少数几个复本交给相关的制作参与 者，但是在发售前却发现此音乐c d 已经在盗版市场流通。由于每一个合法复本 皆有一个独特的水印，一旦有此情形发生，将可以从盗版的c d 中提取出数字水 印，以此来追查出此非法盗拷的源头是从哪一个复本流散出去的。 近年来在工业界已经有几种用于指纹鉴别的数字音频水印产品出现。1 9 9 9 年，美国高科技公司g m o 发布了基于m p e g 2 a a c 音频压缩技术的m p 4 音频 格式文件，这是一种可以在网上下载或作为电子邮件附件传送的e x e 自播放歌 曲文件。m p 4 歌曲采用了名为”s o l a n a ”技术的数字水印，可方便追踪和发现 盗版发行行为。而且，任何针对m p 4 的非法解压行为都可能导致m p 4 原文件的 损毁。 2 0 0 3 年，一项由德国人开发的数字水印技术在比利时开始商业应用，这项 技术可以防止在线音乐的非法复制。首个应用该技术的是比利时歌手s o u l b o b 的新专辑，该专辑将很快可以在网络上下载。购买者的姓名以及住址等个人信息 将加入到数字水印中，这样非法复制的音乐将可以很快找到源头。这项技术已经 在之前的应用中帮助抓获了多个非法复制者。 ( 5 ) 拷贝及使用控制 前面所述的几种应用，虽然可以对非法使用或非法拷贝造成一定的阻碍作 用，但还是无法阻止非法复制的发生。要达到拷贝控制的要求就必须和播放或录 制的硬件机器设备配合使用。例如如果机器检测到标示禁止录制或播放的数字水 印时，便会取消录制或播放的动作。当然这种应用需要所有硬件制造厂商的配合。 当前流行的m p 3 播放机与因特网连接，可以从网上直接下载m p 3 音乐并随 辱 意复制。但是，如果网上的音乐采用数字水印技术加以保护，则完全可以有效地 阻止大量无偿下载并非法复制网上音乐。i b m 公司新发明的一种数字音频水印 技术在每一个m p 3 音乐数据中嵌入数字水印，这种水印允许非营利性用户在自 己使用的范围内复制最多3 次，如果超过3 次将拷贝失败，从而能够有效地防止 一些惟利是图的音乐经营商大批量地复制盗版音乐。 ( 6 ) 标注水印 标注水印一般要求嵌入比较多的信息，例如图像备节内容的说明、作者、歌 曲c d 的歌词、订购信息，网站连接等等。标注水印要求采用公开水印算法，即 提取水印时不需要原始数据的任何信息。一般来说，标注水印还需要对常规的图 像或音频信号处理，例如中等强度的有损压缩、滤波、噪声等，以及轻微的同步 攻击几何变形具有一定的鲁棒性，但不需要抵抗恶意攻击。 除了以上提到的几种典型应用，我们在文献中还可以发现一些更有趣的应 用。例如，t a c h i b a n a 等【2 8 】使用实时水印嵌入技术将在正常情况下仅对数字格式 存储媒体有效的音频水印算法扩展到无线广播和现场直播的应用环境中。c a c c i a 等【2 9 】则提出了一种音频水印算法用于自动识别在电视广播节目中的音乐片断。 1 3 本文的研究内容与结构 本文致力于解决音频水印技术中最具挑战性的公开研究难题一时间域同 步攻击问题，提出了两大类新型的第二代数字音频水印算法，并详细研究了纠错 码在音频水印技术中的应用。主要内容及文章结构如下所示： 第一章是绪论，主要介绍数字音频水印技术的定义、性质及其典型应用。 第二章对近年来出现的数字音频水印算法做了一个全面的综述，并介绍了 m p e g 心理声学模型，常见的对音频水印系统的攻击，以及对音频水印算法性能 的评价标准。 第三章基于恒定水印的思想提出一种新型的第二代数字音频水印算法，通过 调整音频信号每个帧的小波域统计特征来嵌入水印数据，从而使水印检测器对同 步结构的变化不敏感。实验结果表明该算法结合重复纠错编码后在m p 3 压缩、低 通滤波、均衡化、回声、重采样、噪声、幅度缩放等音频信号处理攻击下误码率 为零，对变调、随机剪切、时间缩放等使绝大多数音频水印检测器失败的同步攻 击也具有相当的鲁棒性。加入水印后的音频仍然具有很高的感知质量，与原始信 号无法区分。水印提取为盲检测，不需要原始音频或水印。此外，在嵌入和检测 过程中应用混沌序列调制进行加密处理来保证系统的安全性。 第四章以上述音频水印算法为基准系统信息研究了纠错码技术对水印检测 的作用，在各种音频信号处理、同步攻击( 如抖动攻击、保持音调不变的时间缩 放攻击等) 、以及音频水印算法标准测试工具s t i 咖a r k f o ra u d i o 中的各种攻击下， 给出了重复码和b c h 码的大量实验结果，并给出了使用纠错码提高检测性能的一 些建议。 第五章基于隐含同步的思想提出另一种新型的第二代数字音频水印算法。众 所周知，保持音调不变的时间尺度缩放处理t s m ( t i m e s c a l em o d i f i c a t i o n ) 是数 字音频水印技术中一个非常重要而又极具挑战性的问题。按照s d m i 组织制定的 标准，一个实用的音频水印系统应该能够抵抗士4 的t s m 处理。为有效抵抗这种 时间域上的同步攻击，我们提出一种基于音乐内容分析的局部化数字水印算法， 其基本思想是首先通过三种不同方法提取出代表音乐边缘的局部区域，然后在其 中嵌入水印。这些音乐边缘通常代表一段音乐的起始或标志节奏的鼓声，在音频 波形上均对应于能量突然上升或下降的局部区域。为了保持高的音频质量，音频 信号处理通常不会对这些区域进行大的改变。通过将水印嵌入到这些代表音乐边 缘的重要区域，我们希望水印能够由此避开一般的音频信号处理和时间域同步攻 击。实验结果表明该方法对音频压缩、滤波等音频信号处理和t s m 时间缩放处理 具有很强的鲁棒性。 第六章是结束语，对本文的创新之处、优点及缺点做了总结，指出了今后需 进一步改进的问题，并对数字音频水印技术的发展做了展望。 第二章数字音频水印技术综述 互联网技术的迅速发展和音频压缩技术的日益成熟使得以m p 3 为代表的网 络音乐在互联网上广泛传播。但是，肆无忌惮的复制和传播盗版音乐制品使得艺 术作品的作者和发行者的利益受到极大损害。在这种背景下，能够有效地实行版 权保护的数字水印i g i t a lw a t e r m a r k i n g ) 技术变得越来越重要，已成为一个十分 热门的研究领域。本章内容安排如下：第一节讲述在数字音频水印系统中广泛 使用的音频掩蔽现象和m p e g , t ：, 理声学模型i 。第二节综述了代表当前发展水平 的鲁棒性和脆弱性音频水印技术，鲁棒性技术进一步在时间域、频域、压缩域上 分别阐述。第三节讲述对音频水印系统的攻击。特别分析了在时间域上能够以很 小代价击败绝大多数音频水印算法的同步攻击，并讨论了几种可能的解决策略。 最后介绍了音频水印算法性能的评测标准。 2 1 音频掩蔽及m p e g , i = f , 理声学模型1 人耳可看作一个频率分析器，大约可以分辨2 0 - - 2 0 k h z 的声音。人类听觉 系统h a s 可以模拟为一套2 6 个带通滤波器，称为临界频带【3 2 】，单位为b a r k 。 在中心频率为5 0 0 h z 以下的临界频带中，带宽恒定为1 0 0 h z ，随着中心频率的增 加，临界带宽也进一步增加。临界频带是一个主观反映突然发生变化的带宽，也 是人耳分割不同频率声音能力的一个基本近似。h a s 中最重要的一个心理声学 概念就是音频掩蔽，即一个声音的听觉门限由于另一个声音的存在而升高的过 程，通常用d b 来表示。具体分为以下的频率掩蔽和时域掩蔽两种。 2 1 i 频率掩蔽 频率掩蔽是指在音频信号频率分量之间的掩蔽。如果两个频率相近的信号同 时发生，即一个较弱的声音落在一个较强声音的临界频带中，那么强信号( 掩蔽 者) 就会将弱信号( 被掩蔽者) 掩蔽掉。但是如果两者只是在相近的不同临界频带 内，这种屏蔽效应将大大减弱。振幅值在静音门限或掩蔽门限以下的信号都可以 被除去而不会影响声音质量。掩蔽闽值依赖于频率的声压级，以及掩蔽信号和被 掩蔽信号的类音调( t o n e 1 i k e ) 和类噪声( n o i s e 1 i k e ) 特性。宽带噪声掩蔽音调比音调 信号掩蔽宽带噪声更容易。 2 1 2 时域掩蔽 复旦大学博士学位论文数字音频水印技术研究 时域掩蔽包括预先掩蔽( p r e m a s k i n g ) 和后掩蔽( p o s t - m a s k i n g ) 。预先掩蔽在强 信号打开前5 至l j 2 0 m s 时产生，后掩蔽在强信号关闭后5 0 至l j 2 0 0 m s 时产生。预先掩 蔽是由于掩蔽信号与被掩蔽信号之间的听觉处理相互干涉引起的，而后掩蔽的发 生则是由于神经行为具有一定的持久性。 音频信号太长会引起处理上的困难，因此首先要被分割为短的重叠的帧，处 理后再串连起来。掩蔽者的掩蔽阈值取决于掩蔽者的声压级、自身掩蔽级和不同 临界频带中的掩蔽函数 3 2 1 。具体算法如下： ( 1 ) 因为掩蔽阈值与信号声压级有关，所以首先用f f t 计算信号的声压级工( ) 。 音频帧s ( f ) 作为输入信号，n 为每帧样本数， ( f ) 为加权蛔m 以g 窗： h ( o = 百7 ；x 0 5 【l c o s ( 2 耐n ) o i n - i 删圳地删姆，唧 啊蝌 d b ( 2 1 ) ( 2 2 ) ( 2 ) 掩蔽阈值与掩蔽者的音调性有关，须根据工( 七) 来识别出类音调信号和类窄带 噪声信号。一个音调分量是满足如下条件的局部最大值，其余视为类噪声分量a x 0 0 x o ( + 1 ) 且x x o ( 一1 ) x - x ( k + m ) 7 d b ， m - 2 ，+ 2 】 i f2 k 6 3( 2 3 ) m e - 3 ，2 ，+ 2 ，+ 3 】 i f6 3 k 1 2 7 m - 6 ，2 ，+ 2 ，+ 6 】i f l 2 7 蔓k 2 5 0 ( 3 ) 计算类音调信号和类窄带噪声信号的自身掩蔽级口( ，) 和口( ，) a v g ( j ) 1 5 2 5 0 2 7 5 j _ 4 5 d b ( ) = 一1 5 2 5 0 1 7 5 j 一0 5 d b ( 2 4 ) ( 2 5 ) ( 4 ) 当被掩蔽者频率处在以掩蔽者为中心的临界频带内时，掩蔽效应最咀显。若 复旦大学博士学位论文 数字音频水印技术研究 被掩蔽者处在掩蔽者的临界频带以外，掩蔽效应仍然会发生，但随临界频带差r 频 率差) 的增大，带间掩蔽作用降低。类音调信号和类窄带噪声信号的掩蔽函数 旷( ，f ) 是相同的，它与处掩蔽者的声压级x ( j ) ，以及被掩蔽者与掩蔽者的距 离出有关，掩蔽函数对相对于掩蔽分量所在位置【- 3 ，+ 8 b a r k s 之外的区域没有 影响： v ，( ，f ) = 1 7 d z 一0 4 x ( j ) + 1 1 d b ( 0 4 x ( j ) + 6 ) d z d b 一1 7 d -拈 一( d z 一1 ) ( 1 7 一o 1 5 x ( j ) ) d b 一3 d z - i b a r k 一1 出 0b a r k o 出 l 腓 ( 2 6 ) l d z ，口是一个常数) ，通过与原始信号x ( 0 相加得 到隐蔽信号y ( 0 ：y ( 0 = x ( 0 + f ( x ( o ，w ( f ) ) 。函数，o 考虑了基本的音频掩蔽效应， 使水印的幅度依赖于音频信号的幅度，即根据每个音频样本的幅度来对之进行修 改，以使水印不可听到。该方法具有一定的鲁棒性，但它只能检测一个音频信号 是否包含水印，而不能提取嵌入的水印信息，即在本质上是一个1 比特水印算法。 m a n s o u r 等 1 7 】通过用样条插值函数来改变音频信号两个连续的最大值和最 小值之间中间段的相对长度，使之大于或小于某一闽值来分别植入1 或0 。在 5 5 】 中，作者进一步提出了一种新型算法，把包络线小波分解系数的极值点作为重要 点，通过改变信号重要点之间的距离来嵌入数据。此算法对m p 3 压缩、低通滤 波具有高的鲁棒性，通过使用自适应量化步长也可对时间缩放具有鲁棒性，亦适 用于采用其它特征作为重要点的情况，缺点是嵌入率较低。 1 1 复旦大学博士学位论文 数字音频水印技术研究 回声数据隐藏方法【4 3 通过在时间域向音频信号f ( t ) 上引入作为水印的回 声信号万o 来隐藏信息：c ( t ) = f ( t ) + a f ( t a t ) ；a 为衰减率，f 为延迟 时间，其选取以人耳无法分辨为准则。通过改变回声信号的延迟时间来对水印信 号进行编码，如选择f 代表编码0 ，选择，代表编码l 。解码不需要原始信号， 通过信号倒谱的自相关函数来进行。倒谱自相关函数在延迟时间，和出上产生 两个峰值，根据两个峰值之间的距离决定水印信号的编码是l 还是0 。回声隐藏 可以有效且无失真地将水印数据嵌入到音频信号中，但它很容易被敌手即使在没 有任何先验知识的情况下检测出来，而且在检测时由于计算倒谱使得复杂度相当 高。 c v e j i e 等【8 5 】利用h a s 中的时域掩蔽现象将基于扩频的水印嵌入到未压缩 的原始音频数据中。该算法不需要频域的变换，所以计算代价很低可用于实时操 作。该算法采用盲检测，可抵抗4 8 k b p s 的m p 3 压缩、全通滤波、回声、重采样、 调幅、噪声、均衡化等许多其它音频信号处理。 s w a n s o n 等【1 4 】通过直接修改音频样本来嵌入版权保护信息。该算法与音频 信号内容相关，首先把音频分帧，然后把利用时域和频域掩蔽现象进行感知整形 的伪随机序列加到音频数据上，以此来保证嵌入的水印不可听到并且对m p 3 压 缩、有色噪声、重采样等信号处理具有鲁棒性。此外，他们还提出了双水印的概 念，即在检测时一个需要原始音频而另一个不需要，并且认为双水印可以用于解 决死锁问题。 更有趣的是，尽管f o o t e 等并不相信水印技术在数字版权保护方面是切实可 行的，他们在【3 4 】中仍提出一种新方法，通过轻微地压缩和扩展小的音频区域来 进行信息隐藏。通过与原始音频进行比较可以检测到压缩或扩展的各个区域，而 这些区域的位置和长度代表了隐藏的信息。该方法在理论上是没有噪声的，也不 引起频谱的变化，这是与其它方法比较最大的优势。该方法尽管在理论上有新意， 但其明显的缺点是不能进行盲检测，这在许多实际应用中是没有意义的。 2 2 2 频率域算法 早期的音频水印技术将水印信号放在如高频区域之类的听觉上不重要的区 域，以使之不可听到 4 4 】。在高频区域，人的听觉敏感性相对于l k h z 左右的峰 值有所下降。p r u e s s 等人首先整形一个伪随机序列，然后把数据嵌入到预先选择 1 2 复且大学博士学位论文 数字音频水印技术研究 的音频频带【4 s 】。s o l a r i a 公司则把数据植入到音频信号的子带【4 6 】，并开发了一 个叫做e - d n a 的数字音频标记产品。 t i l k i 等【4 7 】在一个交互式电视系统的开发中，提出了一种将信息隐藏进电视 伴音的方法。在2 4 k h z 到6 4 珏i z 范围内的中频带傅立叶变换系数被数字签名所 代替，选择中频带是为了使数据保持在最敏感的低频范围之外。数字签名信号相 对于音频信号具有较低的幅度，且只植入到具有高能量值的分量中，以进一步保 证其不可听到。 人耳对声音的相位不太敏感，尤其是缺乏感知绝对相位值的能力，但对相位 值的相对差异要敏感些。相位成分比振幅成分更重要，如果要除去加到相位成分 中的水印信息，就必然会给音频质量带来令人无法接受的破坏。另外根据通信理 论，相位调制对噪声信号也具有较强的健壮性。基于这些原因，b e n d e r 等 4 s 1 提出了一种相位编码的方法：首先把总长度n 的信号分割为小的音频片断c a n ) ， 对每个音频片断应用离散傅立叶变换d f t ，把时域信号片断转换为频率、幅度 和相位，并按公式计算出幅度4 ) 和相位谚( 七) 。由于两个相邻音频片断间的相 位差很容易检测出来，因此他们的相位差必须保持不变，只是按如下公式向第一 个信号片断中植入0 和1 ，然后用原来的相位差构造一个新的相位序列： = h 1 # 2 ：参坼m k ：- = 1 6 l ( 七) = 丸( 七) + 【 6 l ( 孟) 一磊( 七) 】 如。) = 如_ l t ( 女) + 如( 七) 一氐一。( 七) 】 f 2 1 0 ) 使用新的相位序列砖( 膏) 及原始傅立叶变换的幅度4 ( k ) 进行傅立叶逆变换 并全部串连起来产生最后的输出。检测水印时先对信号进行同步，然后检测相位， 并把该相位和两个特定点上的参考相位相比较来得到o 和1 。 在另一个相位编码系统 4 9 】中，低于2 k 的傅立叶变换低频系数被完整的保 留，而高频系数的相位值则被去掉，基于近邻参考相位值以及待植入的信息比特 值重新分配。例如，相对于参考相位的一个小的顺时针旋转代表1 ，而一个小 的逆时针旋转代表0 。虽然相位编码是一种有效的数据隐藏方法，但它对大多 数的音频压缩技术却十分敏感。 自从t r i k e l 等人的开创性论文 5 0 】发表后从通信系统中借鉴来的扩频 1 3 复旦大学博士学位论文 数字音频水印技术研究 ( s p r e a ds p e c t r u m ) 技术的思想在数字水印技术中得到了越来越多的应用。扩频技 术的基本思想是把窄带数据扩展到一个大的频带，对音频来说，即整个可听频谱。 扩频技术有两种方法：跳频扩频系统f f h s s ) 和直接序列扩频系统s s s ) ，水印 技术中采用的是直接序列扩频系统d s s s ，即将一个数字水印序列与高速伪随机 码相乘后叠加到原始音频信号上，并利用人类听觉系统的掩蔽效应进一步来整形 水印信号以保证其不可听到，文献 1 4 ，5 l 】和f 5 2 1 分别利用了m p e g - i 的心理声学 模型i 和m p e g i i a a c 的掩蔽模型。水印检测通过计算带水印音频信号( 或从其 中计算出来的水印信号) 和原始水印信号之间的相关性来进行。扩频理论保证水 印在统计上是不可检测的，且通常作用在频域上，集中了两种技术的优点，对音 频压缩、剪辑等信号处理具有很强的鲁棒性，缺点是检测时需要原始信号。c o x 等人的文章【5 3 】被认为是扩频技术应用在数字水印上的代表性的文章。他们用( o ， 1 ) 之间满足高斯随机分布产生的x j 构成水印序列x = x ，五，以，用z 去修改 原始信号d c t 变换系数中最重要的n 个系数y = 矿。，吒，k ，得到修改后的系数 v ，= v ( 1 + 眠) ，再进行i d c t 得到加水印的信号。此方法最初应用于数字图像， 但稍加修改即可很方便地扩展到数字音频和视频。 k i r o v s k i 等【9 7 】提出几种新技术用于在音频信号中有效地嵌入和检测直接 扩频序列水印信息。主要目的是提高检测准确性、水印的不可感知性，抵抗同步 攻击和消除攻击，并在公开音频信道上建立隐蔽通信。该算法能够有效抵抗由于 转速不均匀的抖晃引起的时间和频率缩放、重采样、重量化、去噪、滤波等攻击。 r i e a r d o 等 1 8 】使用扩频理论及心理声学模型实现了一个鲁棒的水印系统a 该 系统涉及了扩频系统的同步问题：由于一个伪随机序列p n 被用在传送器上来调 制信号，在接收器首先要求必须有一个该p n 序列的局部拷贝，该拷贝乘以输入 信号，用来解扩出原始信号。为了精确地进行解扩，该拷贝必须与输入信号和扩 频过程中用到的p n 序列同步。 类似地，h o r v a t i c 等【8 3 】使用听觉掩蔽模型来得到重要的音频分量，并结合 传统的扩频数据隐藏技术提出了一种音频水印算法，该算法高度依赖于 i s o m p e g 心理声学模型，而且可以实时地在m p 3 或其它压缩格式的音频文件 中直接嵌入，而无需首先转换成原始w a v 文件格式。 i k e d a 等【9 5 】通过使用有限带宽且正交归一的随机序列来给基于扩频的音频 水印技术引入更多的灵活性，实现了一种子带数据隐藏方法，并讨论了如何选择 1 4 - 复且大学博士学位论文 数字音频水印技术研究 用于信息嵌入的频带。该算法的缺点是只能抵抗1 6 0 k b p s 的 口3 压缩，并且用 于数据隐藏的子带的中心频率必须在1 1k h z 以下才能正确解码。 s o o k 等【8 4 】采用心理声学模型调整水印强度以使水印能量在不带来明显听 觉失真的条件下最大化。在进行相关检测前首先应用白化滤波来有效地去除信号 之间的相关性。该算法对s d m i ( s e c u r e dd i g i t a lm u s i ci n i t i a t i v e ) 第一阶段鲁棒性 测试要求中的音频信号处理攻击具有很强的抵抗力。缺点是没有引入任何抵抗同 步攻击的机制。 l i u 等 8 8 ，8 9 通过对正弦波引入小的频率偏移提出了一种对非轮唱音乐的 音频水印算法，该算法的基础是音乐通常可以分为正弦+ 边缘+ 残余，音乐信号 分解的过程在文中有详细描述。该算法在一个单种乐器录音中每秒隐藏4 3 比特 信息，对m p 3 具有一定的抵抗力，如果采用更好的正弦波模型可能会得到更好 的结果。本文通过音乐分析在新的成分上实现了水印嵌入，但对各种音频信号处 理及同步攻击的抵抗力不强。 a r n o l d 等【9 0 】在傅立叶域上提出了一种统计音频水印算法，可以在不同频带 同时嵌入多个水印，并扩展为所谓的公有水印方法。作者还讨论了几种对鲁棒性、 嵌入质量、检测速度的改进措施。 c h o u 等 9 2 1 根据信息隐藏领域理论和算法的最新进展，结合人类听觉感知 系统提出了一种新型音频信息隐藏算法。实验结果表明该算法在对信道噪声鲁棒 的同时比以往算法的嵌入率提高了一个量级。 e r k u c u k 等【9 3 】提出一种新型音频水印算法，使用线性调频调制来编码水印 信息及密钥的输出序列，调制后的信息经过心理声学模型整形加到原始音频上。 提取水印时首先使用小波分解把带水印