（模式识别与智能系统专业论文）基于线性支持向量回归机的视频数字水印算法研究.pdf

摘要 摘要 随着计算机技术的飞速发展 数字视频产品的应用也越来越广泛 大容量存 储技术与网络技术的发展在方便数字视频传播的同时 也为侵权者提供了便利 如何保护视频产品的版权成为一个重要的问题 数字视频水印技术是目前使用较 多的一种版权保护技术 简单 鲁棒性又好的数字水印方法 一直是数字水印技 术的研究热点 本文针对目前视频数字水印技术存在的一些不足 建立了基于线性支持向量 回归机的视频数字水印方法 考虑到视频连续帧图像之间具有很强相关性 线性 支持向量回归机简单的特点 首先选取连续三帧图像的第一帧用来训练线性支持 向量回归机模型 以此作为图像中心像素点与其邻域像素点之间的关系模型 然 后将该模型应用到连续的三帧图像上 得到中心像素点的预测输出值 据此进行 数字水印的嵌入与提取 接着通过大量的实验 探讨了模型参数对水印质量的影 响 选出理想的模型参数 最后通过实验 比较了本文方法与基于常规支持向量 回归机的数字水印方法的性能 在参数取值方面 本文的方法更广 表明本文的 方法具有更好的适用性 在抗噪声方面 本文的方法略优于基于常规支持向量回 归机的数字水印算法 关键词 支持向量回归机 视频数字水印 线性规划 a b s t r a c t a b s tr a c t a st h ed e v e l o p m e n to ft h ec o m p u t e rt e c h n o l o g y d i g i t a lv i d e o sa r em o r ea n d m o r ew i d e l yu s e di np e o p l e sl i f ea n dt h eb u s i n e s sa p p l i c a t i o n s t h ed e v e l o p m e n to f m a s ss t o r a g et e c h n o l o g ya n dn e t w o r kt e c h n o l o g yt of a c i l i t a t et h es p r e a do fd i g i t a l v i d e o a tt h es a m et i m e a l s op r o v i d e sc o n v e n i e n tt oi n f r i n g e r s s op r o t e c tt h e c o p y d g h to fv i d e op r o d u c t st ob e c o m ea ni m p o r t a n ti s s u e d i 西t a lv i d e ow a t e r m a r k i n g c a nw e l lp r o t e c tt h ev i d e o sc o p y r i g h ta n dm o n i t o rt h ev i d e ou s i n g w i t he m b e d d i n g t h eh i d d e nw a t e r m a r ki n f o r m a t i o nt ot h ed i g i t a lv i d e od a t a s i m p l e r o b u s to fd i g i t a l w a t e r m a r k i n gm e t h o db e c o m e sm o r ea n dm o r ec o n c e r n e d t l l i sp a p e rp r o p o s e sav i d e od i g i t a lw a t e r m a r k i n gm e t h o db a s eo nt h el i n e a r s u p p o r tv e c t o rr e g r e s s i o nm a c h i n ef o rc u r r e n tt e c h n o l o g y t a k i n gi n t oa c c o u n t c h a r a c t e r i s t i co ft h es u c c e s s i v ef la m e so fv i d e oi m a g e sh a sas t r o n gc o r r e l a t i o na n d s v ri ss i m p l e f i r s t s e l e c tt h et h r e eo ft h ef i r s tv i d e oi m a g et ot r a i n 也em o d e l a st h e i m a g ec e n t e rp i x e la n di t sn e i g h b o rp i x e lr e l a t i o n s h i pm o d e l s e c o n d l y t h em o d e li s a p p l i e dt ot h r e ec o n s e c u t i v ei m a g e s o u t p u tc e n t e rp i x e lv a l u eo ft h ef o r e c a s t a n dt h e n e m b e d sa n de x t r a c t st h ed i g i t a lw a t e r m a r k t h i r d l y t h r o u g hal a r g en u m b e ro f e x p e r i m e n t st od i s c u s st h ep a r a m e t e r sa f f e c t0 1 1t h eq u a l i t yo ft h ew a t e r m a r ka n d s e l e c tt h ei d e a lm o d e lp a r a m e t e r s f i n a l l y c o m p a r et h ec o n v e n t i o n a lm e t h o db a s e do n s u p p o r tv e c t o rr e g r e s s i o nm a c h i n em e t h o do fd i 百t a lw a t e r m a r k i n g i nt h ep a r a m e t e r v a l u e o u rm e t h o dh a sb e t t e ra p p l i c a b i l i t y i nt h ea n t i n o i s e s l i g h t l yb e t t e rt h a nt h e c o n v e n t i o n a lm e t h o db a s e do ns u p p o r tv e c t o rr e g r e s s i o nm a c h i n ei n d i 百t a l w a t e r m a r k i n ga l g o r i t h m k e yw o r d s s v r v i d e od i l g i t a lw a t e r m a r k l i n e a rp r o g r a m m i n g i i 厦门大学学位论文原创性声明 本人呈交的学位论文是本人在导师指导下 独立完成的研究成 果 本人在论文写作中参考其他个人或集体已经发表的研究成果 均 在文中以适当方式明确标明 并符合法律规范和 厦门大学研究生学 术活动规范 试行 另外 该学位论文为 课题 组 的研究成果 获得 课题 组 经费或实验室的 资助 在 实验室完成 请在以上括号内填写课 题或课题组负责人或实验室名称 未有此项声明内容的 可以不作特 别声明 声明人 签名 麦 彳勃 确7 年7 月哆日 厦门大学学位论文著作权使用声明 本人同意厦门大学根据 中华人民共和国学位条例暂行实施办 法 等规定保留和使用此学位论文 并向主管部门或其指定机构送交 学位论文 包括纸质版和电子版 允许学位论文进入厦门大学图书 馆及其数据库被查阅 借阅 本人同意厦门大学将学位论文加入全国 博士 硕士学位论文共建单位数据库进行检索 将学位论文的标题和 摘要汇编出版 采用影印 缩印或者其它方式合理复制学位论文 本学位论文属于 1 经厦门大学保密委员会审查核定的保密学位论文 于年月日解密 解密后适用上述授权 2 不保密 适用上述授权 请在以上相应括号内打 或填上相应内容 保密学位论文 应是已经厦门大学保密委员会审定过的学位论文 未经厦门大学保密 委员会审定的学位论文均为公开学位论文 此声明栏不填写的 默认 为公开学位论文 均适用上述授权 声明人 签名 主l 弓觊 屏7 月 第一章绪论 第一章绪论 1 1 视频数字水印的研究背景 数字产品原创者的版权和经济利益如何得到保护 产品是否安全 可信 以 及由此引发的信息安全 版权纷争等问题己成为日益严重的现实问题 如何有效 的保护数字产品的版权 减少巨额的经济损失 已经受到了国际学术界 企业界 政府相关部门的广泛关注 保护数字产品的主要技术有加密技术 数字签名技术 和数字水印技术 1 1 如图1 1 图i i 数字水印技术和其他信息保护技术的关系 数字签名 2 3 可以验证数字产品的真实可靠性 对于数字图像 音频 视频 等多媒体的应用不太方便 数字水印技术通过在原始数据中嵌入秘密信息 可用 来证实数据的所有权 这种被嵌入的信息称之为水印 它可以是一段文字 序列 号或者标识等 水印通常是不可见或不可擦除的 它与原始数据紧密结合并隐藏 其中 可经受一些有意或无意的攻击而保存下来 这些攻击通常为不破坏原数据 使用价值的操作 水印技术与传统加密技术的区别在于 首先 水印是不可感知 的 即不可见的 嵌入水印不会影响原始数据的使用质量 其次 水印与其嵌入 基于支持向量机的视频数字水印算法研究 的作品密不可分 当作品被显示或转化为其他文件格式时水印不会被消除 随着 数字视频技术的发展 大量消费类数码视听产品开始广泛应用于实际生活 网络 传播的便捷又使数字视频的侵权问题愈加严重 数字视频产品知识产权的管理和 保护成为急待解决的问题 随之 视频数字水印技术也有了很大发展 1 2 视频数字水印的发展概述 目前己有不少公司研制出利用数字水印技术对数字产品进行版权保护的系 统 如n e c i b m 携手开发电影画面数字水印技术 一些公司也开发出来自己 的数字视频水印系统 如希腊a l p h a t e e 公司已推出的数字视频水印软件v i d e o m a r k 美国的m e x i i a s e c 公司开发了s y s c o p 视频版权保护软件等 微软亚洲科学 院也在研究视频水印技术方面有一定的成果 1 2 1 视频数字水印分类 视频数字水印的分类方法很多 可以从不同的角度进行划分 比如 1 按照水印的抗攻击特性 可以分为鲁棒性水印和脆弱性水印 鲁棒性水 印主要要求嵌入的水印能够经受各种无意的编辑处理甚至恶意攻击 脆弱性水印 主要用于真实性和完整性的保护 它要求水印必须对信号的改动很敏感 人们可 根据水印的状态判断数据是否被篡改过 2 按照水印的检测过程 可以分为非盲水印和盲水印 非盲水印在水印的 提取过程中 需要原始数据的参与 这类水印的鲁棒性较强 但检测不方便 所 以受到很大限制 盲水印在水印的提取过程中 只需要密钥 不需要原始数据的 参与 3 按照嵌入水印的内容 可以分为无意义水印和有意义水印 无意义水印 指的是水印本身是一个没有任何特别意义的伪随机序列或一个序列号码 提取出 水印后一般通过统计决策来决定媒体中是否含有水印 有意义水印本身是数字图 像 数字音频片段或符号 这类水印的优势在于 提取后除了统计决策方法外 还可以通过视觉或听觉来直观判断媒体中是否含有水印 4 按照水印是否可感知 分为可感知水印和不可感知水印 通常意义上的 水印是不可感知的 但在某些场合 需要的却是可感知的水印 比如在发布视频 2 第一章绪论 产品时 可以在视频中嵌入可见的水印 这种水印不能被抹去 5 按照水印的算法来划分 水印算法大致可以分为空域算法 变换域算法 和压缩域算法 空域数字水印是直接在信号空间上叠加水印信息 而变换域数字 水印则是在d c t 变换域 小波变换域上叠加水印 随着数字水印技术的发展 各种水印算法层出不穷 水印的隐藏位置也不再局限于以上几种 应该说 只要 构成一种信号变换 就能在其变换空间隐藏水印 视频数字水印算法分类的角度 也体现了数字水印在各个领域的用途和考虑方面 设计一个好的视频数字水印在 不同应用场合需综合考虑以上因素 1 2 2 视频数字水印的研究现状 对于水印的算法 我们根据水印技术与视频编码系统结合方式 分为基于原 始域视频水印算法和基于压缩域视频水印算法 如图1 2 所示 水印嵌入算法一 是基于原始域 而水印嵌入算法二和水印嵌入算法三是基于压缩域的水印算法 拟哟况 l h 卜口 l l l编码器 j 觎蕊巽 i 1 一 一l 虐r 淄 管珏 一管谴 坦由一 t h 一 毒目t h 一 图1 2 视频水印嵌入及提取方案 基于原始视频水印算法就是对没有经过压缩的原始视频数据嵌入水印 其中 又分为空域算法和变换域算法 空域算法是直接在原始视频中嵌入和提取水印 变换域算法就是先对原始视频数据进行如d c t d f t 等变换后嵌入或提取水印基 于原始视频水印算法的优点是水印嵌入的方法多 原则上数字图像水印的方案都 可以应用 但是缺点有增加视频码流的数据比特率 经过压缩标准 如m p e g 2 压缩后会丢失水印 降低视频质量等 基于压缩域的视频水印算法一般是结合编码标准和技术的 利用在视频压缩 编码过程中产生的多种编码特征数据控制水印信息的嵌入和传递 比如在运动矢 量 v l c 数据码流 脸部运动参数等信息中嵌入水印 h a r t u n g 4 等人提出的应 3 基于支持向量机的视频数字水印算法研究 用扩展频谱的方法向视频d c t 系数中添加水印的算法最为广泛 l i n n a r t z d 提出 的p t ym a r k 算法是根据水印信息选择编码视频帧的图像类型 按照码表嵌入水 印 算法虽然新颖 但是抗攻击能力比较差 压缩域算法一般实时性良好 而且易于做到对压缩标准的鲁棒 缺点在于解 码或受到攻击 水印的提取可能会受到影响 那么在水印的提取方面做一深入考 虑 势必会给水印嵌入方案带来有益的结果 数字水印技术的研究只有短短十几年的时间 但由于其重要的应用价值 已 经得到了快速的发展 如今己成为国内外的研究热点 得到了各大公司 科研机 构 学术团体甚至政府的支持 几个有影响的国际会议 例如i e e e s p i e 等 及 一些国际权威学术期刊 例如p a t t e r nr e c o g n i t i o n 和i e e e 的s i g n a l p r o e e s s i n g i m a g ep r o e e s s i n g c i r c u i t sa n ds y s t e m s 等 都大量发表了关于 数字水印技术方面的论文嘲 1 9 9 5 年 c o x 等人在文献口1 中提出了基于扩频通信 的数字水印系统模型 首次应用成熟的理论对数字水印技术进行研究 后来人们 将c o s t a 在1 9 8 3 年提出的脏纸模型睛1 应用于水印技术 提出了基于边信息的水 印模型呻1 o s v 0 1 0 s h y n o v s k i y 等人n 町以图象的统计特性作为边信息 在译码端 设计了多级水印嵌入方法 k u n d u 等人n 将剪切 滤波和感知编码建模为噪声衰 减 利用信道估计来改善水印方法的性能 这些算法都取得了很好的不可感知性 为了提高检测能力 1 9 9 5 年 p i t a s 等人在n 幻中提出了盲水印方案 其后 水印 技术得到了快速发展 提出了一系列水印性能指标 w a s t o n n 3 1 提出了基于分块 d c t 变换的人类视觉模型 t r i n k a u s n 钔提出了语音掩蔽模型等 应用这些模型 结合对d c t 域 d w t 域 d f t 域 r a d o n 域 r i d g e l e t 域等各种变换域系数的研 究 人们设计了很多算法 在鲁棒性和透明性等性能指标上都取得了进展 国内 对数字水印技术的研究起步比较晚 随着计算机的发展 视频水印技术也引起了 国内信息安全领域研究人员的普遍关注 并从各个方面对该技术开展了广泛而深 入的研究 也取得了许多一些高水平的研究成果 但是总体来说 无论是国际还 是国内 数字水印技术还属于一门新兴的学科 仍然处在一个技术评估阶段 4 第一章绪论 1 3 课题研究目的和研究内容 视频水印技术有着广泛的应用 目前的应用已经远远超出了版权保护的范 围 为很好的保护视频产品的版权 嵌入的水印信息必须不影响原视频的使用 并且在遭受可能的各种攻击后能同样有效的检测出来 数字水印算法性能主要从 不可见性 鲁棒性 水印实时检测性等方面衡量 结构风险最小化原则指导下的 支持向量机 在有限样本的情况下 不仅能够保证模型的最佳推广能力和输出函 数的平滑性 而且具有很好的学习和泛化能力 考虑到线性支持向量机的鲁棒性 常常优于标准的支持向量机 因此本文尝试利用线性回归支持向量机 建立视频 图像像素点之间的关系 这样只需要针对少量的像素点进行训练 就能获得较好 且鲁棒的像素点关系 然后在此基础上进行视频数字水印的嵌入与提取 本文的主要研究内容有 1 导出线性规划支持向量回归机模型 并应用它建立视频图像像素点之间 的关系模型 2 建立基于线性规划支持向量回归机的视频数字水印算法 3 分析模型参数对视频数字水印的影响 给出适合的模型参数 4 比较本文算法与基于常规支持向量回归机的性能 1 4 论文组织安排 本文由五章组成 第l 章绪论 主要讨论当前视频数字水印技术的应用背景和发展概述 以 及相关算法和课题研究的目的 第2 章支持向量机在视频数字水印中的研究工作 主要结合支持向量机在 视频数字水印方面的应用分析它的潜在特质 探讨在其领域方向的研究 并针对 回归支持向量机原理做一简单描述 第3 章基于线性支持向量机回归机的压缩域水印算法 导出线性支持向量 回归机 并以此建立视频图像像素点之间的关系模型 第4 章实验仿真 通过对模型参数的实验比较 分析模型参数对视频数字 5 基于支持向量机的视频数字水印算法研究 水印的影响 确定最优的模型参数 通过实验 比较本文算法与基于常规支持向 量回归机的视频数字水印算法的性能 第5 章总结与展望 针对本文存在的一些问题进行阐述 并对今后的研究 工作进行展望 6 第二章支持向量机在视频数字水印中的研究工作 第二章支持向量机在视频数字水印中的研究工作 2 1 引言 通过对已知数据的学习 让机器找到数据内在的相互依赖关系 从而对未知 数据进行预测或对其性质进行判断 这就是机器学习问题 9 0 年代中期 v a p n i k 等人在提出了一种新的机器学习方法 1 5 即支持向量机s v m s u p p o r tv e c t o r m a c h i n e 由于s v m 具有坚实的数学基础 小样本特性以及优良的泛化性能 它从一开始出现就引起了学术界的广泛关注 被成功地应用到字符识别 文本分 类 人脸检测 生物识别 疾病诊断 医学图像处理 智能控制 经济模式分类 等方面 同样地s w l 在数字水印领域也获得了一些成功的应用 本章我们将简要 地介绍支持向量机技术及其它在视频数字水印中的应用和发展 2 2 统计学习理论 机器学习问题可以描述为 根据变量x 和y 存在未知的依赖关系 即某一未 知的联合概率分布厂似力 得到的1 个独立同分布的观测样本o l 1 x 2 v 9 一 柚 在一组函数 厂伍w 中求出一个最优的函数f x w o 最小化期 望风险 r w 几 厂 w d ro 2 1 其中 厂阮w 称为预测函数集 w 为函数的广义参数 厂似w 是由于用f x w 对y 进行预测而造成的损失 2 2 1 统计学习理论的核心内容1 1 6 i 统计学习理论是研究小样本统计估计和预测的理论 它主要包括经验风险最 小化准则下统计学习一致性条件 统计学习方法泛化能力的街及建立结构风险最 小化准则三方面内容 其中 最有指导性的理论结果是泛化能力的界 与此相关 的一个核心概念是v c 维 下面我们简单了解下统计学习理论的核心内容 7 基于支持向量机的视频数字水印算法研究 2 2 1 1v c 维 v c 维是描述函数集或学习机器的复杂性或者说是学习能力的一个重要指 标 在此概念的基础上发展出了一系列关于统计学习的一致性 收敛速度 泛化 能力等重要结论 v a p n i k 指出 对学习系统来说 训练集误差与测试集误差之间 的差别是训练集规模的函数 该函数可以由学习系统的v c 维表征 1 6 v c 维反 映了函数集的学习能力 一般而言 v c 维越大则学习机越复杂 学习容量就越 大 遗憾的是 目前尚没有通用的关于任意函数集v c 维计算的理论 只对一些 特殊的函数集知道其v c 维 对于一些比较复杂的学习机 其v c 维除了与函数 集有关外 还受学习算法等的影响 其确定更加困难 对于给定的学习函数集 如何用理论或实验的方法计算其v c 维是当前统计学习理论中有待研究的一个 问题 2 2 1 2 泛化能力的界 统计学习理论系统地研究了对于各种类型的函数集 经验风险和实际风险之 间的关系 即泛化的界限 1 7 它是分析学习机性能和发展新的学习算法的重要基 础 关于两类分类问题有如下结论 对指示函数集中的所有函数 包括使经验风 险最小的函数 经验风险 呷 w 和实际风险r w 2 l l f i j 以至少1 1 的概率满足 如下关系 1 8 尺 w w 2 2 其中h 是学习机的v c 维 是训练样本数 r 是满足0 a r l 的参数 所以 统计学习的实际风险由两部分组成 一是训练样本的经验风险 另一 部分称为置信范围 它反映了真实风险与经验风险差值的上确界 反映了结构复 杂所带来的风险 与学习机的v c 维及训练样本数有关 式 2 2 可以简单的 表示为 j r 川 尽唧 w 矗 z 2 3 r 第二章支持向量机在视频数字水印中的研究工作 式 2 3 说明 在有限训练样本下 学习机的复杂性越高 v c 维越高 则置信 范围就越大 导致真实风险与经验风险之间可能的偏差就越大 对于同类学习机 不但要求经验风险最小 还要使v c 维尽量小 从而缩小置信范围 以得到最小 的实际风险 2 2 1 3 结构风险最小化原理 选择学习结构和学习算法的过程就是调整置信范围的过程 如果结构比较适 合现有的训练样本 就能取得比较好的效果 结构风险最小化原则具体思想是g 设损失函数集s 具有一定的结构 这一结构是由一系列嵌套的函数子集 s n 诋 w a n 组成 它们满足 墨c 足c c 鼠c 相应函数集的v c 维满足 啊 吃 吃 这样在同一子集中置信区间就相同 对一给定的训练集 设计函数集的某种 结构使每个子集都能取得最小的经验风险 然后选择适当的子集使其置信范围最 小 则这个子集中使经验风险最小的函数就是最优函数 随着结构元素序号的增 加 经验风险将减小 而置信区将增加 综合考虑经验风险与置信区的变化 可 以求得最小的风险边界 它所对应的函数集的中间子集舻可以作为具有最佳泛 化能力的函数集合 2 3 支持向量机学习算法 2 3 1 支持向量机原理简介n 氐伯1 支持向量机是从线性可分情况下的最优分类面提出的 假定训练数据 玉 乃 屯 儿 而 乃 而r s 乃 l 1 可以被一个超平面 w 力 枷没有错误地分开 用如下方程描述与样本间隔为 的分类超平面 9 基于支持向量机的视频数字水印算法研究 w x 6 o iiw i l 1 y 1 若 w x 6 a y 1 若 w x 6 一a 则两类的边界分隔面之i 司的距离是 m 2 丽2 a 与两类样本点距离最大的分类超平面会获得最佳的泛化能力 等价于使0w i 最小 因此 对应i i 叫l 最小的那个超平面就是最优分类超平面 这种最优超平面将由离 它最近的样本点 称为支持向量决定 而与其它样本无关 图2 1 描述了上述思 想 其中x 1 x 2 都是支持向量 图2 1 最大间隔超平面 0 描述 间隔分类超平面v c 维上界的一个结论是 如果向量x 属于一个半 径为r 的球中 那么 间隔分类超平面集合的v c 维h 的界由公式 2 4 所示 1 1 7 o 蝌小 汜4 由式 2 4 可以看出 当目标函数集的v c 维数h 的上界小于 时 它与分 1 0 第二章支持向量机在视频数字水印中的研究工作 离边界 2 成反比 即在样本分布一定时 边界越大 目标函数的v c 维数h 越 小 这样 对于 边界 分类超平面函数集而言 最优目标函数她们可通过 最小化经验风险和最大化分离边界 2 来得到 即 k w c w l l a 2 2 5 其中c 是经验风险和置信风险的折中系数 简单地说 支持向量机就是在输 入空间中构造最优分类超平面的学习过程 它通过某种事先选择的非线性映射将 输入向量映射到一个高维特征空间 在这个空间中构造最优分类超平面的实现过 程 2 3 2 回归支持向量机的学习算法 循1 支持向量机是针对线性可分情况下的最优分类面构造问题提出的 利用支持 向量机解决函数回归问题则是分类支持向量机的有效推广 其思路与求解分类问 题相似 对于线性回归的情况 即 用线性回归函数删 w 6 来拟合训练数 据 而 咒 f 1 2 丐 尺 为 r 如果所有训练数据都可以在8 精度下无误差地用线性函数拟合 即 i 1 2 考虑到允许拟合误差的情况 引入松弛因子f o 和f o 与分类问题类似 回归支持向量机的优化问题描述如下 砌 嵋6 抑1 2 c 喜 缶 等 她 勰高三 霎川幺 其中 是不灵敏参数 表示允许的最小拟合误差 上述优化问题的对偶问题为 妇妇 p 咄 圹 j 基于支持向量机的视频数 水印算法研究 m a x w 口 口 一寺 西一 彳 m 西一 一s 西 f lf l f 互l 鲥 荟 西一q o 0 q 西 c i 1 2 利用二次规划方法解出仅和a 4 同时利用k k t 条件可计算出b 或 b y l w x 8 o c b y i w 玉 g 西 o c 这样就可以得到线性可分问题的回归函数 f x w x 6 彳一哆 五 工 6 2 6 i l 这里的 乞嘞和分类问题一样 将只有少部分不为0 它们对应的样本就是支持 向量 一般是在函数变化比较剧烈的位置上的样本 对于非线性回归问题 只要 用核函数k x i 功替代 2 1 3 式中的内积运算就可以实现非线性函数拟合 即 厂 x 卅 x 6 西一 弘 x 匆予 西一 声 薯 工 6 2 7 2 3 3 大规模样本时的训练算法 当训练样本数较大时 算法复杂度急剧增加 且占用极大的系统内存 为降 低计算资源 提高算法效率 扩大应用 已经提出许多针对大规模样本的训练算 法 如 1 分块算法 1 9 分块算法的依据是 支持向量机的最终求解结果只与支持向量有关 与非支 持向量无关 因此 对于给定的训练样本集 如果其中的支持向量是已知的 寻 优算法就可以排除非支持向量 只需对支持向量计算权值然而 如果支持向量的 数目本身就比较多 随着算法迭代次数的增多 工作样本集也会越来越大 算法 1 2 第二章支持向量机在视频数字水印中的研究工作 依旧会变得十分复杂 2 工作集选择算法 2 0 针对分块算法的缺点 o s u n a 等人提出工作集选择算法来加快支持向量机的 训练速度 工作样本集的大小固定在算法速度可以容忍的限度内 迭代过程中只 是将剩余样本中部分违反k k t 条件的样本与工作样本集中的样本进行等量交 换 即使支持向量的个数超过工作样本集的大小 也不改变工作样本集的规模 而只对支持向量中的一部分进行优化 这种算法的关键是在于选择一种合适的工 作集换入换出策略 即工作集的确定方法 3 序列最小优化算法 2 l 1 9 9 8 年 p l a t t 提出了更为有效的支持向量机训练算法 即序列最小优化算 法 该算法是分解算法的一个极端特例 其实现过程为 每次针对2 个样本的二 次规划问题 直接采用解析方法求其最优解 以提高q p 问题的求解速度 p l a t t 设计了一个两层嵌套循环过程实现其算法 在外环中采用启发式方法寻找违背 k k t 最优条件的样本 在内环中对该样本的相应l a g r a n g e 乘子进行分析求解 完成一次优化 不断重复此过程 直至所有样本都满足k k t 条件 这种启发式 策略大大加快了算法的收敛速度 随后的s m o 算法 冽借鉴了s v m l i g h t 一方 面利用s h r i n k i n g 思想 缩小工作集的搜索范围 提高搜索速度 另一方面 引 入误差缓存和核函数缓存 s m o 是目前实际问题中应用最广泛的一种方法 4 最近点快速迭代算法 上述各种算法均是针对s v m 的对偶问题而提出的数值求解方法 经过一些 标准数据库的测试 快速迭代算法的性能与s m o 相近 但它适用于模式识别中 的2 类划分问题 支持向量机的训练方法对支持向量机的推广应用具有很大的影 响 除了上面介绍的方法外 还有很多的方法 如 内点算法 近邻算法 最小 二乘法支持向量机l s s v m 几何方法以及我国的张学工的c s v m j 2 4 支持向量机在视频数字水印中的分析n 町 在设计水印算法时应该综合权衡以下因素 安全性 嵌入在载体数据中的水印是不可删除的 且能够提供完全的版 1 3 基于支持向量机的视频数字水印算法研究 权证据 攻击者即使获得算法 在不知道密钥时也无法破解隐藏的信息 鲁棒性 水印对有意或无意的图像操作或失真具有一定的抵抗力 不可见性 水印对人的感觉器官应是不可觉察的 保真性 加入水印后并不会损害原来的媒体内容价值 其中 不可见性 和鲁棒性是水印的最重要特征 近年来一些学者从原始数据本身出发 结合数据内部的一些固有特征 提出 了非线性数字水印处理技术 使水印达到较高要求的不可见性和鲁棒性 这类技 术的目的是使含水印图像的失真最小 且同时使水印抵抗常规信号处理操作的鲁 棒性最好 但是 非线性数字水印算法存在一个共同的弱点 它们都是基于经验 风险最小化原则来优化目标函数 水印的性能是否达到了最优 从理论上很难回 答这个问题 支持向量机从理论上可以达到较高标准的水印性能 从影响水印性 能的主要因素出发 支持向量机在数字水印领域中应用主要体现在 1 s v m 可以优化水印的嵌入位置 根据人眼视觉系统特征 2 3 1 有些区域 可能根本不适合隐藏信息 否则会破坏水印的不可见性 而有些区域从视觉上讲 虽然隐藏信息的能力很强 但经过有损压缩后会丢失大量的数据 因而抵抗有损 压缩的能力有限 那么 图像中哪些位置适合隐藏信息呢 有学者采用模糊聚类 的方法来获取水印的嵌入位置 2 4 也有学者采取神经网络的方法对图像进行分块 2 5 1 选取比较合适的水印嵌入块 但是 神经网络 模糊聚类等传统的学习方法 是基于经验风险最小化原理来优化目标函数的 所以很难保证所选的水印嵌入位 置都是合适的 而支持向量机在学习过程中 不仅考虑了经验风险最小化 还考 虑了模型的复杂度最小化 所以可以利用分类支持向量机方法优化水印的嵌入位 置 产生自适应于图像的水印系统 2 s v m 可以最大化水印的嵌入强度 水印的嵌入强度越大 水印的鲁棒 性越好 但同时水印的隐蔽性就会越差 许多用于版权保护的水印算法在保持水 印感知质量的最低要求上 尽可能提高水印的嵌入强度 对于空域水印算法 由 于隐藏信息时需要直接修改图像的数据 但考虑到水印的视觉效果 修改量又不 可能大 因而空域水印算法往往鲁棒性较差 对于变换域水印算法 当前人们普 1 4 第二章支持向量机在视频数字水印中的研究工作 遍采用j n d 门限来确定图像变换域中不同子块的水印嵌入强度 但是否充分发 挥了人类视觉系统的特征是值得研究的 由于支持向量机具有强大的学习 泛化 和非线性逼近能力 这些特点与人眼视觉系统具有极大的相似性 因此 我们可 以利用支持向量机模拟人眼视觉特征 确定所能嵌入的最大水印强度 从而最大 限度地提高水印的鲁棒性能 基于s v m 的水印嵌入系统框架如图2 4 所示 图2 4 基于s v m 的水印嵌入系统框架 3 s v m 可以获取鲁棒性和不可见性之间的一种最佳折中 水印的设计参 数是水印嵌入算法过程中影响水印的不可见性和鲁棒性的主要因素 而这些因素 在一定程度上又依赖于原图像的内在特征 由于视频帧图像内部及图像之间都存 在着许多的局部相关性 如邻域像素之间存在着很强的局部相关性 邻域图像块 之间也存在着相似的统计特征 d c t 域中 不同的两个图像块中的相应d c t 系 数相对关系保持不变 在d w t 域中 不同的尺度空间上描述相同空间位置的小 波变换系数之间具有很强的相似性 而相同的尺度空间下重要的小波系数之间也 存在着相关性 只有找到图像内部蕴含的内在联系 并合理地建立它们之间的关 系模型 才能充分利用图像的内在特征来提高水印系统的性能 为此 我们可以 利用线性回归型支持向量机就可建立压缩域中图像内部中心像素与其邻域像素 之间的关系模型 根据模型的预测结果 在保持图像感知质量较好的基础上 尽 可能大的调整水印嵌入位置的灰度值 使水印的鲁棒性更强 1 5 基于支持向量机的视频数字水印算法研究 4 s v m 可以提高常规图像处理的能力和定位的准确性 一定的鲁棒性是 水印能够有效抵制媒体传输过程中不可避免的压缩 滤波 噪声等常规处理 但 是 目前的水印算法普遍存在安全性低 抗常规图像处理的能力较差 尤其是抵 抗j p e g 有损压缩的能力非常有限 篡改检测和定位不够准确等缺点 其原因主 要是没有充分利用图像本身的特性来设计水印或嵌入水印 5 s v m 可以提高水印检测的正确率 水印的鲁棒性体现在水印的检测能 力上 即能否有效地检测出经各种图像处理后的水印图像中的水印 常见的水印 检测算法是基于相关技术的 而相关检测算法往往是基于一定的假设条件下的 如要求水印信号服从标准正态分布 当水印信号或载体作品的统计特性不满足给 定的假设条件时 水印检测器产生的漏检错误和虚警错误就会大大增加 我们知 道 确定水印嵌入位的图像特征与水印信号之间的关系是一种非线性映射的过 程 而支持向量机具有优异的非线性逼近能力和小样本学习的泛化能力 因此采 用s v m 进行水印的检测无疑会大大提高水印检测的成功率 文献洲在对文献 2 7 1 算法改进的基础上 利用参考水印来训练s v m 使得训练后的s v m 具有记忆待 测水印图像和水印信号特征关系的能力 然后应用训练后的s v m 提取水印 极 大地提高了水印检测的准确率 6 s v m 可以识别水印的攻击类型 水印攻击有多种方式 水印的攻击检 测过程可以是一个多类识别的过程 即通过大量的攻击实验 比较提取出的已经 受到攻击的水印和原始水印之间的差异 找到原始图像和测试图像之间的差别 并用它们来训练支持向量机 从而确定不同攻击方法所引起的算法检测效果 然 后根据此实验效果判断模型参数选择对水印的影响 2 5 支持向量机和视频数字水印的契合点 不可见性和鲁棒性是视频数字水印的两大重要特性 目前所有的水印算法都 是围绕着这两大特征来设计的 在视频数字水印的嵌入算法过程中 水印的嵌入 位置 嵌入强度和嵌入容量是影响含水印图像的感知效果和鲁棒性的主要因素 而这些因素在一定程度上依赖于原始图像的内在特征 由于视频帧图像内部和帧 图像之间存在着许多的局部相关性 可以知道只有找到图像内部具有局部相关性 1 6 第二章支持向量机在视频数字水印中的研究工作 的元素之间蕴含的内在联系 并通过合理的方法建立它们之间的关系模型 就能 充分利用图像的内在特征 确定最佳的水印设计参数或是设计更为合理的水印算 法 最大程度地提高水印的性能 从以往经验看来 建立图像内部元素之间的局部相关性模型往往是非线性 的 水印的设计数参数之间也存在着非常复杂的非线性关系 造成了以往绝大多 数水印算法在设计过程中盲目或凭经验设置水印设计参数的问题 在这种情况 下 近两年来 一些学者将神经网络 2 8 3 0 1 模糊聚类分析 2 4 1 和遗传算法 3 1 等方 法引入数字水印领域 为解决水印设计参数的选择问题开辟了新的途径 这些方 法虽然不同程度地提高了水印的性能 但普遍存在一些不足之处 如 神经网络 在训练过程中易产生过学习现象 且隐层节点数往往需要根据经验来确定 缺乏 一种统一的数学理论 模糊聚类分析方法 是将待聚类的样本归属到隶属度最大 的那个类中 但对于隶属度都较小的那些样本 其所属类的准确性值得进一步考 究 遗传算法存在早熟收敛 局部极小等问题 且算法复杂 难以实用化 最重 要的是 上述算法是基于经验风险最小化原则来优化目标函数 因此 获取的局 部最优解不一定是全局最优解 支持向量机通过用内积函数定义的非线性变换将 输入空间变换到一个高维空间 在这个高维空间中寻找输入变量和输出变量之间 的一种非线性关系 在寻优过程中 支持向量机采用结构风险最小化原则来优化 目标函数 即同时优化经验风险和模型复杂度 因而能够保证在有限样本情况下 模型的最佳推广能力和输出函数的平滑性 因此 与传统的学习机相比 支持向 量机方法既有严格的理论基础 又能较好地解决小样本 高维数 非线性和局部 极小点等实际问题 2 6 本章小结 本章给出了支持向量机的理论概括 介绍了支持向量机的实现原理 推导了 s v i v l 用于解决数据回归问题的数学模型 为本文后续章节奠定了理论基础 并 从影响数字水印性能的设计理念入手 较为详细地分析了支持向量机在数字水印 领域中的应用及其可能为水印性能带来的好处 为后面章节对基于s v m 的数字 水印技术研究做一铺垫 1 7 基于支持向量机的视频数字水印算法研究 第三章基于l s v r 的压缩域水印算法 物体的图像像素之间常具有一定的相关性 而视频图像的连续帧之间更具有 极强的相似性 因此通过对少量图像像素之间关系样本的学习 建立一个能描述 大量图像像素之间关系的模型是可能的 考虑到支持向量机处理小样本的优势 模型的泛化能力强 以及卜范数比2 一范数更好的鲁棒性 本章我们采用线性支 持向量回归机来建立视频图像邻域像素之间的关系模型 并在此基础上给出基于 线性支持向量回归机的视频压缩水印算法 3 1 邻域像素关系的线性支持向量回归 l s v r 建模 李春花和卢正鼎2 0 0 6 年 1 6 根据图像邻域像素之间具有很强的相关性这一特 点 利用支持向量回归机建立图像邻域像素之间的关系模型 然后通过调整模型 的数处置和中心像素值之间的大小关系来嵌入或提取水印 取得了较好的结果 她们使用的支持向量回归模型为 嬲 扣幢 c 喜 点均 j o 6 一y i 占 参 i 1 2 l 3 1 咒一 一b f 占 i 1 2 喜 等 0 i 1 2 z 其中x t y i i 1 z 分别是样本的输入和输出 w b 是回归超平面的法向向量和 离原点的偏置量 茧 等o l 是松弛变量 c 是经验风险和置信风险的折中系 数 占 0 是超平面带的宽度参数 考虑到超平面方向向量w 的l 范数比2 范数具有更好的鲁棒性 以及用l 范数取 代2 范数之后可得到一个线性规划问题 本文应用 i lw l l 窆i l 取代扣w i l 1 8 第三章基于l s v r 的压缩域水印算法 得到 m f i n f 1w i c i l 曹 考7 s f 6 一y 占 缶 i 1 2 l 3 2 乃一 b 占 等 i 1 2 毒 等 o i 1 2 其中r l 是样本的维数 进一步地 我们设 记 咩 吩一鼻 m i 鬼 0 3 3 m m m r h 啊 吃 r 则可将i 嵋i 的绝对值去除口幻 上述问题可化为如下的线性规划问题 埘h b f n f i l l 吩 c 1 1 缶 等 s j 一 6 一咒 占 磊 i l 2 乃一 6 g 等 i l 2 z 3 4 磊 占 o i l 2 呜 0 i 1 2 n 事实上 设w 宰和m i 办 分别是 3 2 和 3 4 的一个最优解 则对任一f 一 定有 从而 西 o 玎 0 或西 o 0 1 9 基于支持向量机的视频数字水印算法研究 lwl 砖 巧 即模型 3 2 等价于 3 4 否则不妨设 聊 硝 0 0 巧 我们可令 ml 一耳 矿 0mtm l 0 2 一惕 惕2 而 m 霄 m 一巧 m 巧 绝 一绝 f 亿 因而硝 霄7 1 混 3 4 的最优解 矛盾 若m h b f 善 模型 3 4 的一个最优解 则样本输入和输出的函数关系是 y 矿x 6 m j 1 r x b 3 5 我们称 3 4 为线性支持向量回归机 l i n e a rs u p p o r tv e c t o rr e g r e s s i o n l s v r 模 犁 3 2 基于l s v r 的视频数字水印算法 假设原帧图像即为2 5 6 级灰度图像 h h i j 1 1 f m l i 数字水印为二值图像 w w f j l l f 尸 1 夕 f 歹 3 7 s t e p 4 水印性能的评估 采用含水印图与原图之间的位错误率 b i te r r o r r a t i o b e r 评估水印的鲁棒性 采用含水印的图像与原始图像之间的峰值信噪比 p e a k s i g n a lr a t i o p s n r 度量水印的不可感知性 2 1 基于支持向量机的视频数字水印算法研究 3 3 本章小结 pn z 2 w i j 影o i b e r 生 三 p xq 3 8 1 0 p s n rl o l o g 兰坚堕塑婆 3 9 卫 半 3 9 e h i 一h i 州2 应用线性支持向量回归机 建立了视频图像像素点之间的关系模型 并在此 基础上给出了基于线性支持向量回归机的视频数字水印算法 第四章实验仿真 第四章实验仿真 为了检验本文算法的有效性 本节针对常用的典型视频图像s u s i e 7 2 0 x 4 8 0 t a b l et e n n i s 7 2 0 x 4 8 0 m a n 3 6 0 x 2 8 8 t r a i n 4 8 0 x 4 0 0 四组 三帧连续的图像进行仿真实验 首先通过调节不同参数来考察参数选取对本文算 法的影响 然后通过与李春花和卢正鼎方法 1 6 1 的对比 说明本文算法的性能 4 1 模型参数对水印性