基于神经网络的隐写指数估计算法

1、 基于神经网络的隐写指数估计算法 岳普，李学明作者简介：岳普（1992-），男，硕士研究生，主要研究方向：数字图像隐写通信联系人：李学明（1969-），男，博导，主要研究方向：多媒体通信，图像处理，机器学习. E-mail: （北京邮电大学数字媒体与设计艺术学院）2.02.02.02.02.02.0School of Digital Media and Design Arts, Beijing University of Posts and Telecommunications；School of Digital Media and Design Arts, Beijing Universit

2、y of Posts and Telecommunications北京邮电大学数字媒体与设计艺术学院;北京邮电大学数字媒体与设计艺术学院100876;100876;北京市海淀区西土城路10号北京邮电大学;北京市海淀区西土城路10号北京邮电大学;岳普（1992-），男，硕士研究生，主要研究方向：数字图像隐写;李学明（1969-），男，博导，主要研究方向：多媒体通信，图像处理，机器学习岳普;李学明YUE Pu;LI Xue-Ming李学明2.02.02.02.02.02.02.02.02.02.02.02.02.02.02.01*|*期刊*|*Kessler G C, Hosmer C.An Ov

3、erview of Steganography.J.2011, 83: 51107.<CR>2*|*论文集*|*Shrivastava G, Pandey A, Sharma K.Steganography and Its Technique: Technical OverviewA.2012.<CR>3*|*论文集*|*Holub V, Fridrich J.Designing Steganographic Distortion Using Directional FiltersA.2012.<CR>4*|*期刊*|*Sharifzadeh M , Aga

4、rwal C , Aloraini M , et al. Convolutional Neural Network Steganalysis's Application to SteganographyJ. 2017.<CR>5*|*论文集*|*Diouf B, Diop I, Farssi S, etal.Minimizing Embedding Impact in Steganography using Polar CodesA.2014<CR>6*|*期刊*|*Filler T, Fridrich J.Minimizing additive distort

5、ion functions with non-binary embedding operation in steganographyJ.2010.<CR>7*|*期刊*|*Li B, Wang M, Huang J, etal.A new cost function for spatial image steganographyJ.2015: 4206-4210.<CR>8*|*期刊*|*Holub V, Fridrich J, Denemark T. Universal distortion function for steganography in an arbit

6、rary domainJ. Eurasip Journal on Information Security, 2014, 2014(1):1.<CR>9*|*论文集*|*Fridrich J, Filler T.Practical methods for minimizing embedding impact in steganographyA./ Electronic ImagingC.2007.<CR>10*|*期刊*|*Filler T, Fridrich JJ.Gibbs Construction in SteganographyJ2010, 5(4): 705

7、-720.<CR>11*|*期刊*|*Fridrich J, Kodovsky J.Rich Models for Steganalysis of Digital ImagesJ.2012, 7: 868-882.基于神经网络的隐写指数估计算法|Steganographic Index Estimation Algorithm Based on Neural Network|1|岳普|YUE Pu|北京邮电大学数字媒体与设计艺术学院|School of Digital Media and Design Arts, Beijing University of Posts and Te

8、lecommunications|岳普（1992-），男，硕士研究生，主要研究方向：数字图像隐写|北京市海淀区西土城路10号北京邮电大学|100876|<CR>*|2|李学明|LI Xue-Ming|北京邮电大学数字媒体与设计艺术学院|School of Digital Media and Design Arts, Beijing University of Posts and Telecommunications|李学明（1969-），男，博导，主要研究方向：多媒体通信，图像处理，机器学习|北京市海淀区西土城路10号北京邮电大学|100876|摘要：现今大多数隐写算法只关注如何在

9、给定图像中选择适合修改的像素，很少有关注图像内容对隐写影响。本文研究了载体图像内容与载体图像嵌入能力的关系,发现隐写指数可以有效地评价载体图像隐写性能,又设计了一种基于浅层神经网络计算图像隐写指数的算法。本文设计的隐写指数估计算法包含修改代价计算，代价特征提取和隐写指数估计三个步骤。实验结果显示,ImageNet 数据集使用 0.4bpp（bit per pixel）负载的 HILL 算法进行验证(SRM+EC 检测器)隐写指数在 0,10 区间的图像在隐写后,错误率为 0.084,这部分图像均不太适合隐写,隐写指数在 50,60 区间的图像在隐写后,错误率为 0.4401,这部分比较适合作隐

10、写图像。BOSSBase 数据集测试,基于神经网络的隐写指数算法计算的嵌入指数与目标值的相关系数高达 0.99955。 关键词：隐写术；隐写指数；神经网络 中图分类号：TP37 Steganographic Index Estimation Algorithm Based on Neural Network YUE Pu, LI Xue-Ming(School of Digital Media and Design Arts, Beijing University of Posts and Telecommunications)Abstract: Most of today's ste

11、ganographic algorithms focus only on how to select pixels that are suitable for embedding in a given image, rather than the impact of image content on steganography. In this paper, the relationship between the content of the carrier image and the image embedding ability of image is studied. It is sh

12、own that the steganographic index can effectively evaluate the steganographic performance of the carrier image, and an algorithm based on the shallow neural network to calculate the image steganographic index is proposed. The steganographic index estimation algorithm designed in this paper contains

13、three steps， modification cost calculation, cost feature extraction and steganographic index estimation. The experimental results are as follows, BOSSBase dataset and ImageNet dataset are used with 0.4bpp-payload(bit per pixel) HILL algorithm (with SRM+EC detector). The images with index value in th

14、e 0,10 interval, which are unsuitable to embed, are steganized, and the error rate is 0.084, the images with index value in the 50, 60 interval, which are suitable to embed, are steganized, the error rate is 0.4401. In the BOSSBase dataset, the correlation coefficient between the target value and st

15、eganographic index calculated by the neural network-based steganography index algorithm is as high as 0.99955.Key words: Steganography; Steganographic Index; Neural Network0 引言隐写术1, 2主要用于实现隐蔽消息传输，隐蔽通信可以大大降低通信被窃听或被攻击的概率，特别是在通信被监测的情况下。当通信处于被监测状态下，直接传输加密信息已经不再安全，并且会直接将接收方与发送方暴露。将信息嵌入隐写载体后，最大程度上保证通信安全及通

16、信双方的安全。自适应隐写算法是一大类方法，主要特点是可以根据图像的内容确定消息嵌入的位置。一般情况下，自适应隐写算法将消息嵌入在纹理丰富且复杂的地方，检测器相对难以发现在上述区域进行的小幅度修改。自适应隐写算法往往都用到最小化嵌入失真的理念，该理念认为修改每一个像素都会带来不同的失真（可以用标量度量），算法负责找到一条嵌入路径或是一个嵌入消息的像素的子集，使得嵌入消息的累计嵌入失真最小。大多自适应隐写算法致力于寻找效果更优的像素损失（或称为修改代价），算法中的修改代价区别不同算法的核心部分。目前优良设计的自适应隐写算法大多需要比较准确的识别出纹理较为丰富复杂的区域，图像滤波器在识别纹理方面有较

17、好的效果，因此隐写算法往往通过滤波器分配像素修改代价，高通滤波器可以获得纹理区域，低通滤波器可以将获得的纹理区域适当平滑并加以适当扩散。WOW（Wavelet Obtained Weights）算法3使用多种滤波器计算修改代价。有些隐写算法通过卷积神经网络输出修改代价4，包含大量卷积核的网络既可以为每个像素生成一组修改代价，也可以生成多组代价，之后由人工组合生成一组修改代价。在实际嵌入的场景中，STC编码5, 6负责根据修改代价写入制定消息，无需修改代价即可提取嵌入消息。该编码使用维特比算法进行修改像素的选择，在计算速度和嵌入效果之间达到平衡，使用该码隐写得到的图像抗检测性能与理论仿真的结果极

18、为接近，因此被广泛使用。1 图像隐写过程与隐写容量1.1 图像隐写过程空域数字图像隐写算法一般要对图像的某些像素进行修改，以实现消息嵌入。在自适应隐写算法中，不同像素被修改的可能性一般不相同，像素修改代价可以描述像素被修改后引入的失真。一般来讲，修改代价影响这像素的修改概率，像素修改代价大的像素被修改的概率较小，像素修改代价小的像素被修改的概率较大。修改概率直接影响可以嵌入消息长度，在给定嵌入消息长度的情况下，修改概率唯一确定。消息嵌入过程往往分成两个场景，只嵌入场景和嵌入提取场景。只嵌入场景中，当像素以一定的概率被修改，则认为信息嵌入到图像中，只不过嵌入的消息无法提取。只嵌入场景中，嵌入过程

19、主要有三个步骤：计算修改代价，计算修改概率，随机嵌入。详见图1。图1 只嵌入场景下隐写嵌入过程Fig. 1 the embedding process of embed-omly mode嵌入提取场景用于实际隐写任务，STC编码是该场景下常用的编码方法。算法根据图像的修改代价和消息，在图像选择一条最累计失真最小的路径嵌入消息，提取过程使用矩阵乘法直接提取消息。虽然嵌入提取场景更接近实际情况，但是只嵌入场景更便于分析隐写算法的理论性能，因此本章的研究均使用只嵌入场景。隐写嵌入过程主要是由两个步骤计算修改代价和计算修改概率。修改代价的计算方法多种多样，WOW算法，HILL算法7，SUNIWARD算

20、法8。1.2 隐写容量图像中每个像素就是一个子信道，每个像素的信道容量由信道不同符号的出现概率决定。在三元嵌入的情况下，有三种嵌入的可能性I=-1, 0,+1，没有任何限制的情况下，单个像素的信道容量可以由式1计算得到。但是在±1等概率嵌入的情况下，单个像素的信道容量就仅与像素被修改的概率有关。 假设像素被修改的概率为p（即嵌入-1或+1 ），那么像素嵌入-1与嵌入+1的概率均为p/2，不改变（即嵌入0）的概率为（1-p），则该像素的容量也能写成式2的形式。c=yIp(y)log21p(y) c=plog22p+(1-p)log2(11-p) 隐写图像的信道容量可以认为是所有像素构成

21、的子信道容量的和，给定嵌入负载后，需要嵌入的信息长度M由式3计算，图像的信道容量C可以表示为式4中的形式。一般要求信道容量等于嵌入消息的长度，可以表示成式5的形式。M=m×l×payload 其中图像的宽m像素，高l像素，payload为指定负载。 C=i=1mj=1lyi,jIi,jp(yi,j)log21p(yi,j) 其中y（i, j）表示对（i, j）位置像素修改，修改的种类仅限于I i, j中的修改，I i, j=-1, 0,+1。 m×l×payload=i=1mj=1lyi,jIi,jp(yi,j)log21p(yi,j) 每个像素修改的修

22、改概率是根据修改代价计算，式6给出了一种有修改代价到修改概率的计算9, 10。 pyi,j=exp(-i,j(X,yi,j)yi,jIi,jexp(-i,j(X,yi,j) 其中i,j(X,yi,j)为在（i, j）位置嵌入yi,j的修改代价。在计算像素修改概率时，必须满足式5中的条件，因此给定嵌入负载与像素修改概率，就会唯一确定一个（> 0），使得图像信道容量等于嵌入信息的长度。的求解主要使用迭代法，假设的值，判断当前是否满足式5中的要求。由式6可知，在给定修改概率的情况下，修改概率是的减函数，由式2，结合实际情况中像素修改概率大多落在0,2/3区间的条件，可知像素容量是修改概率的增函

23、数。所以信道容量是的减函数。的计算正是利用像素信道容量与的单调性。在给定嵌入负载的情况下，二分查找满足负载要求的。首先需要确定的上界，当趋于正无穷时，信道容量趋于0。当信道容量刚刚低于设定的容量，此时的取值为其上界。在寻找上界的时候，为了加速寻找的过程，的增长策略采用翻倍增长，同时设定翻倍增长的最大迭代次数，此值为经验值，设为20。当确定上界后，使用二分搜索确定满足负载要求的。设定二分查找的精度和最大查找步数分别为千分之一和10。算法需要以像素+1的修改代价和像素-1的修改代价作为参数送入函数，像素未修改的代价设为0。给定修改代价计算的过程最多迭代30次。目前最小嵌入失真框架下，HILL算法作

24、为效果最好，计算最快的隐写算法之一，有广泛地使用基础。本文采用HILL算法的修改代价作为计算过程中使用的修改代价。同时考虑到隐写图像通常承载大量信息，在仿真中0.4bpp是常用的负载，使用0.4bpp的负载计算更能贴近实际使用场景。本文出现的亦在0.4bpp负载下进行计算。2 载体图像隐写指数与隐写能力评价由上一章可知，在给定修改代价与嵌入负载的情况下，可以计算得到唯一的，从而计算得到修改概率，得到隐写图像。但实际情况是，每张图像计算得到不同修改代价，不同的修改代价和指定的负载可以计算得到不同，从而计算得到不同的修改概率。图像以指定嵌入负载写入消息后，被检测到的概率不相同。本章主要研究图像与图

25、像隐写能力之间的联系。上一章计算得到的在每一个数据集上都有分布，有些图像的偏大，有些图像的偏小。不同的图像，隐写嵌入之后被检测器检测出的概率也不相同。本节分析了BOSSBase数据集和ImageNet数据集上的分布。为了减少其他因素对实验结果的影响，对数据集做如下处理。BOSSBase数据集含10000张无压缩灰度图像，图像尺寸为512$times$512像素，将每张图像裁剪为8张256×256像素得到80000张图像，图2所示为八种不同的切割位置，前四种分割方式没有重叠部分，而后四种分割方式有1/4的重叠区域。ImaeNet数据集是尺寸不固定的彩色压缩图像，为了排除图像尺寸及色彩对

26、实验的影响，将图像裁剪成256×256像素大小并转换成灰度图像。实验数据涵盖压缩图像与无压缩图像。图2 将512×512图像裁剪为8张256×256图像的分割方式Fig. 2 one way to crop 1 image with size 512×512 to 8 images with size 256×256在两个数据集下，使用0.4bpp负载计算，大部分落在0,60区间。BOSSBase中有70838张图像其小于60,占数据集的88.55%，ImageNet中有28449张图像其小于60，占数据集的59.90%。选取60作为研究范围的

27、上限有以下两个原因：l 错误率区分不明显。当大于60时，检测器对于这部分图像检测的错误率接近0.5，即随即猜测。ImageNet中有约40%的图像的大于60，这部分图像的错误率几乎不随的变化而变化，此时再对进行区间划分意义不大。l 图像数量较少，错误率无法保证精度。BOSSBase是无压缩的数据集，大于60的图像数量比较少，按照量化区间为5设置，后续区间内图像数量少于2000。少量图像无法保证检测错误率的精确。在两个数据集下的分布见图3。两个数据集的分布均呈现长尾的分布，大部分图像分布在较小的范围内，少数图像的较大。的分布是数据库的特性，不同的数据库，图像嵌入指数分布的尾的长短是不一致的。BO

28、SSBase数据集下图像的落在0, 60区间较多，且大多集中在较低的值，直方图对应部分峰较尖，在5,20的区间内集中了大量的图像，约占总体的61.27%。ImageNet数据集下图像的分布非常均匀在较大的区间还有较多的图像,在5,20的区间的图像数量约占总体的34.05%。图3 值在两个数据集中的分布,截取0,60的区间，左侧的直方图为BOSSBase数据集下的分布，右侧的直方图为ImageNet数据集下的分布Fig. 3 the distribution of within 0, 60, the left shows BOSSBase and the right ImageNet图4与图5分

29、别展示WOW算法与HILL算法在不同图像子集上的错误率，检测器为SRM+EC检测器11。图4 WOW算法在不同值区间的检测错误率式Fig. 4 WOW error rate of images with different 由图4可知，无论是高负载还是低负载,无论在BOSSBase数据集还是ImageNet数据集，检测器错误率(针对WOW算法)随增加而增加，具有一定的正相关性。特别高(例如在55, 60区间范围内)的图像用不同负载嵌入后，检测错误率都较高，特别低(例如在0, 5区间范围内)的图像用不同负载嵌入后，检测错误率都较低。落在中间范围内图像隐写后，错误率受负载的影响较为明显，例如0.1

30、bpp负载时，错误率上升最快的部分为10, 15区间，0.4bpp负载时，BOSSBase数据集下错误率上升最快的部分为15, 20区间，ImageNet数据集下错误率上升最快的部分为20, 25区间。图5 HILL算法在不同值区间的检测错误率式Fig. 5 HILL error rate of images with different 图5使用HILL算法验证对载体图像的区分效果，曲线的整体趋势与图4中的曲线的趋势相同。落在中间范围图像对不同的隐写算法表现略有不同。在无压缩的BOSSBase数据集上，HILL算法优于WOW算法，但在压缩的ImageNet数据集上相反。上述现象属于数据集的差

31、异，但明显地看出在0,10区间内两种算法被错误检测的概率都非常低（均低于0.02，远远低于全数据集上的错误率），而在50,60区间内两种算法被错误检测的概率都很高（均高于0.42，远远高于全数据集上的错误率）。落在两端的图像隐写后的错误率对隐写算法不明显，适合作为载体图像的评价指标。图6展示了一些图像。图6 不同区间范围内的图像实例，上面的图像在0,5之间，三张图像由左至右分别为，下面的图像在55，60之间，三张图像由左至右分别为，Fig. 6 some images with different interval of , the three above with within 0, 5,

32、namely , , , the three above with within 55, 60, namely , , .上面一行的图像的较低，在0,5范围内，下面一行的图像比较高，在55,60范围内。通过观察，上面的图像亮度整体偏低，图像内容也较为单一，纹理区域较少。例如左图中黑色背景占据构图的绝大部分，花朵整体亮度不高，并且花朵的边缘不清晰。中间的图中包含大量无纹理平面，虽然有光照阴影，但阴影的变化也非常规律，台灯附近的纹理比较丰富，但台灯所在的区域只占图像很小一部分。右图的内容相对丰富，相比左侧两张图，亮度有明显提升，但图像焦点在近处的方台上，远处的物体处于虚焦状态，并且远处的物理同样包

33、含大量平面。这些图像均不适合做载体图像。而下面的图像亮度适中，内容和纹理也比较丰富。例如左图森林中的针叶占据构图的大部分，松针相互交叠产生大量类似纹理的效果。中间的图中，石头近似平面，但石面较为粗糙还有不同颜色的斑块，除此之外石块与草地的交界处也非常复杂。右图整体非常清晰，近处的树林与远处的天空都没有虚焦，占据近一半画幅的树林与山石区域与本行左图有相似之处。这些图像比较适合选作载体图像。的值不受具体嵌入消息的影响，给定负载与修改代价可以唯一确定一个，是反映图像本身性质的量，本文称为隐写指数，表示图像的嵌入能力。3 基于神经过网络的隐写指数估计算法第一章中详细介绍了传统方法中，传统计算隐写指数需

34、要迭代查找隐写指数的精确值，不断计算信道容量。本节提出了一种基于神经网络的隐写指数算法，该算法实现了输入载体图像，直接输出隐写指数,只需一次前向计算即可得到较为精确的值。隐写指数算法主要分为三个模块，即修改代价计算模块，代价特征提取模块和隐写指数嵌入模块，分别实现像素修改代价计算，全局修改代价特征提取和载体图像隐写指数计算。三个模块之间的关系见图7。图7 基于神经过网络的隐写指数估计算法框架Fig. 7 the framework of steganographic index estimation algorithm based on neural network像素修改代价是像素级别的概念

35、，而载体图像隐写指数是图像级别的概念。由上节可知，隐写指数可以感知全部像素修改代价的整体水平，因此计算隐写指数首先需要对全局的像素修改代价有一定的了解。随后使用神经网络学习修改代价全局特征与隐写指数之间的关系，训练完成后可以直接计算修改代价，提取全局修改代价特征，计算载体图像隐写指数。3.1 图像修改代价计算隐写指数从某种角度来讲是整幅图像修改代价的抽象，因此图像修改代价计算是非常基础的一步。本文提出的隐写指数采用HILL算法的修改代价。本节主要使用一个卷积网络计算修改代价，网络中三个卷积层对应HILL算法中三个滤波器，该卷积网络所有卷积核都是已知的，通过一次前向计算得到HILL算法的修改代价

36、。网络的结构图如图8所示。图8 HILL算法修改代价计算网络架Fig. 8 the network of HILL cost computation网络第一层为PADDING层，使用对称PADDING向四周填充尺寸1。PADDING层是卷积网络中经常使用的层，主要用于维持卷积结果的尺寸，常见的PADDING方式有三种，分别是常量填充，循环填充和对称填充。第二层为卷积层，卷积核3×3的高通核。第三层为绝对值层，该层为输入的每一个元素取绝对值，随后输出。第四层为PADDING层，PADDING的参数与第一层相同。第五层为卷积层，卷积核3×3的低通核，每个元素的值均为1/9。第六

37、层为倒数层，该层为输入的每一个元素取倒数，如果输入包含0值，则会导致网络输出异常，为了防止上述情况发生，在输入时为每个元素加上微小偏移，网络中微小偏移设置为10-20。第七层为PADDING层，由于第八层卷积层的卷积核尺寸为15×15，若要卷积后保持尺寸不变，需要向四周填充7个像素，仍使用对称填充。一般来讲，当卷积的滑动步长为1时，保证卷积后尺寸不改变，PADDING的尺寸sizePADDING满足， sizePADDING=floor(sizePADDING/2)。第八层为卷积层，卷积核15×15的低通核，每个元素的值均为1/225。第八层输出的结果即为HILL算法的修改

38、代价。3.2 全局修改代价特征提取像素修改代价往往受周围像素的影响，并且和像素所处位置有较密切的联系，如果像素位于纹理比较丰富的区域，一般像素修改代价就很小，如果像素位于相对平坦的区域，一般像素修改代价都很大。但修改代价的全局特征应该与图像内容没有直接关系，仅与所有像素的修改代价直接关联。为了便于后续计算，要求特征的维数固定，并且不同尺寸的输入修改代价均需得到相同维数的特征。卷积神经网络是普遍认为简洁有效的特征提取方法。输入数据通过一系列卷积核卷积，最终得到指定维数的特征。带全连接层的卷积神经网络可以保证特征维数固定，但要求输入图像的尺寸固定。不带全连接层的卷积神经网络对输入图像尺寸没有要求，

39、但是不同尺寸的输入得到的特征维数不固定。本节主要提出一种全局修改代价特征提取算法，该特征可以从图像全局层面了解修改代价水平，并且满足特征维数固定，不受修改代价尺寸影响。借鉴直方图特征对观测值在不同区间内出现频次做统计的思想，本节提出的全局修改代价特征对不同比例的修改代价统计均值，作为全局修改代价特征。特征的计算步骤如下。首先将输入修改代价排序，全局修改代价特征并不关注修改代价在空间上的分布，只关注修改代价的数值，排序后可以直观地呈现修改代价增长趋势。然后选取特定比例的修改代价，计算修改代价的均值，作为特征的一个维度。本节选取修改代价的规则如下，选取修改代价最小的1%的点（是数量上的占比），计算

40、均值后作为特征的第一维度。选取修改代价的数量等差增长，第二个维度由修改代价最小的2%的点计算，以此类推，第99个维度由修改代价最小的99%计算。设定比例计算修改代价均值的方法，既可以通过设定选取的比例控制特征的维数，也可以除去修改代价尺寸对特征提取的影响。本节的特征维度是99维，选择99维特征一是出于高维特征的所包含的信息要比低维特征多，便于后续隐写指数的拟合，二是要保证每不同的比例之间有一定的差异性，每次引入的点的数量要足够多。一方面要求特征维数越高越好，另一方面要求特征维数低些好，综合两个方面，将特征维数设定为99。图9展示了三个不同的修改代价特征，方块线描述的修改代价整体较高，并且含有大

41、量修改代价极高的点，虚线描述的修改代价相对较低，而实线描述的修改代价整体非常低，并且还有大量修改代价极低的点。图9 部分图像的全局修改代价特征Fig.9 samples of whole scale cost feature3.3 载体图像隐写指数估计神经网络（也称人工神经网络）起源于上世纪中叶，是一类模仿人脑学习过程的数学模型。神经网络内每一个神经元完成的工作很简单，仅仅对多个输入按照权重整合，激活后输出到其他神经元，相当于每个神经元完成一个映射，但是数目庞大的神经元相互连接，便可以以非常高的精度逼近现实中非常复杂的映射，解决复杂的数学问题。神经网络的应用非常广泛，在计算、识别、决策和控制方

42、面都有优异的表现。全局修改代价特征包含了载体图像修改代价信息，并且由第一章可知，隐写指数与全局修改代价的关系。因此，通过全局修改代价特征学习隐写指数是可行的。考虑到神经网络较强的逼近已知函数的特点，本节使用一个三层的神经网络学习全局修改代价特征与隐写指数之间的关系。网络的结构见图10所示。图10 隐写指数估计网络Fig.10 steganographic index estimation network神经网络输入层包含99个节点，隐藏层包含10个神经元，每个神经元都采用SIGMOID函数作为激活函数，见式7，输出层含有一个神经元，采用线性恒等函数作为激活函数,见式8。隐藏层使用SIGMOID

43、函数作为激活函数，这样可以提升神经网络拟合非线性关系，而拟合目标有较广的变化范围，使用线性恒等函数作为激活函数。考虑到网络拟合的任务相对简单，并为了网络有良好的泛化性能，隐藏层应含有尽量少的神经元，又因为输入神经元数目较大，综合考虑将隐藏层神经元数目定为10，该网络经交叉验证，表现出良好的准确性与泛化性。y=fu=11+e-cu 其中c为调整曲线变化率的参数。y=fu=u 3.4 实验结果本节的实验均在ImageNet数据集与BOSSBase数据集上完成，ImageNet数据集的验证集包含50000张彩色压缩图像，为了便于计算修改代价，将所有图像转换为单通道灰度图像，并裁剪成256×

44、256大小。选取数据集中40%的图像用于训练，共20000张图像，选取30%的图像用于交叉验证，共15000张，剩下30%的图像用于测试，共15000张。学习的标签为0.4bpp时计算出的隐写指数，采用均方误差作为损失函数。神经网络训练过程使用Levenberg-Marquardt算法（LM算法）进行参数优化。LM算法利用泰勒展开，忽略掉二阶以上的导数项，优化目标方程转化为线性最小二乘问题，兼具高斯-牛顿算法以及梯度下降法的优点。如果损失函数下降太快，使求解更接近高斯牛顿法，如果下降太慢，使之更接近梯度下降法。一般来讲，LM算法是最快收敛的优化算法，但占用内存相对较大。算法内部参数均使用默认参

45、数。图11展示了训练过程损失函数的变化。图11 隐写指数计算网络在训练集、验证集和测试集上的误差Fig.11 errors of steganographic index estimation network on train set, validate set and test set训练初期损失函数下降非常快，在10个epoch后，训练集、验证集下的误差就降至15左右，测试集的损失就降至30左右。随后损失下降比较慢，但是在64个epoch后，三个集下的损失又有明显下降。最低误差出现在第73个epoch后，约为12，训练大约在80个epoch后结束。图12展示了训练结束时，训练集、验证集、测

46、试集和全数据集下，神经网络输出的拟合结果与拟合目标的相关系数。图12 隐写指数计算网络在训练集、验证集和测试集上的表现Fig.12 performance of steganographic index estimation network on train set, validate set and test set在训练集下，神经网络输出与拟合目标的相关系数高达0.99988，并且拟合直线的斜率近似为1，偏移也非常小，网络充分学习到全局修改代价特征与隐写指数之间的关系。神经网络在验证集下的表现与训练集上相仿。网络在测试集上的表现也非常理想，相关系数高达0.99984。拟合直线的斜率近似为1

47、，偏移为0.037，具有非常优秀的泛化性能。在全数据集下，大部分的隐写指数都落在较小的区间内，只有极个别特别大的隐写指数，在隐写指数较大的区域数据点比较稀疏，但是神经网络在较广范围内，对任意区间的隐写指数都可以有效估计，使用场景非常广泛。基于神经网络的隐写指数估计算法不仅在精确度上表现良好，而且在计算速度大幅提升，在MATLA仿真软件中，开启11个worker的情况下，传统迭代法计算一张图像（图像尺寸为512×512）的隐写指数平均需要0.387秒，基于神经网络的计算方法计算一张图像（图像尺寸为512×512）的隐写指数平均仅需0.077秒，计算时间减少79.63%，因此，基于神经网络的隐写指数估计算法非常适合海量图像的相关处理。4 结论本文主要介绍了隐写指数并介绍一种基于神经网络的隐写