【《基于注意力-非对称自动编码器的水声OFDM通信系统分析案例》7000字】

基于注意力-非对称自动编码器的水声OFDM通信系统分析案例目录TOC\o"1-3"\h\u21985基于注意力-非对称自动编码器的水声OFDM通信系统分析案例 1236521.1注意力网络 159281.1.1注意力网络的原理与介绍 2186011.1.2注意力网络的结构与特征 3267971.2基于注意力-非对称自动编码器的OFDM水声通信系统 474851.2.1仿真结果及分析 5274341.2.2实验环境参数设置 95711.2.3实验结果及分析 11由于基于非对称自动编码器的水声通信系统在测试集和训练集环境相差较大时，系统无法达到环境相同时的误码率水平。针对此问题，本章在第3章的基础上提出一种基于注意力-非对称自动编码器（Attention-asymmetricAutoencoder）模型的水声通信系统，该模型可以有效解决水声信道的多径问题。通过仿真实验和湖试实验验证，在测试集与训练集环境相差较大时，该系统仍能达到训练时的系统性能，有较高的信道环境适应性。本章首先介绍了注意力网络的原理和结构，然后提出了基于Attention-asymmetricAutoencoder模型的水声OFDM通信系统，并通过仿真和湖试实验详细分析了系统的性能，最后，给出了所提出的系统的计算复杂度。1.1注意力网络本节将介绍注意力网络相关的原理和结构，随后介绍本文设计的注意力网络的算法和结构。1.1.1注意力网络的原理与介绍注意力机制源于对人类视觉的研究，人类会选择性地关注所有信息的一部分，同时忽略其他可见的信息，对特定的输入进行有效选择。注意力机制已经被研究者用于一些场景中，例如：自然语言处理、图像处理、还有语音识别等方面，并取得了不错的效果。本小节首先介绍注意力机制的分类与原理。注意力机制可以被分为几种不同的类型，自注意力机制（Self-Attention），又称内注意力机制，2015年，Xu等人将自注意力机制应用于图像以生成适当的字幕。图像首先由卷积神经网络进行编码，具有自注意力机制的递归神经网络利用卷积特征映射逐条生成描述性词语，他们的模型中注意力模块可以识别出图像中的显著性区域，从而根据这些区域来生成对应的字幕[63]；2016年，Cheng等人提出了一种机器阅读模拟器[64]，在长短时记忆网络（LongShort-TermMemory,LSTM）的基础上加入了注意力网络解决了如何在处理结构化输入时更好地呈现序列网络的问题。还有Soft和HardAttention机制，这两个Attention机制区分的方式为注意力是否可以访问整个输入或只访问输入中的一部分，2015年MTLuong等人设计了带有两层LSTM堆叠编码器的模型并加上SoftAttention机制[65]，并提出两种注意力结构，全局注意力（GlobalAttention）将Attention作用于全部输入序列，局部注意力（LocalAttention）将Attention作用于输入序列的不同子集。SoftAttention所学习的对齐权重关注于整个输入的各个部分，该模型平滑且可微，但是当输入序列非常长时，计算量会非常大。而HardAttention是一个随机的过程，每一步只关注到输入中的一部分，HardAttention没有使用到所有的隐层状态，而是使用one-hot的形式对某个区域提取信息，因此预测阶段具有较小的运算量。但使用这种方式无法直接进行后向传播（梯度计算），因此模型是不可导的而且需要更加复杂的训练技术，例如强化学习和方差降低。在使用注意力机制时，更多的是与Encoder-Decoder框架搭配使用[66]，为下文的可行性有了一定佐证。利用Attention网络的特点，ZhuY等人将Attention网络设计成层叠结构用于全局图像的感知与识别[67]，以达到更加精准的图片分类结果；WangY等人提出了基于注意力机制的LSTM模型，使用评价对象作为注意力机制的督导信息，有效地从上下文中找出与评价对象相关的情感信息，用于最终的情感分类[68]；LiuQ等人提出了一种基于残差学习和时空注意力机制的卷积神经网络（R-STAN）[69]，使其更加注重区分时间和空间特征，解决了视频中存在着大量的时空冗余信息的问题。注意力机制具体的计算过程可以分为三个阶段[70]，大部分计算过程都是关于短文本和图像，这里我们介绍基本的实现思路，根据场景定义出Attention变量ci。第一步，梳理出与Attention变量的相关参数si−1、hj，然后，使用一层前馈网络α处理，该层网络的输入即上步梳理的sα(4-1)e(4-2)最后，得到的权重因子αij与第一步梳理得到的关键变量hj做加权求和得到最终的Attention变量c(4-3)1.1.2注意力网络的结构与特征注意力机制从大量冗杂的信息中挖掘出有价值的信息并把重心转移到这部分信息上，从而抑制其他无用的信息，这些年被大量应用于图像处理、语音识别等方面，还未被应用于通信领域中。考虑到水声信道的复杂性，本文利用注意力机制只选取部分有价值信息的特点，使注意力机制网络对水声信道进行筛选，专注于信道的主径，抑制其他径的信息，达到提高适应性的效果。Attention网络模块放置于水声信道处，用于对水声信道进行权重的调整，筛选有效数据从而增加网络提取特征的能力，为了权衡输入项的重要性，需要计算输入状态和输出状态之间的相关性。为此，添加了Tanh激励函数层，相应的相关值hn(i)可以表示为(4-4)：hn(4-4)其中，hn(i)表示第i个输入项与输出状态之间的相关值，ωiα(i)=exp(4-5)其中，归一化相关值α(i)反映了第i个输入项的权重，T为神经元的个数。将α(i)再与Attention神经网络的输入h(n)相乘，公式可以表示为(4-6)：S(4-6) 其中，α(i)表示Attention网络训练出输入调整的权重，h(n)表示网络的原输入，得到的Sn(i)具体的水声信道-Attention网络模块展开表示如图4-1所示，输入输出均为1024，隐含层设为两层，激活函数分别为Tanh、Softmax，神经元个数分别设置为600和300。图4-1水声信道-Attention网络模块结构1.2基于注意力-非对称自动编码器的OFDM水声通信系统基于Attention-asymmetricAutoencoder模型的水声通信系统框图如图4-2所示。非对称自动编码器的结构如第三章所示，发送端的输入是随机生成的X(k)，经过星座图映射为符号，串并变换后记作x(n)进入自动编码器的发送端，将网络的输出记作x'(n)，再进行快速傅里叶逆变换，为了降低符号间干扰和子载波间干扰，在信号的前端插入循环前缀（CP），得到t(n)∈ℝN。水声信道进入Attention网络后，通过激励函数Tanh和Softmax层得到概率权重后再与原输入h(n)相乘，如式(4-4)到(4-6)所示，该网络目的是通过Softmax激活层将输入的权重进行调整，更加忽略或侧重某个输入，从而更专注于找到未知水声信道的显著有效信息，可以有效筛选数据，防止模型陷入过拟合，使整个系统的泛化能力提高，最后将Attention网络的输出还原成复数形式h'(n)，再将信道r(n)(4-7)其中，⊗表示卷积计算，h'(n)∈ℝN和w(n)∈ℝ图4-2基于Attention-asymmetricAutoencoder模型的水声通信系统在接收端，接收信号首先移除循环前缀，然后经过串并变换转换成并行数据，记为r(n)。并行信号经过快速傅里叶变换将时域信号转换为频域信号，将复数信号的实部与虚部分开进入自动编码器的接收端进行训练，再通过损失函数，将自动编码器接收端的输出与系统的输入的距离不断的缩小。1.2.1仿真结果及分析本节首先分析Attention网络对水声信道冲激响应的影响，而后对加入Attention网络的系统（Attention-asymmetricAutoencoder系统）、不加Attention网络的系统（非对称自动编码器系统）和对称AE的性能进行了对比与讨论，分析了多普勒频移、传输距离的改变和测试集与训练集相同与不同对系统的影响，该仿真结果均为用Bellhop仿真信道作为训练集和测试集得到的结果。水声信道环境的主要参数如表3-2所示。（1）Attention网络对仿真水声信道冲激响应的影响为了验证上述Attention网络的效果与作用，我们将未经过Attention网络的水声信道冲激响应与经过Attention网络后的水声信道冲激响应归一化后进行了对比，如图4-3所示。（a）测试用仿真信道环境3（b）经Attention网络后的信道环境3图4-3经过Attention网络训练前后仿真水声信道冲激响应对比实验在仿真环境2（传输距离1.3km）下训练模型，在仿真环境3（传输距离3km）下测试模型。将经过Attention网络训练前后的仿真水声信道冲激响应进行比较，从图4-3中可以看到，经过Attention网络的水声信道的多径数量明显减少，只保留了水声信道中的最大径，这表明利用Attention网络机制可以有效的对水声信道多径信息进行筛选，只保留最大的信道冲激响应，过滤抑制其他的较小径，这种设计针对强多径的水声信道具有较好的实际物理意义。利用Attention网络对信道进行处理，将处理后的信道再与信号进行卷积，可以提高传输的准确性。同时，在系统进行测试时，Attention网络会对测试的信道进行筛选与处理，提高了整个系统的适应性。（2）相同环境下不同的信道估计方法的影响图4-4对比了在测试集与训练集环境相同下不同信道估计方法的系统性能，图中的“MMSE”和“LS”分别指基于信道估计算法MMSE和LS的水声OFDM通信系统，“对称AE”指基于文献[44]的对称自动编码器的水声OFDM通信系统，“Attention-asymmetricAE”指基于注意力-非对称自动编码器的水声OFDM通信系统，“非对称AE”指基于非对称自动编码器的水声OFDM通信系统。可以看出在不同信噪比（SNR）下基于非对称AE和Attention-asymmetricAE模型的系统性能始终比传统的信道估计方式LS、MMSE和文献[44]中的AE更好，并在信噪比为25dB时的基于Attention-asymmetricAE系统的误码率达到了10-4。从结果来看，利用非对称AE和Attention-asymmetricAE模型的系统可以实现传统信道估计与均衡的能力，且本文所提的基于Attention-asymmetricAE模型的系统误码率水平优于传统的信道估计方法和基于AE[44]的系统。图4-4不同的信道估计方法下的BER比较（3）传输距离改变的影响图4-5对比的是仿真实验中传输距离改变对基于三种模型的系统BER的影响，网络模型均在环境2（传输距离1.3km）下训练，分别在环境1（传输距离1.0km）、2（传输距离1.3km）、3（传输距离3.0km）、4（传输距离6.0km）下测试。从图中可以看出基于AE[44]的系统对环境的适应性（对传输距离的改变敏感）较差，误码率一直较高，在环境4下测试时，在“SNR=25dB”时，误码率也之后10-2左右。而基于Attention-asymmetricAE模型的系统相较非对称AE系统误码率有了明显的降低，展现了良好的环境适应性，证明基于Attention-asymmetricAE模型的系统可以在环境变动较大时仍得到较为良好的测试结果。图4-5不同传输距离下的BER比较（4）随机多普勒频移改变的影响海面的波浪运动和收发两端的相对运动会导致水声信道产生严重的多普勒频移，多普勒频移是影响水声信道环境的重要参数。图4-6为基于文献[44]的对称AE、非对称AE与Attention-asymmetricAE的系统在不同范围的随机多普勒频移下的误码率对比，网络模型均在环境2（多普勒频移约为0Hz）下训练，分别在不同的随机多普勒频移环境6（多普勒频移0-20Hz）和环境7（多普勒频移0-50Hz）下测试。从图中可以看出，不同范围的多普勒频移对基于三种不同模型的系统都有一定的影响且随着多普勒频移的增大，误码率也随之增大。相比之下，基于Attention-asymmetricAE的系统在多普勒频移发生改变时的误码率曲线基本重合且比非对称AE系统的误码率低，说明基于Attention-asymmetricAE的系统有较为出色的泛化能力并可以更好的适应与训练集相比变化较大的测试集。图4-6不同多普勒频移下的BER对比（5）测试集与训练集环境相同和不同的影响图4-7主要分析的是在训练集与测试集环境相同和不同时基于三种模型的系统在不同信噪比下的误码率曲线，环境相同时，模型均在环境2下训练并测试；环境不同时，模型在环境2（传输距离1.3km，时延扩展40ms）下训练，环境5（传输距离6.5km，时延扩展47ms）下测试。从曲线可以看出三种系统对环境的适应程度不同，基于对称AE[44]的系统在训练集与测试集环境不同时误码率与环境相同时相比误码率有较大幅度的变化，说明对称AE系统对环境的改变非常敏感，对环境的适应性较差。在测试集与训练集环境不同时，基于Attention-asymmetricAE系统的误码率曲线比AE[44]和非对称AE系统的误码率曲线低很多，说明基于Attention-asymmetricAE的系统对环境的适应性非常强，表明本文提出新的网络模型相较于非对称AE模型对环境适应性的提升是有效的。图4-7环境相同和不同时的BER对比（6）系统复杂度分析在深度神经网络训练的过程中，计算复杂度主要来源矩阵与矩阵的乘法，包括前向传播和后向传播。我们通过分别在CPU为英特尔i7-9700和GPU为NVIDIAGeForceRTX2080Ti来训练和测试该自动编码器模型的时间复杂度，对于长度为n的比特序列，DNN的时间复杂度为o(n2)。该自动编码器的时间复杂度较高，网络训练的时间长度是1.5个小时，但是测试中预测16比特的数据仅仅需要330μs，因此，已训练的模型可处理数据量为48.485kbit/s，基于Attention-asymmetricAE的系统可以应用于实际测试场景并实时得出结果。通过硬件框架如（GPU、FPGA和TPU等）可以加速自动编码器的训练速度。CPU擅长统领全局等复杂操作，而GPU具有如下特点：1.提供了多核并行计算的基础结构，且核心数非常多，可以支撑大量数据的并行计算。2.拥有更高的访存速度。3.更高的浮点运算能力。由于网络模型使用了较多全连接层，利用代码可检测到TensorFlow的设备使用情况，CPU的计算内存几乎占满，因此在网络训练时，为了提高训练的时间，调整代码改为GPU运算，利用tf.device("/gpu:0")函数，使用GPU训练网络比使用CPU大概能节省52%的时间，可以减少一定的训练时间。1.2.2实验环境参数设置实验地点选择在天津大学卫津路校区敬业湖进行，如图4-8所示实验采用设备采集卡NI-4431,4432，WBT22-1601水声换能器，Brüel&Kjær8104水听器。试验区水深为6m。基于AE[44]、非对称AE和Attention-asymmetricAE模型的系统均用仿真环境2进行训练，分别用实验环境1（传输距离6m）、实验环境2（传输距离100m）、实验环境3（传输距离300m）和实验环境4（传输距离300m，随机多普勒频移约为0-10Hz）进行测试，实验环境4的随机多普勒频移由实验者以约0.5m/s的速度携带水听器移动所得。实验发送端的水听器发送信号，实验接收端的水听器接收信号。实验的一些主要参数：载波频率fc=25kHz，子载波个数N=512，带宽B=8kHz，发送端与接收端的采样率均为96kHz。图4-8实验地点示意图图4-9为仿真环境2的信道冲激响应，图4-10为湖试实验环境1、2、3和4的信道冲激响应，可以看出仿真环境的最大多径时延扩展约为25ms，实验环境的最大多径时延扩展分别约为12ms，30ms，27ms和37ms。实验环境与仿真环境2环境相差较大。图4-9仿真环境2（a）湖试实验环境1（b）湖试实验环境2（c）湖试实验环境3（d）湖试实验环境4图4-10湖试实验环境1、2、3和4的时延特性1.2.3实验结果及分析（1）Attention网络对湖试水声信道冲激响应的影响为了进一步验证上述Attention网络的效果与作用，我们将未经过Attention网络的水声信道冲激响应与经过Attention网络后的水声信道冲激响应归一化后进行了对比，如图4-11所示。（a）测试用的湖试实验信道环境（b）经Attention网络后的湖试实验信道环境图4-11经过Attention网络训练前后水声信道冲激响应对比实验在仿真环境2下训练模型，在实验环境4下测试模型。将经过Attention网络训练前后实验水声信道冲激响应进行比较，从图4-11中可以看到，湖试实验的信道环境较为恶劣，多径严重，经过Attention网络后的水声信道冲激响应的多径数明显减少，基本只保留了最大径，较大程度的过滤了其他的较小径。这表明利用Attention网络机制可以有效的对水声信道多径信息进行筛选，保留最大的信道冲激响应，过滤抑制其他的较小径，这种设计针对强多径的水声信道具有较好的实际物理意义。因此，利用Attention网络对信道处理可以提高传输的准确性，同时在系统进行测试时，Attention网络会对测试的信道进行筛选与处理，提高了整个系统的适应性。（2）传输距离改变的影响传输距离的改变对信号的传输准确性有较大的影响。图412所示为不同传输距离下基于三种模型系统的误码率曲线，“仿真环境2仿真环境2”为三种模型在仿真环境2下训练且测试；“仿真环境2实验环境2”为模型在仿真环境2下训练，实验环境2下测试；“仿真环境2实验环境3”为模型在仿真环境2下训练，实验环境3下测试。从图中可以看出，基于文献AE[44]的系统对环境的适应性（对传输距离的改变敏感）较差，误码率一直较高。而基于Attention-asymmetricAE的系统展现了良好的环境适应性，在训练集分别为实验环境2和3时，Attention-asymmetricAE在信噪比为25dB时BER均达到了10-3左右，与测试集训练集环境相同时的曲线差别不大，说明基于Attention-asymmetricAE的系统有较强的环境适应性，可以在环境变动较大时依旧