【基于多传感器图像特征融合的智能手机行为识别模型分析3900字】

基于多传感器图像特征融合的智能手机行为识别模型分析目录TOC\o"1-3"\h\u23209基于多传感器图像特征融合的智能手机行为识别模型分析 [49]（GramianAngularField，GAF）提供了一种可以将极坐标系下的时序数据转换成图像的方法。该方法可以很好地保留传感器时序数据之间的时间相关性。将时间序列编码为两种GAF图的过程如图1.3所示。首先需要将传感器的时间序列数据映射到极坐标系中，给定时间序列X=x1,x2,⋯,xx(1.5)∅=arccos(1.6)在公式1.6中，ti表示的是时间步长，为了可以规范极坐标系的跨度，使用常数因子N进行限制。由公式1.6可以看出，该映射方式有两个优点，一是反函数的结果有且仅有一个，因为当∅∈0,π时cos∅是单调递减的，因此该映射方式属于双映射。二是，根据极坐标系的特性，时间序列数据映射到极坐标系统可以保留时序数据中的时间相关性，而在笛卡尔坐标系中不具备这样的特性，因为在笛卡尔坐标系中，面积由Si,j=fxtdx将传感器时序数据映射到极坐标系后，可以利用点与点之间的三角和来构建格拉米角和场（GASF），这样可以最大程度地保留时序数据的时间信息。构建方法如下定义：G=cos∅1其中，I表示的是单一行向量[1，1，…，1]。通过定义内积x,y=x∙y−x1',如果将内部乘积定义为x,y=G=sin∅1GASF和GADF的编码图如图1.4所示。此外当原始时间序列的长度为n时，GAF矩阵的大小也为n，这样会导致最终生成的GAF图像太大。为了减小GAF图形的大小，需要对原始时序数据采用分段聚集近似（PAA）进行平滑处理。图1.3GAF编码过程图Figure1.3TheGAFencodingprocessdiagram图1.4GAF编码图Figure1.4TheGAFencodingdiagram1.2基于多传感器图像的融合深度神经网络结构对于两种不同传感器时序数据转换成的图像数据，为了能够实现异构传感器图像数据的协同训练，本文提出了一种基于多传感器图像数据的融合深度神经网络结构。如图1.5所示，该网络结构主要有三部分组成，两个分支网络、融合层和行为分类网络。分支网络主要使用两个残差网络分别对加速度传感器图像数据和陀螺仪传感器图像数据进行训练，提取各自的图像特征；在融合层，对两个分支网络提取的图像特征采用一定的融合策略进行特征融合，得到具有像素级对应关系的融合特征；将融合特征作为行为分类网络的输入，最终实现行为动作的分类识别。图1.5基于多传感器图像数据的融合深度神经网络结构Figure1.5Thefusiondeepneuralnetworkstructurebasedonmulti-sensorimagedata1.2.1分支网络为了学习来自两种传感器的图像数据的特征，对来自加速度传感器和陀螺仪传感器的图像数据，分别使用两个分支网络提取每个图像的紧凑表示。深度残差网络解决了20层网络中令人费解的退化问题，可以更深入地提取图像的深度特征。本文采用深度残差网络作为分支网络的结构，该分支网络主要包含conv1、conv2、conv3这3组卷积层。其中每组由多个构建块组成，每个构建块又包含多个卷积层，conv2包含3个构建块，conv3包含4个构建块，每个构建块的内核大小相同。为了能够实现跳构建块的身份映射，需要给每个构建块设计一个快捷链接方式，此外，为了能够实现最终的底层映射，需要在构建块中添加剩余映射。为了实现维度之间的匹配，conv3的第一个构建块在使用残差映射进行计算之前，需要线性投影到恒等式映射。构建块定义如下：y=F(1.10)这里的x和y是层的输入和输出向量。线性投影Wsy=F(1.11)1.2.2融合策略本文提出的网络架构可以很好地融合加速度和角速度信息，并学习生成图像像素之间的加速度特征和角速度特征的对应关系。具体来说，每种传感器数据都可以将它们编码为四种类型的图像，即RP图像、MTF图像、GASF图像和GADF图像。每幅图像有四个通道，分别对应于三个方向（水平、纵向、垂直）和这三个方向的结果。加速度传感器记录不同的周期加速度数据，陀螺仪传感器相应地记录不同的周期角速度数据，二者融合后判别动作类型。为了便于实现这一点，两个图像应当具有相同的像素大小。在融合层，本文采用Concatenation融合方式对两种传感器在分支网络层提取出的图像特征进行融合。利用加速度计Iacc和陀螺仪Imd=fI其中函数f输出卷积映射，这些卷积映射由卷积核w参数化，d表示水平、纵向、垂直方向及其相应的合成方向。为了简单起见，只在深度残差网络的一个卷积集的末尾对它们进行融合。因此，使用以下公式计算：yd=fF1.2.3行为分类网络本文采用深度残差网络作为行为分类网络的结构，该行为分类网络包含2组卷积层（即conv4、conv5）和一个全连接层。其中每组由多个构建块组成，每个构建块又包含多个卷积层，conv4包含6个构建块，conv5包含3个构建块，每个构建块的内核大小相同。跟分支网络相同，为了能够实现跳构建块的身份映射，需要给每个构建块设计一个快捷链接方式，此外，为了能够实