《深度卷积神经网络中张量分解的CP与Tucker分解算法对比》9600字

深度卷积神经网络中张量分解的CP与Tucker分解算法对比摘要张量是矩阵的高阶推广，是分析高维数据的有力数据，张量的研究主要集中在张量的特征值与张量分解两大领域，目前针对张量分解的研究已经相当成熟，但是对于张量分解的矩阵分解、秩的估计、优化算法等还需要解决。本文首先对张量分解、深度神经网络，CP分解和Tucker分解的概念做出了具体的界定，之后论文以张量分解在卷积神经网络中的实际应用进行了探讨。具体地，文本首先使用张量分解思想对Resnet卷积神经网络进行分解，对FashionMNIST时尚数据集进行识别，验证了分解过后的卷积神经网络识别精度更好。实验以猫狗大战数据集作为训练集，具体研究了张量分解中CP分解和Tucker分解的方法、代码实现和训练结果精确度，对其进行了深入的研究和探讨，验证了CP分解和Tucker分解的效率和准确性。关键词：张量分解；卷积神经网络；CP分解；Tucker分解；Python目录1绪论 11.1研究背景及意义 11.2研究主要内容 12理论基础 22.1张量缩并 22.2张量分解 22.3深度神经网络 22.4CP分解 32.5Tucker分解 43代码实现过程 63.1整体逻辑介绍 63.2训练、测试数据的打包和处理 63.3CP分解和Tucker分解的实现 73.4主函数功能的实现 84结果分析 10结语和展望 16参考文献 171绪论1.1研究背景及意义对于张量的研究主要集中于张量的特征值与张量分解这两大领域。张量分解最初是由Hitchcock在上个世纪三十年代提出的[1]，其研究有着上百年的历史，所以张量分解相较张量特征值来说研究更广泛也更久（陈思涵，张若琳，2022）。张量分解的应用可以追溯到盲源分离，即在未知源信号和系统混合参数的情况下，依据源信号的特性，仅从观测的混合信号中分离或提取各个源信号的方法。盲源分离，高维数据的低维表示都对应于张量分解（方景轩，汤俊杰，2023）[2]。张量分解一般有两大作用，其中之一就是通过分解的模式将复杂的数据进行分离和分析，具体提取数据中的特征点和描述；另一种则是通过低秩的不断向高秩逼近来处理大量的数据，降低系统的处理压力，以便能够以更高精度同时更高效率地分析处理各类数据[3]。张量研究已取得一定的成果，但仍有较多亟待解决的问题（骆明哲，汪嘉诚，2021）。对于矩阵的特征值，有着明确的定义，但对于张量，存在多种特征值定义[4]。矩阵的秩有明确的物理意义，但张量的秩目前物理意义不明确。对于张量分解，因为对于张量秩的求解是一个NP-hard的问题[5]，所以张量分解的研究大多是张量近似分解，但对于对称张量的秩估计已经有了一定了理论基础，针对对称张量展开理论研究，利用优化算法[6]，基于已确认的成果可推导出相关结论进行数值求解，对于一般张量的精确分解也是一个亟待解决的问题（程俊熙，邹嘉豪，2021）。所以对张量分解在深度神经网络中的具体分析和效率研究有着很重要的研究意义。1.2研究主要内容本论文研究的主要内容是在构建一个有效的深度神经网络的基础上，通过训练集对该深度神经网络进行训练，之后利用张量分解的两种算法：CP分解和Tucker分解算法分别进行训练[7]，通过对比两种算法下的训练时间、综合性能等来评判两种算法的优劣，最终得出张量分解在深度神经网络模型中的具体应用和性能对比结果[8]。2理论基础2.1张量缩并张量缩并是一种求迹的推广，类似应力张量有9个分量，不变量是三个主应力[9]。通过张良缩并，研究者可以很好的将二阶的不变量转化为定值，这一定值具体指的是零阶的不变量，这一方法一定程度上与求迹的方式是非常类似的，其中很显著的一个例子就是黎曼曲率的缩并。同时，缩并是张量的一个上标和一个下标相同的运算，其结果是一个比原来张量低二阶的新张量（靳志远，何静怡，2024）[10]。同时必须明确，这在一定程度上传达不是所有张量都可以进行缩并的，例如最典型的无法缩并的张量就是协变或者逆变指标数目为0的张量。可见，缩并是协变和逆变的相互抵消（类似一顺一逆，正好抵消）。因为是值之间的相互抵消，所以缩并后，张量的指标数都是少2N个，N是正整数。比如5阶张量缩并，可以得到三阶张量或者一阶张量（李明轩，杨柳青，2019）[11]。2.2张量分解张量具体指的是一种高阶的多变矩阵，它是将向量、矩阵和标量向跟高的阶层推广的结果。其中将标量、向量和矩阵分别被称为零阶、一阶、二阶张量[12]，而更大的例如xI1…xIN张量尽管和微分几何的关系最密切，但张量计算公式和矩阵计算公式很类似。很多理论基础都是一样的，比如线性空间、对偶坐标系[13]，可以认为张量本质与线性代数有着异曲同工之妙（舒俊熙，秦正阳，2020）。此外，张量的指标可以根据实际需求具体变化，在此特定情境下事实昭然若揭其与周期和频率的关系道理相同，指标的升高降低类似于用一个其他的坐标来代替原坐标，因此如果用对偶坐标系表示的话，它的顺逆必须改变。这也就是协变指标和逆变指标的得名由来（程俊驰，屈明杰，2019）[14]。2.3深度神经网络深度神经网络是机器学习领域中一项很常用的技术，也是深度学习的基础内容之一。如果想要模拟人脑的运算，使用单个的神经元是远远不够的，需要多个神经元之间的协调操作，多个神经元通过特定的方式进行连接就构成了神经网络(周羽,陈慧玲,2021)。神经网络具体是一种基于感知机的向外扩展[15]，而深度神经网络具体就是将很多隐藏层显现出来，按照不同层的位置进行划分，深度神经网络可以分为输入层、隐藏层和输出层，通常情况下深度神经网络的第一层是输入层、最后一层是输出层、中间层均为隐藏层，神经元之间的结构如图2.1所示(邵志杰，樊慧君,2021)。图STYLEREF1\s2.SEQ图\*ARABIC\s11神经元结构图在深度神经网络中，这在一定程度上展现了每一层之间都是相互连接的，即为第n层的某个神经元会与n+1层的任意某个神经元相连[16]，虽然深度神经网络的随机性导致其非常复杂。但是如果拿一块小的局部模型来说，其感知机制原理还是一样的，即一个线性关系再加上一个激活函数构成(魏星羽,付芝和,2023)[17]。感知机制是一种前馈神经网络，于输入层和输出层之间转换，将数据存放在一个线性可分空间里，通过多层感知机制对深度神经网络进行非线性学习，用来计算进而得到想要的结果（林子谦，江雅琳，2021）。与前文综述里的成果相对比，本阶段的研究成果和计算结果大体相似。首先，这体现了本研究在方法论上的有效性与可靠性。这种一致性既为先前研究的结论做了背书，也为现有理论框架加固了支撑。凭借严谨周密的研究设计、数据收集和分析流程，本文得以复现前人关键性发现，并在此根基上深挖拓展。这不仅让研究假设更令人信服，也证明了所选研究方法的科学性。此外，这种相似性为跨研究比较搭建了桥梁，有助于整合出更全面、系统的理论体系。神经网络通常需要激活函数，通常来说常用的激活函数有sigmiod，tanh，relu，prelu函数等[18]。基于以上讨论其中最常见的函数就是sigmiod函数，该函数的定义为：，将实数在0-1上映射，如果值越小则越趋近于0，可以理解为兴奋则输出1，抑制则为0。2.4CP分解CP分解的具体含义就是将一个张量分解分成多个单秩张量的和，即将一个高阶的张量分解为若干个一维的因子矩阵，例如将三阶张量分为三个一维的矩阵。这是一种从低维向高维不断逼近的特征提取模式[19]，如果给定一个三阶张量，则可以将CP分解具体表示为如（2-1）：（2-1）具体张量分解的三阶表示图如下：图STYLEREF1\s2.2三阶张量CP分解图2.5Tucker分解Tucker分解在1996年就已经被提出了[20]。通过Tucker分解可以将一个三阶的张量分解为三个因子矩阵以及一个核张量，每个维度上的因子矩阵都是张量在该维度上的基矩阵。所以Tucker分解又被称为高阶PCA或者高阶SVD[11]，上述介绍的CP分解也是一种特殊的Tucker分解形式。在这个条件下如果各个维度是相同而且呈对角状态，Tucker分解即为CP分解，三阶张量的Tucker分解如下图所示2.3。图STYLEREF1\s2.3三阶张量Tucker分解图Tucker分解在现阶段有着多种多样的的应用，这种分解方法具体对于降噪、特征提取和张量学习等有关方面有着重要的应用意义，同时也可以将其认为是PCA进行多线程分解时的特殊版本，本论文将Tucker分解作为一种对比方法进行深度神经网络学习，以对比张量分解在深度神经模型中的应用和效率(熊泽光,唐小曼,2023)。3代码实现过程3.1整体逻辑介绍本论文的训练数据集选择的是猫狗大战训练数据集，数据集为开源，通过官网发送邮件收得，通过数据集进行epoch的训练，次数越多精度越高，由于本论文的硬件限制，基于这一前提条件仅仅实验了重复五次；在进行训练后通过测试集数据进行猫狗识别的测试，最终通过CP和Tucker两种方法分别进行猫狗识别，以对比两种方法的识别准确性(陈泽明,成晓茜,2017)。总体来说，训练是遍历向网络里添加数据集，不断通过自动计算来调整神经网络的权重，并将生成的卷积网络层进行具体分解，将一个整体分解为向下的两个层，当图片传入到网络中时，透过此见本质也是按照这样的模式来进行卷积层操作的。3.2训练、测试数据的打包和处理首先需要对数据进行处理和打包，所以本文创建dataset.py文件实现这一操作，另外，该文件还要实现对图片数据的处理，将其调整为分析所适合的样式。实现数据的处理和打包需要引用到numpy模块（用于数组的矩阵运算）、torch模块（用于进行形状——本文中为猫狗大战数据中的图片的切片和分析）、PIL模块（用于图片处理）、glob模块（用于定位计算机中特定格式的文件）和OS模块（实现一些基本功能，这点透露出重要信息通常用于文件的开闭、目录的识别等）(邵嘉逸，樊慧莹,2021)。本功能的实现具体逻辑为：调用Python各种库、模块、方法，分别对训练数据和测试数据进行标准化处理和封装。本文创建了loader函数，将其作为用于封装训练数据的训练函数，具体方法是首先利用名叫torchvision.transforms.Normalize的方法将相关数据进行标准化处理，然后将数据进行封装。函数中还需要定义一些设定类的函数，具体用于实现（周文韬，高子凡，2024）：（1）确定同时训练多少数据的参数batch_size；（2）是否选择打乱数据的shuffle函数；（3）设定多线程num_workers，确定同时几个线程进行程序处理；（4）设定用于储存的参数pin_memory。上述定义都需要在调用函数时给出数值，确定其具体的运行形式，例如：loader(path,batch_size=32,num_workers=4,pin_memory=True)在此之后，本文定义了test_loader函数，对需要测试的数据进行封装，与函数loader相同，需要对数据进行标准化，基于已确认的成果可推导出相关结论再将其打乱后封装入数据对象中，之后同样设定相关参数，除了内容不同，这两个函数的基本思路保持一致(鲁智渊,严子凡,2023)。在数据收集过程中，本文采用了多种方式，如问卷调查、实地访谈和文献查阅等，以确保数据的多样性和准确性。通过对这些数据进行深入的分析和整理，本文能够有效地验证研究假设，并揭示数据中的模式和潜在关系。尽管本研究取得了一些进展，但本文也清楚地认识到，任何研究都有其局限性。未来的研究可以在现有基础上进一步拓展，特别是在样本的选择、方法的改进以及理论框架的完善等方面仍有很大的提升空间。3.3CP分解和Tucker分解的实现在对数据进行了简单的处理封装后，本论文将进行CP分解和Tucker分解的具体实现，定义了decompositions.py文件，该方法的实现除了进行数据打包和封装用到的numpy和torch模块外，还要用到tensorly模块（专门为张量学习、张量分解、张量代数进行Python设计的库，使张量分解的具体分析变得更加简单）(韩天宇，许静雅,2021)。本功能实现的基本逻辑为，主要利用Python实现张量分解的tensorly库，分别编写CP方法、Tucker方法函数，这在一定程度上传达实现两种方法的数据处理和分析，在使用函数对数据进行分析后利用VBMF对矩阵进行排序，估计矩阵的秩并将其返回，用于之后的数据分析(刘飞扬,张文静,2021)。首先，定义函数CP_decomposition_conv_layer，该函数的主要目的是获取转换层和分析目标的具体排名，之后返回带有分解的nn.Sequential对象，具体实现逻辑如下(许浩然,吴泰宁,2020)：首先对层权重进行张量CP分解，再设置卷积核、步长、padding的具体参数并从s到r逐点对层次进行定义，处理卷积层，之后再分别从深度垂直和深度垂直方向逐点进行卷积处理；在理论框架的检验与修正事务里，本文聚齐了大批且细致的数据资料。这些数据既覆盖了繁多的研究对象，又横亘了各异的时间节点与社会背景，为理论框架的全面验证给予了强劲助力。借助统计分析手段对量化数据予以处理，能够稳准地查验原理论框架中各项假设的合理性，并揪出其中潜伏的不足。后续探究会斟酌纳入更多变量或启用更大体量样本，以进一步强化理论框架的解读力与预测本事。之后，对r到t的卷积层进行定义并将偏差字段增加到层中，对其进行CP处理，通过张量变换先垂直处理再水平处理，之后提取张量对其进行压缩，输出新的张量分解后的卷积层并将其返回用于数据分析；另外需要定义Tucker方法的实现函数Tucker_decomposition_conv_layer，该方法的实现相对来说较为简单，先获取数据矩阵的秩并将其层次权重信息和获得的秩输入，在将通道由S减少到R3的基础上对数据进行卷积处理并输出具有R3输入通道的常规2D卷积层和R3通道，这清楚体现了之后逐点卷积将通道由R4增加到T，在进行权重处理后输出利用Tucker方法处理的层(李文瑶,王浩宇,2021)。之后需要定义排序函数estimate_ranks，用于将两种张量方法下的输出结果展开，利用VBMF对矩阵进行排序并估算其矩阵的秩。实现CP方法和Tucker方法的函数虽然实现的过程略有差异但是总体的方法都行相同的(陈嘉伟，赵梓萱,2022)：首先获取转换层，再返回CP或者Tucker方法下分解得到的nn.Sequential对象，并利用VBM对排名进行估算。3.4主函数功能的实现主函数用于具体实现功能，调用的新增库有operator库（实现运算和数据识别功能）和argparse库（用于命令向选项和参数解析的模块）以及itertools库（实现迭代器的功能，延迟计算，提升整体张量分解分析的运行效率，尽可能的保证结果精确）。在数据处理阶段，过往研究的阅历提醒本研究需强化新兴分析工具与技术的运用。随着信息技术的迅猛发展，像大数据分析、机器学习算法这类前沿工具，正逐步成为科研领域的重要构成。这些技术不仅能助力本文更高效地应对海量数据，还能挖掘出传统手段难以察觉的深层信息与规律。故而，在后续探究里，本研究应积极探寻将这些前沿技术融入分析体系，以此提高研究结果的精准度与洞察力。该方法实现的具体逻辑为：首先对数据进行读取，调用上述封装、训练数据方法的py文件，将数据简单处理，之后具体对深度神经网络模型(卷积神经网络）进行训练，得到训练结果后利用张量分解的CP方法和Tucker方法分别进行处理，在处理过程中可以根据实际需求对处理参数进行微调，以在满足硬件需求的条件下尽可能得到精确地结果(刘志强,张慧君,2023)。首先定义类ModifiedResnetModel，对模型进行定义，在类中的初始函数中，需要定义二分类分类器部分的结构，具体定义如下(冯雨泽,杨怡琳,2022)：nn.Dropout（）实现dropout的随机失活，防止分析过程中出现过拟合的现象；nn.Linear(25088,4096)来进行全连接层设计，函数需要输入的两根数据分别为输入和输出的节点数，通过对这两项内容的具体设计可以良好的根据实际情况设计具体的计算大小；nn.ReLU(inplace=True)作为激活函数(陈嘉伟,吴萱,2021)；定义Trainer用于类的训练，在该函数中同时进行训练数据、测试数据路径的初始化。在此特定情境下事实昭然若揭首先在类的初始函数中对cnn模型使用交叉熵进行优化，在分别调用了数据集后设置模型、设定交叉熵之后对函数进行训练；之后利用test函数对数据进行测试并输出准确率，准确率的计算为在构建模型后分别对正确数和样本总数进行计算和统计，并在统计分析时间的基础上对准确率进行测试，输出浮点数类型的准确率计算时间并打印平均预测时间；在测试准确率后创建训练函数train对模型进行训练，对设定好的训练数据集进行循环训练并不断打印训练的目前进度（具体位置训练的批次数），在训练完后执行测试函数，输出分析结果(刘俊豪，蒋梦珍,2022)。另外，这在一定程度上展现了还需要定义train_batch函数和train_epoch函数分别进行训练批次的设计以及对数据集的内容进行逐个训练。在实现了张量分解的具体功能之后还需要实现参数的设定、训练的判断和具体的方法实现等。定义get_args函数用于根据实验者输入的参数确定具体的功能，参数内容具体包括(李泽刚，蒋梦琪,2022)：训练、降维、是否微调、储存路径设定、测试字段的路径来源，另外定义了默认值，即默认不进行张量分解、不进行微调、默认使用Tucker方法。本研究框架模型的一大特征是其灵活调整与扩展能力。鉴于不同研究背景和需求的多样性，本文在设计模型时，尽力保持各组件的模块化特性，从而可以根据实际情况灵活调整或替换特定部分，而不影响整体架构的稳定性和有效性。这种设计思路不仅提升了模型的实际应用价值，还为后续研究者提供了一个开放平台，激励他们在现有基础上进行二次开发或改进。在编写完成实现本论文需要所有功能的类和函数后，需要对主函数进行初始化，即在运行后自动进行判定程序如何运行，由此可以洞悉判定的类型有三种(郭雅静，刘子豪,2020)：如果字段进行过训练，则执行模型的构建并对其进行训练。首先初始化卷积神经网络模型，之后利用SGD设置优化器的参数，再对训练器的参数进行设置。本论文设置训练集循环十次，在训练后将模型进行保存；如果含有张量分解的字段，则直接进行张量分解。载入张量分解的模型，使用CPU进行张量分解，获取特征数对其进行分解，利用降维的方法进行循环分解，不断去除对应的卷积层并利用Tucker方法处理卷积层，如果满足条件则退出循环(郭子豪，刘婉君,2020)；如果降维已经完成选择是否调整模型的各个参数。加载模型并获取参数的梯度，如果是CP分解则优化函数设置将学习率设定为0.000001，如果是Tucker分解则将学习率设定为0.001。4结果分析在完成代码后测试完毕后，本论文也具体引用猫狗大战的数据集对其进行张量分解的测试分析。首先论文利用已经明确猫、狗分类图片的训练集来进行训练之后，论文再引用测试集进行具体的分析，训练集和测试集的引用数据截图如图4.1和4.2：图4.1猫狗大战训练集部分截图图4.2猫狗大战测试集部分截图由于本文计算机硬件条件和论文的时间条件，卷积神经网络总共进行五轮训练，训练过程如图4.3：图4.3训练过程截图在训练过后，向卷积神经网络中加入张量分解的办法进行继续训练，论文分别以CP分解和Tucker分解进行训练，基于以上讨论训练过程以Tucker训练的过程为例，Tucker分解训练过程部分如图4.4和4.5，由图中我们可以明显的对比看出，加入张量分解后训练的平均时间更短，之前平均为3.8s左右，在加入了张量分解之后仅仅需要2.9s左右(刘瑞阳,魏芝和,2022)：图4.4猫狗大战训练集部分截图图4.5加入张量分解的训练过程截图在对卷积神经网路进行训练后，本论文首先将未经过张量分解的卷积神经网络识别准确度和经过CP、Tucker张量分解的卷积神经网络识别准确度分别运行结果运行最高值进行对比，三种方法的准确度运行输出结果如图4.6、4.7、4.8(蔡鹏宇,邓雪丽,2022)：图4.6不加入张量分解的准确度结果图4.7加入CP分解的准确度结果图4.8加入Tucker分解的准确度结果通过准确度结果，我们可以看出张量分解的准确度提高较为明显，未经张量分解的卷积神经网络识别准确度结果为76.80%，在这个条件下而CP分解和Tucker分解分别的结果为82.84%和84.42%，其中Tucker的准确度略微高于CP分解。之后本文专门分别利用CP分解和Tucker分解进行不同情况下的指标性能分析，分析的结果具体如下表4.1(贝俊豪，蒋梦婷,2021)：表4.1CP分解和张量分解准确率统计表算法名称最高识别准确率（TOP-1）平均识别准确率（TOP-1）最高识别准确率（TOP-5）平均识别准确率（TOP-5）应用CP张量分解的卷积神经网络61.15%58.74%82.84%82.27%应用Tucker张量分解的卷积神经网络67.43%65.83%84.42%83.91%其中，最高识别准确率为在经过五次分解中得到的准确度最高的结果，平均识别准确率指的是在进行相应的分解算法后测试五次的平均值；另外，TOP-1具体指的是数量比例最高的第一类指标测试成功的准确率结果，TOP-5为前五类指标的测试准确率结果，其中测试准确率分别为第一类或者前五类的准确样本数除以总样本数(高月明,郑彤彤,2021)。本文同样基于已有的理论根基塑造了此次的框架模型，不管在信息流转还是数据分析技巧方面，都展现出对前人科研成果的尊崇与延续，并在此根基上展开了创新。最先，在信息流规划板块，本文吸纳了经典信息处理理论的精髓，确保信息从采集、传输到分析的每个环节都能高效且无误地开展。凭借对数据来源的严苛筛选和标准化处理流程，信息质量得以有效确保，从而更能凸显信息流的透明度与可追溯性。通过对结果的分析，基于这一前提条件我们可以看到四个准确率分析结果Tucker算法均高于CP算法，其中仅仅比较TOP-1时最高识别准确率差别较大，Tucker算法可以达到67.43%，而CP算法仅仅可以达到61.15%，而TOP-5时两者的差距较小，平均识别准确率分别为83.91%和82.27%(赵宇航,刘振宇,2019)。总体来说，通过本论文的实例运行，本文发现Tucker算法的表现明显优于CP算法，另外，在完成降维后，也可以选择进行模型的微调，以优化测试结果，微调的过程如下图（具体调整了SGD的数值）：对模型进行微调采用了SGD随机的梯度下降是废，这一算法每一次训练都是使用相同的样本集，在每个批次的训练中均会采用所有的样本来进行计算，这其中有些数据对于该次计算是偿付的，透过此见本质有些计算是没有意义的，而SGD更新模型参数的方法是在每一次新的训练里都去随机地选择一个新的样本，因此SGD的每次学习都是比较快的，并且可以进行即时更新(孙志恒,杨慧萍,2019)。虽然SGD相比来说更好，但是它也有其缺点：可能无法按照预计的正确方向来就进行，，并可能由此产生优化扰动。扰动可能使得学习迭代次数变多，同时使得收敛速度减缓。这点透露出重要信息但是凡事都有两面性，从另一个方面来看，这个扰动带来的最大好处就是在处理局部出现很多极小点的时候，它的这个特点就可以使当前参数的优化方向从局部的极小点转到一个更佳的局部极小点，从而使其收敛于一个全局极小点，从而获得更好的效果(王浩宇,许雅婷,2017)。图4.9对Tucker算法模型微调过程截图结语和展望本论文具体研究了张量分解在卷积神经网络中的应用，最终通过对比分析明确了在猫狗大战数据集下的Tucker分解效率总体高于CP分解效率。论文首先对张量分解、深度神经网络，CP分解和Tucker分解的概念做出了具体的界定，之后明确了代码实现的具体流程：先构建卷积神经网络、再利用训练集对网络进行训练，之后分别利用CP分解和Tucker分解对神经网络进行训练，通过分析的准确率具体分析两种方法的效率；之后论文分别介绍了代码三大功能的实现过程，之后利用代码具体进行了分析，其中Tucker分解的最高准确率为84.42%，高于CP分解的最高准确率82.84%，由此本文得出结论：Tucker分解的表现效果优于CP分解。虽然本论文实现了设计的全部功能，但是依旧存在一定的缺陷：由于硬件原因，训练次数仅仅为五次，同时由于数据量和CPU性能的影响，代码的实现耗费了大量的时间，只能调整参数以牺牲一定的准确性来得到分析结果。总体来说，论文基本实现了验证的功能，本文希望可以通过本论文的研究为今后的相关研究提供充分的理论基础和实践参考。参考文献[1]陈思涵，张若琳.基于卷积神经网络的短文本分类方法研究[D].西南大学,2016.刘伟.基于卷积神经网络的视频分类检索[D].浙江大学,2022.[2]方景轩，汤俊杰.基于遗传算法的卷积神经网络参数优化方法[C].中国自动化学会、济南市人民政府.2017中国自动化大会(CAC2017）暨国际智能制造创新大会(CIMIC2017)论文集,2023:5.[3]Y.Taigman,M.Yang,M.Ranzato,etal.Deepface:Closingthegaptohuman-levelperformanceinfaceverification[C].2014I（靳志远，何静怡，2024）ConferenceonComputerVisionandPatternRecognition,CVPR2014,Columbus,oH,USA,June23-28,2014,2014,1701-1708[4]骆明哲，汪嘉诚，等.基于VQ-GMM的音频分类[J].信息工程大学学报，2021，9（4）：423-426.[5]Y.Sun,X.Wang,X.Tang.Deeplylearnedfacerepresentationsaresparse,selective,andro-bust[C].I（靳志远，何静怡，2024）ConferenceonComputerVisionandPatternRecognition,CVPR2015,Boston,MA,USA,June7-l2,2015,2015,2892-2900[6]WELLINGM，WEBERM.Positivetensorfactorization[J].PatternRecognitionLetters，2001，22（12）：1255-1261.[7]H(李泽刚，蒋梦琪,2022)NT，POLAKS，ShashuaA.SparseImageCodingUsinga3DNon-NegativeTensorFactorization[C]//TenthI（靳志远，何静怡，2024）InternationalConferenceonComputerVision.I（靳志远，何静怡，2024）ComputerSociety，2005：50-57.[8]A.Krizhevsky,I.Sutskever,G.E.Hinton.Imagenetclassificationwithdeepconvolutionalneuralnetworks[J].Commun.ACM,2017,60(6):84-90[9]ZHANGZK，LIUC.Hypergraphmodelofsocialtaggingnetworks[J].JournalofStatisticalMechanics，2010，2010（10）：181-181.[10]J.Dean,G.Corrado,R.Monga,etal.Largescaledistributeddeepnetworks[C].AdvancesinNeuralInformationProcessing刘飞扬,张文静tems25:26thAnnualConferenceonNeuralInformationPro-cessing刘飞扬,张文静tems2012.ProceedingsofameetingheldDecember3-6,2012,LakeTahoe,