CN113821629B 一种文本分类方法、评论情感分析方法及装置 （新加坡国立大学）

置属的领域为源领域和目标领域集合中的任意一2获取待分类文本，其中，所述待分类文本的语言为源语言和目标将所述待分类文本输入预设的文本分类模型，以便所述文本分连接层适于将相应第一处理单元的第一个前馈处理层的输入与最后一个前馈处理层的输来确定所述待分类文本所属的类别。将未标注类别的源语言、目标领域的文本数据作为训练样本，训练所在所述无监督特征分解模块训练完成后，将已标注类别的源语4.如权利要求1_3中任一项所述的方法，其中，所述分类模块包括一个线性层和一个获取待分析的评论文本，其中，所述评论文本的语言为源语言和将所述评论文本输入预设的情感分析模型，以便所述情感分析差连接层适于将相应第一处理单元的第一个前馈处理层的输入与最后一个前馈处理层的3将未标注情感极性的源语言、目标领域的评论数据作为训练样在所述无监督特征分解模块训练完成后，将已标注情感极言集合中的任意一种，所述待分类文本所属的领域为源领域和目标领域集合中的任意一类别确定模块，适于将所述待分类文本输入预设的文本分类和领域特定特征来确定所述待分类文本所属的类别。情感极性确定模块，适于将所述评论文本输入预设的情感分析4当所述程序指令被所述处理器读取并执行时，使得所述计算设备执行如权利要求1_5使得所述计算设备执行如权利要求1_5中任一项所述的文本分类方法和/或如权利要求6_75[0002]文本分类技术是自然语言处理技术中的一个重要分支，其可以被应用于情感分本数据作为训练样本来训练机器学习模型，然后采用训练好的模型来对相同语言/领域的6令被计算设备读取并执行时，使得计算设备执行上述文本分类方法和/或上述评论情感分[0014]本发明的文本分类模型包括多语言嵌入模块、无监督特征分解模块和分类模训练，将多语言嵌入模块所输出的跨语言表示向量分解为领域不变特征和领域特定特征。[0017]上述说明仅是本发明技术方案的概述，为了能够更清楚[0018]为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方7[0020]图2示出了根据本发明一个实施例的机器学习模型9120的一种深度神经网络的示[0024]图6示出了本发明的文本分类模型(情感分析模型)与其他文本分类模型的分类效用已标注的源语言源领域的文本数据和少量未标注的源语言目标领域的文本数据训练文[0031]本发明的文本分类方法通过训练并应用文本分类模型来实现。图1示出了用于训计算设备9110可以作为端智能设备部署在用户现场处，并与用户进行交互而处理用户输型和/或线性模型在内的其他类型的机器学习模型。机器学习模型9120的示例包括但不限8[0034]图2中示出了根据一些实施方式而作为机器学习模型9120的一种神经网络。神经收网络输入用于处理，而最后一层的输出被提供为网络输出。如图2所示，机器学习模型单位来查看机器学习模型9120中的处理时，每个网络层的处理也可以被类似表示为公式[0039]应当理解，图2示出的机器学习模型的架构以及其中的网络层和处理节点的数目计算系统130接收机器学习模型9120，存储在用户计算设备的存储器中并由在用户计算设机器学习模型包括在用户计算设备9110处存储和实现的机器学习模型9120和/或在服务器计算系统9130处存储和实现的机器学习模型919[0043]服务器计算系统9130可以包括一个或多个服务器计算设备。在服务器计算系统[0044]如上所述，服务器计算系统9130可以存储或包括一个或多个机器学习模型914[0045]用户计算设备9110和/或服务器计算系统9130可以经由与通过网络9180通信地耦接的训练计算系统9150的交互来训练模型9120和/或9140。训练计算系统9150可以与服务各种训练或学习技术训练存储在用户计算设备9110和/或服务器计算系统9130处的机器学[0049]在一些实现方式中，如果用户已经明确同意，则训练示例可以由用户计算设备后的机器学习模型9120和/或9140适于考虑到服务器计算系统9130和用户计算设备9110的通信可以经由任何类型的有线和/或无线连接，使用各种通信协议(例如，TCP/IP、HTTP、[0053]在本发明的实施例中，训练计算系统9150可以训练生成本发明的文本分类模型[0054]模型9144可以由服务器计算系统9130实现为Web服务的一部分，从而用户计算设备9110可以例如通过网络9180并根据客户端一服务器关系来调用作为Web服务实现的文本计算系统9130可以将待分类文本的类别标签返回给用服务器计算系统9130中的文本分类模型9144与部署于用户计算设备9110中的文本分类模训练；在将文本分类模型应用于新闻分类场景时，文[0059]多语言嵌入模块310适于对待分类文本进行处理，以生成待分类文本的跨语言表[0060]多语言嵌入模块310在来自多种语言(例如100多种)的开现为包含多个隐藏层的神经网络。根据一种实施例，为了提高文本分类模型300的训练效限于此(模型结构详见论文GuillaumeLampleandAlexisConneau.Cross_lingual语言嵌入模块310输出的跨语言表示向量中提取出领域不变特征和[0064]领域不变特征是不同领域的文本数据所共享的特征部分，域不变特征提取器322[0065]如图3所示，域不变特征提取器322包括至少两个第一处理单元326(图3中示例性地示出了两个第一处理单元326)，每个第一处理单元326包括至少一个前馈处理层(图3每接层适于将相应第一处理单元中的第一个前馈处理层的输入与最后一个前馈处理层的输[0066]根据一种实施例，域不变特征提取器322中的每个前馈处理层均采用ReLU激活函我们认为，由该多语言嵌入模块310生成的跨语言表示向量应该包含某些跨领域的特征信间的互信息作为提取器322的训练目标，这样便可以将跨语言表示向量中的有用信息传递算法(详见MohamedIshmaelBelghazi,AristideBaratin,SaiRajeshwar,SherjilOzair,YoshuaBengio,DevonHjelm,andAaronCourville.Mutualinformationneural率分布函数，M为X的边缘概率分布函数与Y的边缘概率分布函数的乘积，D(JIIM)表ω[0072]在本发明的实施例中，域不变特征提取器322的训练目标是使其输入和输出的互经估计法做进一步简化，将其简化为Jensen_Shannon互信息估计器(详见GuillaumeLampleandAlexisConneau.Cross_linguallanguagemodelpretraining.NeurIPS,s[0075]基于上述最大化输入和输出之间的互信息的训练目标，域不变特征提取器322的322的互信息估计器中的判别器Tω中的待训练的参数集，训练目标为使上述损失函数Ls的[0078]领域特定特征是不同领域的文本数据各自特有的特征部分，域特定特征提取器[0079]如图3所示，域特定特征提取器324包括至少两个第二处理单元328(图3中示例性地示出了两个第二处理单元328)，每个第二处理单元328包括至少一个前馈处理层(图3每取器324中的每个前馈处理层均采用ReLU激活函322在每个第一处理单元326中设置了域特定特征提取器324的损失函数包括以下两p提取器322(即Fs)的第一个处理单元、域特定特征提取器324(即Fp)的第一个处理单元的输p[0086]综合上述公式(4)所示的域不变特征提取器322的损失函数Ls，和上述公式(5)、[0089]分类模块330适于根据无监督特征分解模块320输出的领域不变特征和领域特定类模型可以迁移适用的语言，即多语言嵌入模块310的训练样本的语言中除了上述源语言不同的应用场景所采用的文本分类模型具有相同的结构，只是训练模型所采用的数据不域不变特征和领域特定特征来确定评论文本多语言、多领域的亚马逊(Amazon)评论数据集(详见PeterPrettenhoferandBennoStein.Cross一languagetextclassificationusingstructuralcorrespondence[0113]未标注的图书、DVD和音乐领域的评论数据可以从2016年发布的未标注数据集中抽取(详见RuiningHeandJulianMcAuley.Upsanddowns:Modelingthevisualevolutionoffashiontrendswithone_classcollaborativefiltering.InWWW,pages507–517.InternationalWorldWideWebConferencesSteeringCommittee,[0119]图6示出了本发明的文本分类模型与其他文本分类模型的分类效果的对比图(均CL_RL、Bi_PV等其他模型为前人所提出的迁移模型。图6中的数字为各模型的分类准确性[0122]首先，检查域不变特征提取器的输入和输出的互信息(MI)最大化(Max)对模型的仅具有领域不变特征的Max_MI_w/o_Res降低了XLMp[0124]通过对域特定特征提取器和最终的最小化MI目标(即L)的补充，MaxMin_MI的性p影响。从图7可以看出，2K(即2000个)未标记的原始文本分类装置700和/或评论情感分析装置语言集合中的任意一种，待分类文本所属的领域为源领域和目标领域集合中的任意一种。文本获取模块710的具体功能和处理逻辑可以参考上文中步骤S410的相关描述，此处不再[0132]类别确定模块720适于将待分类文本输入预设的文本分类模型，以便文本分类模[0133]图10示出了根据本发明一个实施例的评论情感分析装置800的示意图。如图10所目标语言集合中的任意一种，评论文本所属的领域为源领域和目标领域集合中的任意一[0135]情感极性确定模块820适于将评论文本输入预设的情感分析模型，以便情感分析性确定模块820的具体功能和处理逻辑可以参考上文中步骤S520的相关描述，此处不再赘上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施作为本发