CN114328885B 一种信息处理方法、装置及计算机可读存储介质 （腾讯科技（深圳）有限公司）

于每个分词集合对应的词向量计算出每个目标申请实施例的技术方案可以应用到云计算、地2将每个目标待处理文本根据不同的词长度依次进行分词处理，得基于每个分词集合对应的词向量计算出每个目标待处理文本将每个句子向量中的主成分向量进行移除处理，得到移除处理之后计算每个目标句子向量之间的相似度，并将相似度小于预设阈将同一目标待处理文本的每个词向量和对应的权重进行计算，得将同一目标待处理文本中每个分词集合中每个分词的向量和对应的词频信息进行计将每个目标待处理文本的每个词向量和对应的权重进行相乘，得将同一目标待处理文本对应的多个乘积求和，得到每个目标待处理将所述句子向量矩阵中的每个句子向量依次移除所述主成分向量矩计算所述句子向量矩阵中的每个句子向量与所述主成3计算每个目标句子向量之间的余弦相似度，并将余弦8.根据权利要求1至7任一项所述的信息处理方法，将每一待处理文本中的停用词移除，得到移除之后的多个目标待处9.根据权利要求1至7任一项所述的信息处理方法按照不同的词长度对应的滑动窗口依次对每个目标待处理文本进行分词处获取单元，用于获取目标待处理文本集，所述目标待处理文本分词单元，用于将每个目标待处理文本根据不同的词长度第一计算单元，用于基于每个分词集合对应的词向量计算出移除单元，用于将每个句子向量中的主成分向量进行移除处第二计算单元，用于计算每个目标句子向量之间的相似度第二计算子单元，用于将同一目标待处理文本的每个词向量和对应的权重进行计算，将同一目标待处理文本中每个分词集合中每个分词的向量和对应的词频信息进行计将每个目标待处理文本的每个词向量和对应的权重进行相乘，得将同一目标待处理文本对应的多个乘积求和，得到每个目标待处理414.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指被处理器执行时实现权利要求1至9任一项所述的信息处理方5[0002]随着互联网的发展和计算机的广泛应用，互联网中充斥67出每个目标待处理文本相应的句子向量；将每个句子向量中的主成分向量进行移除处理，8样适用。成在具备储存单元并安装有微处理器而具有运[0061](2)将每一待处理文本中的停用词移除，得到移除之后的多个目标待处理文本生9[0068]在一些实施方式中，将每个目标待处理文本根据不同的词长度依次进行分词处[0069](1)按照不同的词长度对应的滑动窗口依次对每个目标待处理文本进行分词处理文本Si(i代表文本数量)进行分词处理，将同一目标待处理文本的2-Gram的词语放到词[0072]在步骤103中，基于每个分词集合对应的词向量计算出每个目标待处理文本相应将word(词语)映射到一个新的空间中，并以多维的连续实数的向量进行表示叫做词向量本相应的句子向量，该句子向量因为进一步融合了多个词长度的分词集合的分词句子向[0079](3)将同一目标待处理文本的每个词向量和对应的权重进行计算，得到每个目标[0081]进一步的，可以将同一目标待处理文本的每个词向量按施方式中，该主成分向量可以为通过对全部句子向量进行主成分分析方法(Principal[0088](3)将该句子向量矩阵中的每个句子向量依次移除该主成分向量矩阵，得到目标[0093](1.2)计算该句子向量矩阵中的每阈值为界定每两个目标句子向量对应的两个目标待处理文本是否为同一的表达的语义更为准确，且通过去除主成分向量使得目标句子向量之间的差异更为显著，[0106]该应用层A可以包括结构化数据的程序包(SparkSQL)、流式计算的组件(SparkStreaming)、机器学习的程序库(MLlib(machinelearning))和图操作和计算的工具集合(GraphX)，该结构化数据的程序包是Spark用来操作结构化数据的程序包，通过该SparkSQL，可以使用SQL方言来查询数据，该SparkSQL支持多种数据源，比如数据仓库工具[0107]该核心数据计算层B可以包括开源集群计算框架的代码功能层(SparkCore)，实现了Spark的基本功能，包含任务调度、内存管理、错误恢复与存储系统交互等模块，该SparkCore中还包含了对弹性分布式数据集(ResilientDistributedDatasets，RDD)的[0108]该资源调度层C可以包括本地运行模式、开源的通用资源管理系统(YARN)以及开[0109]数据资源层D可以包括分布式文件系统(HadoopDistributedFileSystem，[0110]通过上述的Spark引擎可以实现分布式的对数据进行迭代式处理，提供高效处理[0111]以此，服务器可以通过Spark引擎加载分布式文件系统上的待处理文本集合以及[0113]在步骤202中，服务器按照不同的词长度对应的滑动窗口依次对每个目标待处理放到词语集合b2、3-Gram的词语放到词语集合b3以及将4-Gram的词语放到词语集合b4中，[0122]在步骤205中，服务器将每个目标待处理文本的每个词向量和对应的权重进行相目标待处理文本的每个词向量gi和对应的权重βi进行相乘，并将同一待处理文本的乘积进n为对应的句子相应wi的乘积的差值，减去主成分矩阵μ,移除所有句子的共有信息相应的主成其本身与其他目标句子向量矩阵之间的差异，经过上述变换后矩阵X被转换为且标句子向量对相应的目标待处理文本对进行去[0134]其中，服务器可以将进行拆分，得到多条目标句子向量丽,每一目标句子向量值为界定两个目标句子向量对应的两个目标待处理文本是否为同一文得到每个分词集合表达词义更好的词向量，以此，对于每一目标待处理文本Si＝{b2，一目标待处理文本的每个词向量gi和对应的权重θi进行相乘，并将同一待处理文本的乘积对应的句子相应wi的乘积的差值，减去主成分矩阵μ,移除所有句子的共有信息相应的主成分向量，得到计算后的目标句子向量矩阵丽,保留下来的目标句子向量矩阵更能够表征其本身与其他目标句子向量矩阵之间的差异，经过上述变换后矩阵X被转换为页,且[0178]第一计算单元303，用于基于每个分词集合对应的词向量计算出每个目标待处理[0180]第一计算子单元，用于依次计算每个目标待处理文本对应每个分词集合的词向[0185]将同一目标待处理文本中每个分词集合中每个分词的向量和对应的词频信息进设阈值的目标句子向量对相应的目标待处理文本对进行去[0202]由上述可知，本申请实施例通过获取单元301获取目标待处理文本集；分词单元302将每个目标待处理文本根据不同的词长度依次进行分词处理，得到每个目标待处理文本在每种词长度对应的分词集合；第一计算单元303基于每个分词集合对应的词向量计算出每个目标待处理文本相应的句子向量；移除单元304将每个句子向量中的主成分向量进[0204]该服务器可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图7中示出的服务器结构并不构成对服务器的限定，可以包括比图示更多或更少的部[0205]处理器401是该服务器的控制中心，利用各种接口和线路连接整个服务器的各个[0206]存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402服务器中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可算机程