CN119416797A 一种基于多目标对比学习的语义通信方法、系统及终端 （北京理工大学）

号一种基于多目标对比学习的语义通信方法、将不同长度的若干条文本依次输入语义通信编2S2.所述语义编码序列经信道传输成为模糊语义编码序列，;度作为所述多目标对比学习损失函数的正则3表示同一语义编码序列中除之外的其他语义编S11.对于所述长度相同的文本序列中的每一条文本，将该文本中的单词进行独热编S12.采用双向长短期记忆网络获得所述嵌入表示的前向编码表示和后向编码表示，将所述前向编码表示和后向编码表示拼接获得该文本S13.提取该文本的编码表示的均值和对数方差，对所述均值和对数方差进行重参数S21.将所述模糊语义编码序列与文本序列嵌入表示相加后，采用长短期记忆网络获S22.基于所述第一个单词的隐藏状态获得第二个单词的解码表示和第二个单词的隐8.一种基于多目标对比学习的语义通信系统，用于执长短期记忆网络以及与所述语义通信编码器共所述分词器用于将每条文本切分为单词序列，对所述单词序列的长度进行标准化处4网络用于获得所述文本的嵌入表示的前向编码表示和后向编码表示并拼接为文本的编码所述第一Dropout层和第二Dropout层用于训练时关闭部分神经元个单词的标识符对所述单词序列的长度进行标5例子是GPT的出现。在深度学习的发展趋势下，基于深度学习的信源信道联合编码（Deep信源信道编码（NTSCC它可以紧密地适应非线性变换下的信源分布。还有人提出了基于[0003]尽管上述基于自编码器的DeepJSCC方案表现出了令人印象深刻的性能，但将自[0004]本发明的目的在于提供一种基于多目标对比学习的语义6;7式中，B表示B个训练批次，b表示小批量大小，sim(-,·)表示余弦相似度，即S11.对于长度相同的文本序列中的每一条文本，将该文本中的单词进行独热编S12.采用双向长短期记忆网络获得所述嵌入表示的前向编码表示和后向编码表S21.将模糊语义编码序列与文本序列嵌入表示相加后，采用长短期记忆网络获S22.基于第一个单词的隐藏状态获得第二个单词的解码表示和第二个单词的隐长短期记忆网络以及与所述语义通信编码器共81.本发明提供的基于多目标对比学习的语义通信方法保证了语义编码特征的均匀性，训练AAE时引入判别器和判别损失计算，提高了文本真实图2为本发明实施例中基于多目标对比学习损失函数对三类自编码器进行训练示9[0023]现有自编码器应用于语义通信时，语义噪声会引起对语义信息的误解和解码错S11.对于长度相同的文本序列中的每一条文本，将该文本中的单词进行独热编[0025]S12.采用双向长短期记忆网络获得所述嵌入表示的前向编码表示和后向编码表z=u+eoo[0030]S21.将模糊语义编码序列与文本[0031]S22.基于第一个单词的隐藏状态获得第二个单词的解码表示和第二个单词的隐;用于语义通信，但现有技术将自编码器应用于语义通信时，语义噪声的影响和系统的鲁棒自编码器达到精准重构文本的目标，训练变分自编码器达到使语义编码序列服从标准正态例性地，在训练对抗自编码器过程中引入一判别器，来判断语义编码序列是来自语义通信编码器的输出还是来自采样的标准正态分布，并在训练过程中交替优化判别器、语义通信编码器和语义通信解码器。中的一个语义编码zi及其对应的增强编码视为正样本对，z与同一个训练批次中的其他式中，B表示B个训练批次，b表示小批量大小，sim(-,·)表示余弦相似度，即分词器10用于将每条文本切分为单词序列，对单词序列的长度进行标准化处理，[0044]下面结合具体实施例对本发明提供的基于多目标对比学习的语义通信系统和语[0045]本实施例在一台服务器上进行，服务器的具体配置为：Intel(R)Xeon(R)集进行评估，并保存在开发集上损失值最小的自编码器模型。Yelp数据集包括444K/63K/。输入嵌入层，得到句子的嵌入表示emb(x)。假设嵌输入双向长短期记忆网络，得到一个批量句子的前向编码表示和后向编。示语义编码维度，以便实现更好的句子重建。最后，利用重参数化技巧，得到语义编码Linear(z)eRxde，然后扩展为。将两个分支的输细胞状态和隐藏状态hnaenERxdx。[0053]解码表示haec再次经过第二dropout层和第四线性层，得到预也将作为下一步迭代时长短期记忆网络的输入。直到语义通信解码器解码出结束标记。[0054]将上述整个处理过程抽象为一个语义解码器，其中表示解码器神经网络相似，则它们的语义编码z1和zz应尽可能相近，从而保证它们的重建句子y和yz之间语义其中，xi表示一个原始输入句子，y:=GS(c(EO(r)))表示原始输入句子经过语义努利分布p(r,)表示解码器输出重构句子y;中第i个词yy的概率分布。[0057]VAE的目标是使得编码z尽可能服从标准正态分布N(0,laxa,)，保证特征均匀性，;个判别器判断编码是来自编码器的输出还是来自采样的标准正态分布，并在训,;结合对比学习损失函数训练自编码器模型，将一个训练批次中的一个编码zi以及对应的增强编码视为正样本对，zi与同一个训练批次中的其他编码zj视为负样本对。对相互不同的实施例中记载了某些措施，但这并不表示这些措施不