语义模型在小红书社区搜索的应用分析报告-培训课件

语义模型在小红书搜索的应用OUTLINE•

小红书搜索的问题是什么•

语义模型在搜索的应用•

训练与评估小红书的搜索问题•

多模：文本、图像、视频•

异构：图文笔记、长/短视频、商品、用户、评论、etc.•

个性化OUTLINE•

小红书搜索的问题是什么•

语义模型在搜索的应用•

语义模型的训练与评估语义模型在搜索的应用-overview相关性个性化其他LTR精排相关性个性化其他LTR粗排召回ANN倒排近线AGG语义模型在搜索的应用艾尔登法环好玩吗Query处理召回排序相关性内容理解语义模型在搜索的应用-QP•

基础分析模块•

分词、命名实体识别、词权重、紧密度•

Taxonomy:•

类目和意图预测•

改写:•

纠错、同义改写、省略改写、查询扩展语义模型在搜索的应用-召回•

倒排召回•

向量召回•

召回聚合语义模型在搜索的应用-召回•

倒排召回关键词

笔记列表艾尔登

笔记1，笔记2，笔记3法环…笔记1，笔记3，笔记4…查询语法：“艾尔登”and“法环”返回结果：笔记1，笔记3语义模型在搜索的应用-召回•

查询表达式同义改写分词艾尔登法环or老头环老头环艾尔登法环(and)or查询串生成艾尔登法环老头环LSEuserid:444287,docid:155423,date:2024-05-19,语义模型在搜索的应用-召回余弦相似度：•

向量召回�ꢁ神经网络神经网络Query特征用户特征文本、图片、视频、笔记特征语义模型在搜索的应用-召回ANN引擎：•

向量召回onlineinference�神经网络⋮Query特征用户特征语义模型在搜索的应用-召回•

召回聚合语义模型在搜索的应用-排序排序结果多样性、业务规则（PostRank）融合分数（LTR）查询词理解相关性内容质量时效性个性化语义模型在搜索的应用-相关性相关性打分融合模型文本相关性图视频相关性匹配类特征片相关性OUTLINE•

小红书搜索的问题是什么•

语义模型在搜索的应用•

语义模型的训练与评估语义模型的训练与评估-文本BERTMLMMLM푐ꢀꢁ

푇1⋯푇ꢂ푇ꢁꢃꢄ

푇′⋯푇′ꢅ1BERT�푐ꢀꢁ

�1푐ꢀꢁ

푇ꢆꢇ1⋯�ꢂ�ꢁꢃꢄ

�′⋯�′ꢅ1⋯푇ꢆꢇꢂ

ꢁꢃꢄ

푇ꢆꢇꢂ⋯푇ꢆꢇꢅꢁ1ꢁ2stage1:preTrain•

task:MLM•

model:n-layertransformer•

data:文本数据•

training:unsupervised语义模型的训练与评估-文本BERTMLMMLMBCE푐ꢀꢁ푇1⋯푇ꢂ푇ꢁꢃꢄ

푇′⋯푇′ꢅ푐ꢀꢁ

푇1⋯푇ꢂ푇ꢁꢃꢄ푇′1⋯푇′ꢅ1BERTBERT�푐ꢀꢁ�1⋯�ꢂ�ꢁꢃꢄ

�′⋯�′ꢅ�푐ꢀꢁ

�1⋯�ꢂ�ꢁꢃꢄ�′1⋯�′ꢅ1푐ꢀꢁ

푇ꢆꢇ1⋯푇ꢆꢇꢂ

ꢁꢃꢄ

푇ꢆꢇꢂ⋯푇ꢆꢇꢅ푐ꢀꢁ

푇ꢆꢇ1⋯푇ꢆꢇꢂ

ꢁꢃꢄ

푇ꢆꢇꢂ⋯푇ꢆꢇꢅꢁ1ꢁ2ꢁ1ꢁ2stage1:preTrainstage2:postPreTrain•

task:MLM•

task:BCE(nsp)•

model:n-layertransformer•

data:文本数据•

training:unsupervised•

model:n-layertransformer•

data:用户数据•

training:supervised语义模型的训练与评估-文本BERTMLMMLMBCEregression푐ꢀꢁ

푇1⋯푇ꢂ푇ꢁꢃꢄ

푇′⋯푇′ꢅ푐ꢀꢁ

푇1⋯푇ꢂ푇ꢁꢃꢄ

푇′⋯푇′ꢅ푐ꢀꢁ

푇1⋯푇ꢂ푇ꢁꢃꢄ

푇′⋯푇′ꢅ111BERTBERTBERT�푐ꢀꢁ

�1푐ꢀꢁ

푇ꢆꢇ1⋯�ꢂ�ꢁꢃꢄ

�′⋯�′�푐ꢀꢁ

�1⋯�ꢂ�ꢁꢃꢄ

�′⋯�′�푐ꢀꢁ

�1⋯�ꢂ�ꢁꢃꢄ

�′⋯�′ꢅ1ꢅ1ꢅ1⋯푇ꢆꢇꢂ

ꢁꢃꢄ

푇ꢆꢇꢂ⋯푇ꢆꢇꢅ푐ꢀꢁ

푇ꢆꢇ1⋯푇ꢆꢇꢂ

ꢁꢃꢄ

푇ꢆꢇꢂ⋯푇ꢆꢇꢅ푐ꢀꢁ

푇ꢆꢇ1⋯푇ꢆꢇꢂ

ꢁꢃꢄ

푇ꢆꢇꢂ⋯푇ꢆꢇꢅꢁ1ꢁ2ꢁ1ꢁ2ꢁ1ꢁ2stage1:preTrainstage2:postPreTraintask:BCE(nsp)stage3:fineTune•

task:regression(MSE)•

task:MLM••

model:n-layertransformer

•model:n-layertransformer

•

model:n-layertransformer•

data:文本数据data:用户数据training:supervised•

data:标注数据•

training:supervised••

training:unsupervised•语义模型的训练与评估-在线推理•

蒸馏：soft-label•

摘要•

query-dependentextractivesummary•

head-nimportantsentences•

maxlength

256->160•

量化•

fp16•

embedding

&layer-norm保留fp32语义模型的训练与评估-在线推理•

训练•

Megatraon-LM+

Tensorflow•

多机多卡；3D-