自然语言及语音处理项目式教程 课件3.2.2-4文本相似度计算_第1页
自然语言及语音处理项目式教程 课件3.2.2-4文本相似度计算_第2页
自然语言及语音处理项目式教程 课件3.2.2-4文本相似度计算_第3页
自然语言及语音处理项目式教程 课件3.2.2-4文本相似度计算_第4页
自然语言及语音处理项目式教程 课件3.2.2-4文本相似度计算_第5页
已阅读5页，还剩14页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

掌握文本相似度计算

深入文本进阶处理知识引入文本相似度：A和B的共性信息描述A和B的全部信息知识引入相似度与语义距离：调节因子保证当语义距离为0时具有意义之间的非负语义距离欧式距离曼哈顿距离编辑距离杰卡德距离余弦相似度哈罗距离欧式距离欧式距离：例：计算“产品经理”和“产品经理是什么”之间的欧氏距离设置文本向量设置文本向量规定

算得欧式距离适用：文本编码检测。移位/错字

这是一篇文本相似度的文章

这是一篇文本相似度文章位置/距离

我的名字是孙行者

孙行者是我的名字曼哈顿距离曼哈顿距离：应用场景与欧式距离类似。编辑距离编辑距离：莱文斯坦（Levenshtein）距离将文本A编辑成文本B需要的最少变动次数。每次只能增加、删除或修改一个字。对称性椰子→椰子树：椰子＋树→椰子树

编辑距离=1

椰子树→椰子：椰子树－树→椰子

编辑距离=1编辑距离编辑距离与文本顺序有关。例：椰子、子椰的编辑距离=2“椰子”→

删除“子”→“椰”→增加“子”→“子椰”。“椰子”→

删除“椰”→“子”→增加“椰”→“子椰”。“椰子”→“子”变“椰”→“椰椰”→“椰”变“子”→“子椰”。“椰子”→“椰”变“子”→“子子”→“子”变“椰”→“子椰”。编辑距离若文本的编辑距离小，则文本相似度高。虽然漏判高相似度的文本，但是可确保通过编辑距离筛选的文本相似度一定很高。漏判情况：批发零售、零售批发。杰卡德距离杰卡德相似度：杰卡德距离：计算“目不转睛”和“目不暇接”的Jaccard相似度交集：{目,不}并集：{目,不,转,睛,暇,接}Jaccard相似度杰卡德距离适用于对字/词顺序不敏感的文本判断论文相似度。不适用于重复字符较多的文本这是是是是是是一个文本。这是一个文文文文文文本。不适用于对文字顺序敏感的场景一九三八年。一八三九年。余弦相似度余弦相似度：例：一把雨伞、下雨了开把伞并集：{一，把，雨，伞，下，了，开}并集中的第1个字在文本一中出现了n次，则得余弦相似度性质：与文本的交集高度相关。考虑到文本的频次这是是是是是是一个文本。这是一个文文文文文文本。余弦相似度：39%。余弦相似度不太适用：向量之间方向相同但大小不同的情况。太棒了：向量(1,1,1)太棒了太棒了太棒了：向量(3,3,3)相似度100%哈罗距离哈罗距离：对两个字符串的相似度进行衡量，以得出两个字符串的相似程度。m：两个字符串中相互匹配的字符数量。

和

：两个字符串的长度（字符数量）。t：换位数量。哈罗距离适用：用于对位置、

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论