




已阅读5页,还剩15页未读, 继续免费阅读
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
.,华中师范大学国家语言资源监测与研究中心网络媒体语言分中心涂新辉,基于排序学习的文本概念标注方法研究,.,人类理解自然语言的过程是一个语义概念的联想和关联的过程,这种功能是由人类大脑中几百亿个神经元构成的复杂神经网络所提供的。,大脑的语言能力,传苹果将于2012年乔布斯生日当天发布iPad3,新闻标题,大脑概念层,苹果公司,乔布斯,iPad,苹果,苹果遭遇对手!高分辨率屏幕手机盘点,德国法院驳回苹果对三星的诉讼,平安夜吃苹果圣诞节中国化,手机,水果市场箱装苹果缩水纸箱被灌水泥重6斤,水果,三星公司,.,和人脑的基于概念的语义表征方法不同的是:“词袋”模型可以捕获文档的词语的细节,但是难以表征文档的主题信息。,传统文本表征模型的困境,传苹果将于2012年乔布斯生日当天发布iPad3,新闻标题,苹果遭遇对手!高分辨率屏幕手机盘点,德国法院驳回苹果对三星的诉讼,平安夜吃苹果圣诞节中国化,水果市场箱装苹果缩水纸箱被灌水泥重6斤,“词袋”模型,苹果,乔布斯,iPad,手机,水果,三星,.,概念是描述文本主题的非常重要的信息基于概念的文本表征可以捕获文本的主题信息,研究动机,传苹果9月发布iPhone5年底推出全新iPad据报道,苹果将在今年9月正式发布新一代iPhone,目前该机的量产工作即将开始。苹果产业链内部人士还爆料称,苹果将在下代iPhone发布前即今年8月,推出传闻多时的7.85寸mini版iPad,与此同时,今年年底时,他们还将发布新一代iPad。,.,在大多数文档集中并没有可以直接利用的标注好的概念本文中提出了一种利用排序学习模型自动生成概念标注的方法,基于维基百科概念的方法,.,概念库的构建,要建立能够表征文本中所蕴含中各种复杂主题所使用概念集合应该满足以下条件:包含覆盖不同领域主题的海量概念新的概念能够及时加入到这个概念库中这些概念应该是人可以理解的要建立和维护这样应该自然概念的集合是一个异常艰巨的任务。幸运的是,维基百科这个世界上最大的百科知识库已经满足了上面的几个要求。,概念库,?,.,维基百科概念库的统计信息和结构,.,相关背景已有的概念标注方法,基于关键词匹配(DavidMilne,2008等)基于内容相关性匹配(显示语义分析,Gabrilovich,2007),.,提出新标注方法的研究动机,显示语义分析模型只考虑概念和文本的相关性,没有考虑概念本身的其它特征可能有多种特征会影响我们使用概念来表示文本,希望利用有导学习的方法让机器学习人类在使用概念来表示文本时考虑的各种因素,.,相关背景排序学习基本思想,当文档中的特征越来越多时,通过人工设定特征的权重信息来构建模型对文档排序的方法就难以为继了。排序学习(Learningtorank)的方法试图利用有导学习的方法自动建立对象的排序模型。,.,RankingSVM方法,输入是针对一组查询的偏序排序信息的一组训练集合:给定概念的训练数据和相关性排序信息,我们希望找到一个权重向量尽可能多地满足以下条件:实际上,没有有效的方法找到完全满足条件的权重向量。但是,可以把这个问题转换为一个标准的SVM优化问题:,.,特征列表,.,训练集生成系统,12位用户使用一个专门开发的文档段落标注系统为600个段落进行了人工标注,.,训练样本示例,标注完成后共得到3387个概念,平均每个段落5.6个概念。在实验中我们同时选取了未被选择的3500个概念作为反例。,.,自动生成的概念标注示例,.,和传统方法的比较,.,不同概念数的比较,.,总结,维基百科这个世界上最大的百科知识库维基百科涵盖了大部分日常使用的概念,是建立通用概念库的绝佳资源。实验表明,本章中利用RankingSVM排序学习算法得到的概念排序模型,比传统的文档概念映射方法在各类指标上都有相当大的提高,这个标注
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 黄石市中储粮2025秋招面试典型题目及答案
- 宁德市中储粮2025秋招网申填写模板含开放题范文
- 临汾市中石油2025秋招笔试模拟题含答案炼油设备技术岗
- 大唐电力德阳市2025秋招面试专业追问及参考电气工程岗
- 中国广电常州市2025秋招笔试行测题库及答案互联网运营
- 大唐电力苏州市2025秋招面试专业追问及参考计算机与信息岗位
- 中国移动许昌市2025秋招笔试模拟题及答案
- 2025年宠物饲养考试题及答案
- 中国联通湖南地区2025秋招市场与服务类专业追问清单及参考回答
- 芜湖市中石油2025秋招面试半结构化模拟题及答案油品分析质检岗
- GB/T 39634-2020宾馆节水管理规范
- GB/T 13234-2018用能单位节能量计算方法
- 营业线施工单位“四员一长”施工安全知识培训考试题库
- 紧急采购申请单
- 全球卫生治理课件
- 工程地质学:第7章 岩体结构及其稳定性
- 实验室生物安全程序文件
- 非洲猪瘟防控讲座课件
- 重症肌无力新斯的明实验的临床评估百度课件
- 预备队员考核表
- 37°球面型管路连接件
评论
0/150
提交评论