基于文本相似度的图书馆中文查新智能去重系统研究

基于文本相似度的图书馆中文查新智能去重系统研究

科技调查新（以下简称“调查新”）是指有新业务资格的调查新机构根据调查新客户的需要确认新的科学新型。之后，对有关研究文献进行了综合和比较，并对搜索对象的文献进行了综合和比较。最后，对新主题的新颖性和完整性进行了全面客观的论证和评估，最终形成了科学调查新报告。查新员在科技查新工作中要具有较好的专业学科背景知识,而且要求熟练地掌握检索技术,但在科技查新过程中,随着文献数量的日益庞大,查阅、分析文献过程也增加了大量的机械和重复性的操作。提高查新效率,减少这些不必要的过程,已经成为科技查新员们急切需要解决的问题。目前国内多家数据库并存,检索入口和输出结果格式均不统一,传统的手工查新流程,需要查新员花费大量精力用于繁琐的文本处理,手工对各个数据库输出的文献进行整理、去重,来实现格式的规范统一,费时费力。针对这种情况,哈尔滨工业大学科技查新工作站开发设计并实现了半自动化的快速实现文献去重的查新辅助系统,于2012年重磅推出,为本查新站提供了高效、优质的服务。1参考文献管理教育部科技查新规范规定在进行检索时,中外文必查数据库的数量均不得少于10个,而常用的中国知网、万方数据、重庆维普等中文数据库存在重复收录文献的情况。近年来,部分查新机构采用参考文献管理软件Endnote、NoteExpress等对检出文献进行去重,但是由于数据库接口、管理软件对数据库及中外文文献的兼容性、导入字段需进行重新定义、导出格式不符合规范等原因使得这些参考文献管理软件只能用于简单的格式调整,并不能真正地实现文献的去重。因此,科技查新领域亟待一款为科技查新工作定制的去重软件,该软件只需查新员将各个数据库的导出结果导入就可轻松实现同语种文献的去重,并可按照不同查新站的报告模板导出符合要求的文献格式。2系统开发的初始准备2.1查新人员的需求从事科技查新的人员对于数据库的使用及数据库文献导出格式的情况最了解,因此,他们的需求是去重软件研究的核心部分。首先征集我校查新人员的需求。之后,由专人负责调研其他高校、科研院所对查新中文献去重的需求,从而使得该去重软件可满足当前查新从业人员的普遍需求。2.2确定复杂的域名,确保查重规则的制定,有利于查重规则的制定,有利于确定两种域名,并确定23个域名,有利于查重规则的制定,有利于查重规则的制定,有利于查重规则的制定,有利于查重规则的制定,有利于查重规则的制定,有利于查重规则的制定,有利于查重规则的制定,有利于查重规则的制定,有利于查重规则的制定,有利于查重规则的特定的域名,并确定相对统一的域名,并确定两种域名,有利于查重规则的利用。根据初步由于不同浏览器从数据库导出的文本题录格式的不同,因此查新员大量实验不同浏览器导出格式的特点,选定相对统一的格式,并确定2~3个浏览器,便于查重规则的制定。2.3文献编码格式通过对5个国内数据库文献导出格式的对比、筛选,把导出格式定为中国知网导出格式选取Refworks,维普选取全记录格式,万方选取查新格式,NSTL和科技论文在线只要把选中文献复制粘贴到TXT文本格式即可。2.4文献检索类型中国知网可检索到期刊文献、会议文献、学位论文、标准文献、科技成果、专利文献、报纸等文献类型;万方中文数据库可检索到期刊论文、学位论文、会议论文、中外专利、科技成果、中外标准等文献类型;中国科技论文在线可检索到科技期刊、首发论文、优秀学者等文献类型。3息检索方式结合中文自然语言处理与现有信息检索技术,建立符合大学图书馆查新机构要求的信息检索方式,已经成为当前信息检索的研究热点和迫切需求。该去重系统应用Java语言开发。Java是一种面向对象的程序设计语言,具有较高的通用性和高效性。其拥有全球最大的开发社群,被广泛应用于个人PC、数据中心、互联网等方面。3.1文献检索及生成软件设计并实现一种基于文献内容的中文查新智能去重系统。该系统可实现中文常用数据库中国知网、维普科技、万方、中国科技论文在线、国家科技图书文献中心数据的期刊论文、学位论文、会议论文、科技成果等多种文献类型的检索结果的自动去重、格式整理、顺序编号、统一输出,给出规范有序的各类文献。该软件可由非计算机专业人员操作,并且操作简单,可随时响应数据库导出格式的变化。同时,该软件可显示已去重数量及去重后的文献数量,并可导出满足不同规范的查新报告文献格式。从而最大限度地节省查新员处理文献的时间,使得其将有限的查新时间更好地用于文献的对比分析,从而更好地提高查新质量。3.2该系统的组成我们所设计的模块组成如下。3.2.1基于语言理解规则的自动组件模块针对知网、万方等5个数据库导出结果格式不同的问题,该模块使用语言理解规则方式,格式完全统一化,以方便后续处理。3.2.2自动恢复模块本系统核心模块之一,即完成去重功能。采用基于字段的主题全匹配方法。3.2.3利用相似度方法衡量针对不同数据中采集数据样本可能存在细微差异,例如同一篇检索结果由于输入或者整理错误,在不同数据库结果中存在个别字段差异,利用句子相似度方法进行衡量。3.2.4似度结果的二次校验整理利用模块3的句子相似度结果,对高相似度结果进行二次校验整理,利用作者、期刊等其他信息配合模块2基于主题字段的匹配方法进行查重处理,得到最终结果。3.2.5显示结果外,该模块主要是供查新员方便使用的前台界面操作窗口。除了显示结果外,还承担校验输入是否正确、管理输出结果的作用。该界面包含的信息包括去重前各个数据库的文献数量、去重前文献综述、去重后文献综述、文献重复详细信息等。3.3提供更直观、更切的结果,为查新员提供更详细的检索结果,为用户提供更详细的检索结果,为查新员提供更详细的检索结果,为用户提供更详细的检索结果,为查新员提供更详细的结果提供了更充分的结果去重后文献自动分类,分为报纸、标准、会议、科技成果、期刊、其他、学位论文、专利,为查新员提供更直观、更确切的去重结果,也可为查新用户提供更详尽的检索结果,起到一目了然的作用。每次去重结果可以自动覆盖之前的结果,不必删除每一次的去重结果,省时省力。4测试结果和注意事项系统投入使用后,其智能、快速、高效的界面、方便的操作等功能特点立刻受到广大查新员的关注与欢迎。系统不仅功能强大、实用,并且运行非常稳定,保障了查新工作的高效性。将该去重软件应用在查新工作中,对运行中出现的问题及时进行调试,通过用户的反馈及时修正软件出现的问题,完善其功能并进一步研究其对个人用户参考文献管理的功能开发。在文献的输入输出过程中,利用该系统可以按照查新规范的要求,设计出输入不同的题录格式而输出统一的题录格式,以便在撰写查新报告的阶段避免对题录信息进行重复性加工的操作,并根据报告的撰写要求一次性输出题录信息。关于科技查新工作中实际应用该系统的测试结果和注意事项如下:测试结果:分别对100篇、300篇、700篇文献的TXT文本做开放式测试,该系统很好地支持了智能去重的功能。实现去重结果时间约为2秒,极大地提高了原先通过人工判断来完成去重工作的效率。将该系统投入实际运行,证明完全可以满足工作需求,但需要注意几个方面。4.1android域名NSTL数据库的检索使用360极速浏览器或Google(Chrome)浏览器;中国科技论文在线的检索使用火狐浏览器,检索结果直接从网页中复制粘贴为文本格式并保存。4.2运行系统并删除原始输入记录每次运行查重软件时,需将input中各个数据库文件夹中的文件替换为最新的检索结果,以免干扰检索结果。4.3输出格式中国知网的输出格式选择Refworks;万方数据库的输出格式选择