文献知识图谱的设计与实现

文献知识图谱的设计与实现摘要：随着互联网技术的深入发展，互联网中的数据越来越呈现出复杂多样的态势。数据结构参差不齐，数据规模爆炸式增长，数据来源渠道多样，仅通过网页和传统文档万维网已难以满足人们快速而精准地获取相应信息的需求。在这种时代构建自己的知识体系结构，显得日益重要。知识图谱的概念应运而生，作为数据爆炸时代实现知识构建、知识管理、知识运用的重要资源，知识图谱在检索和基于知识进行相关推理推荐等方面发挥着巨大作用。本文立足于文献知识图谱角度，完成以下工作：(1)DBLPCCF网上抓10mysql数据库中;(2)根据已有数据进行知识图谱数据模型设计，定义本体，定义知识图谱中类的相关属性及类直接包含的语义关系;(3)python语言，DBLPNeo4j图数mysqlNeo4j中数据与mysql数据进行匹配，完成知识图谱中，Venue的领域属性填入;(4)定义合理的业务逻辑查询，实现该知识图谱相关的查询功能;(5)利用Django进行网站的简单搭建，采用Ajax进行前后端数据交互，最终完成知识图谱的可视化。关键词：知识图谱;Neo4j;Django;echarts数据可视化前言文献知识，在人们的日常学习研究中，扮演着举足轻重的角色，它是人们获取知识的重要途径，也是许多重要的研究成果得以发展的重要基石，在时代高速发展的今天，研究很大程人们无时无刻不被各种各样的信息、知识轰炸，如何从如此巨量的信息中精准提取所需信息，构建属于自己的知识体系，并实现其学习研究价值，显得日益重要。结点表示，实体(概念)2012年由谷歌(google)正式提出，旨在从网络网页中抽取各种实体及其属性，实体间关系，实现更智能的搜索引擎，包括个性化推荐、智能检索及自动问答等方面，以满足数据快速膨胀的需要。知识图谱的概念一经2013念基础上，知识图谱的概念进一步完善，将其定义为不同种类信息连接后形成的巨大的关系网络，并对关系网络中的各类信息进行有序的组织，便于用户进行智能的搜索与管理。知识图谱在之后的情报分析，反欺诈，智能问答中，发挥重要作用。neo4jpython献知识图谱的数据模型设计，数据存储，相关信息的抓取以及一定的数据展示。第一章绪论本章介绍了论文的课题背景，并简要介绍了本系统研究课题的主要内容及做文献知识图谱的意义，最后，在本章介绍了本论文的组织结构。课题背景文献知识，在人们的日常学习研究中，扮演着举足轻重的角色，它是人们获取知识的重要途径，也是许多重要的研究成果得以发展的重要基石，在时代高速发展的今天，研究很大程人们获取信息的渠道越来越多样化，人们无时无刻不被各种各样的信息、知识轰炸，互联网上爆炸式的海量信息，数据格式参差不齐，大量音频、视频等非结构化数据存在，仅通过网页和传统文档万维网已难以满足人们快速而精准地获取相应信息处理、分析等工作带来了巨大挑战。根据国际数据公司的研究20111.8ZB，据报告预测，202035ZB，而在这庞大的数据总量95的数据因为人们数据分析能力不够高超而被闲置[1]。如何从如此巨量的信息中精准提取所需信息，构建在此基础上，人们需要迫切需要数据可视化对知识资源及其载体进行描述，并通过相应的数据分析手段，对知识进行数据挖掘、分析等工作。知识图谱在这时代背景下，应运而生。知识图谱，追溯其本源，是一种叫做语义网络的知识库，具有有向图结构，实体及概念，由结点表示，实体(概念)间的系，则通过图结构中的有向线表示。2001年，语义网络的概念首次被提出，旨在让机器识别相应结构化信息，因而，我们需要对各种结构化，非结构化，半结构化数据进行清洗及处理，以便计算机的识别。2012年，Google首次正式提出知识图谱(Knowledge 将其搜索结果加入知识图谱中，该项定义为，通过一些简单的关键字，从网络网页中抽取各种实体及其属性，实体间关系，实现更智能的搜索引擎，包括个性化推荐、智能检索及自动问答等方面，从而识别出与之相关的一整套知识体系。知识图谱目前已广泛运用于各种领域。作为大数据的应用产物，知识图谱与大数据相结合，继而形成更多运用。例如：DFA-NFA结构构建正则表达式的多模式匹配算法;facebook、twitter等，建立相应的社交关系网络;等，形成专业性较强的知识体系。课题内容及意义l课题内容：本次课题的目的旨在构建文献知识图谱，进行知识图谱的DBLP出版地所属的学科领域，以完成知识获取过程;根据未来不同的查询需求，对已有数据进行解析，构建本体，基于本体完成知识图谱数据模型的设计;Mysql中，再将Neo4j数据库内;利用Django建简易网站，在后端进行数据查询的相关逻辑处理，采用Jquery(Ajax)echarts最终实现文献图谱的数据可视化。l课题意义：文献是人类认识及改造社会过程中的知识积累，是人类知识的载体，也是人们获取知识、信息的重要来源。而知识图谱从本质上来看，可以看成是一个具有网状结构的知识库，能够将一系列分散的实体通过一定的关系建立相应的关联。它是一种对现实世界的逻辑符号表达，使得计算机得以站在关系角度去对实体关系进行分析。知识图谱改变了人们传统的数据检索方式，不仅仅停留在字符串模糊匹配检索的层面，它能够从语义角度理解用户真正的查询需求，实现了通过推理进行检索;同时，知识图谱能够将结构化的数据查询结果以可视化的卡片形式向用户展示，使得用户对查询结果数据有更加清晰、全面的认识。建立文献知识图谱，将原有的离散的数据进行整合，存于一张图谱中，有助于用户摆脱传统的查询方式，实现更好的检索，根据不同的查询需求，从不同的维度进行精准查询;同时在图谱中的文献知识关系，也有利于人们正确厘清文献间，文献未来发展趋势以及当前的发展重点成就具有一定意义。此外，以文献作为中心，构建相应的文献知识图谱，文献相应属性例如作者，所属领域等，也可在未来作为分析作者科研成就、领域交叉情形的重要根据。本文组织结构python5章，各章节的内容如下所示：第一章：绪论，阐明了本次毕业设计课题的背景，课题内容和课题意义;第二章：关键概念和技术介绍，对本系统中相关的概念和用到的技术进行了简要的介绍;第三章：系统设计路线，主要就文献知识图谱系统的设计及完成的相关工作进行详细的介绍;第四章：系统结果，根据完成的知识图谱系统，根据不同的关键词，对系统进行相应的查询测试;第五章：总结和展望，对本系统工作内容进行相应的总结，对未来的工作内容进行展望。第二章关键概念与技术介绍本章阐述了文献知识图谱系统实现的关键概念，简要介绍了知识图谱，继而介绍了文献知识图谱所基于的主要图数据库neo4j，同时介绍了Django，Ajax以及echarts。知识图谱介绍2012年，谷歌正式提出知识图谱的概念，该项目利用从网页中抽取实体、属性信息，及实体间关系等技术，以实现更加智能的搜索[2]。谷歌知识图谱项目，不仅仅基于用户的关键字进行单一搜索，更能分析用户的需求，从而做出相应的推荐，2C模式。在谷歌的基础上，知识图谱的概念被正式提出。知识图谱被定义为把各种不同种类的信息通过关系的连接，对知识进行有规律的组织，从而形成一个大的关系网有一部分相当重要，它是一个大规模的知识库，彼此间相互协作，叫做Freebase，是用来链接数据的数据集[3]。知识图谱本质上属于结构化的语义知识库，它使用资源描述框架(RDF,ResourceDescriptionFramework)来描述相关数据，同时以节点-边-属性这样的三元组为基本模型，一般在关系网络中呈实体-关系-实体的结构，同时以实体-属性-属性值的形式表现，在物理世界对应中，物理世界的实体对应了知识图谱中的节点，物理世界中实体间的关系对应了知识图谱中的边。知识图谱存在的目的在于描述物理世界的各种实体以及实体间对应的关系，在整个知识图谱中，每个实体都有一个唯一编号ID，属性值用来描述该实体相应的属性。就覆盖面而言，知识图谱可以大致分为通用知识图谱和行业知识图谱两类：通用知识图谱更加注重广度，需要融合更多的实体，相比行业知识图谱，通用知识图谱的准确度不是很高行业知识图谱更加注重垂直深度，一般需要基于特定的行业数据进行知识图谱的构建，具有数据模式也相应比较复杂，由于行业知识图谱反映特定的行业特点和行业意义，还需考虑不同的业务场景下，提供给不同的人员使用，因而，构建行业知识图谱需要具有相应的行业背景知识。在知识图谱中，还有一种重要概念为本体。本体的概念属简单、并易于分享的明确规范，在知识图谱中，本体即对领域实体的本质抽象，采用多种知识表示元素将实体间的关联及概念间的关联表达出来。在知识图谱的层面来讲，本体对知识图谱的数据模式进行描述，简单来讲，是先对事物进行高度的抽象和概括，然后用本质属性定义概念，接着对抽象的概念进行详细的描述，把抽象的概念还原成具体的东西，构造本体，是为了将某一领域的知识进行一定程度的模式固化，便于之后的知识共享和该领域的知识重用。知识图谱需要根据数据模型构建实体关系，在构建过程中，一般需要历经原始数据清理，实体识别，构建实体关系，绘制对潜在关系进行分析等阶段，从而能深入了解获取数据间的关系，实现知识共享。Neo4j介绍对于知识图谱的数据存储，图形数据库是最佳选择。图形数据库采用的点边及属性的数据表达方式，与知识图谱的节点边-样将不同的数据连接成一个大的关系网络，它是一个无架构数据库。Neo4j作为当前最流行的图形数据库之一，已经成为越来越多互联网的首选。Neo4jJava实现，并且它完全兼容ACID。相较于传统的数据库将数据存储在表中，Neo4j选择将结构化将节点、属性、关系，进行neo4j的存储模式：根据文献[5]，Neo4j是一个嵌入式的Java引擎，它以磁盘为基础，并且有完全事务特性。Neo4j不同于传统数据库的独neo4jneo4j带来了一系列便于用户使用的特性：l 能够完全支持事务：Neo4j事务，同时把数据库中的状态变为写入状态，该对象被锁管理器提供支持，锁管理器在节点及联系创建、更新、删除时为它们加锁，当事务回滚时，事务对象只是被简单丢弃，同时释放解锁;当事务完成时，提交事务到磁盘，这种机制，保证了事务的原子性以及全局数据的一致性。l图形检索力强：Neo4j支持一种高效的图数据库查询语言Cypher，该语言与用户使用示意图表示的方式十分相似，因而Neo4j进行描述及操作。用户和应用程序都Cypher去图形数据库中查询匹配相应模式的数据，它使用一个模式的一个或者多个部分确定图的起始位置，然后通Cypher进行数据查询，使用start、match位置，从而拥有极强的图形检索力。l 的后果，在数据库崩溃的时候，数据库应该执行相应的恢复操neo4j中，当数据库发生非正常关机从而做恢复时，首先将会检查最近活动的事务日志，并从查找到的存储中执行其所有事务，在这些事务中，有些可能已运用到存储中，但鉴于重新执行该事务属于冥等的操作，所以对结果不存在影响，在执行所有事务并提交后，即与故障前保持一致。l 具备相应的横向扩展力。由于Neo4j是图数据库，本身图是具有可扩展的。在Neo4j图数据库中，往往一个节点与其他节点具有相关联的关系，因而，neo4j通过Read Replica机制对数据库进行读写分割，从而达到横向拓展的目的。当数据量增长到某一程度，一台机器不能以足够的内存及I/O吞吐量为其提供查询服务时，neo4j直接建立一个集群，直接进行横向拓展;当图的规模超过了一个集群的承载能力，可以通过合理的组图方式，在应用程序中创建分片逻辑来跨数据库实例来展开图因而，随着数据的不断增长，neo4j的横向扩展力能够很方便的适应庞大的数据规模。DjangoDjangopythonweb框架，由于pythonDjango成了很多开发通用的类库和第三方插件，功能十分强大[6]，它可用于快速搭建网站，使得开发人员避免重复编写代码，更加web框架一样，Django也是基于MVC分别表示界面设计、数据库和界面之间的交互。视图层主要用来设计前端展示的页面，及针对前端页面的管理;模型层描述了数据库中表的结构和其中相应的业务关系;控制层负责前后端交互，即处理用户的请求以及服务器的响应规则。但是，DjangoMVC模式同传统的又有些许不同，Django的模板相当于整URLmodels模型作为整个系统的模型层。Django的强大之处可以体现在以下方面：l强大的数据库机制：对于数据库的访问机制，DjangoORM，隐藏相应的数据访问细节，开发人员可以简便地与数SQL语句，直接通过代码去操作数据库。l 可继承性的页面管理：Django将整个页面分成若干个相对小的功能模块，使用时直接导入即可，Django的模块系统易扩展，且样式分开设计。lDjango中，ModelFormForm类的设置，可以轻松进行表单验证。lDjango中配置相应参数，就可以开启后台管理机制，在该管理机制下，系统管理者可以很方便的进行数据操作及访问。AjaxAjax(AsynchronousJavascriptAndXML)，即异步JavascriptXML，它是一种用来创建前后端交互式网页而运用的一种网页开发技术[7]，用于创建快速的动态网页，通过客户端脚本与Web服务器间的少量数据交换，无需重新加载整个页面，而是Ajax个页面，可以节省网络带宽，对局部更新的方式，可以相应提高网页加载的速度，以此来减少用户等待的时间，增加用户体验。echartsEcharts全称Enterprise Charts，它基于Html Canvas[8]，是百度开发的开源图表库。在底层，Echarts依赖轻量级的ZRender。它拥有柱状图、折线图、散点图、饼状图等图表，以及坐标轴、网络、图例等组件。同时它能支持任意维度的堆砌并且可以支持多个图表的混合。在迫切需要数据可视化的时代Echarts能够提供生动直观的方式，通过和用户的交互，进行高度定制化的可视化图表，极大的满足用户根据不同数据特点，选择合适的数据格式进行展示的需求。本章小结neo4j图数据进行数据存储，有助于形象化的描述文献、作者、出版社等各个实体间的关系，从而形成一个大的关系网络，在数据规模大的情况下，在一定程度上实现高性能的查询以及相应的可拓展性。此外采用Django及ajaxecharts实现相应的数据可视化。第三章系统设计路线本章介绍了文献知识图谱系统的设计路线，具体包括系统结构总体设计、数据提取准备，知识图谱的数据模型设计，数据存储，后端查询以及系统展示页面设计。系统结构总体设计文献知识图谱系统的采用的技术方案是python3.3+Django后端交互传输的参数数据量同样较大，为了后续满足数据的可Django框架进行开发。基于Django开发其实是开发DjangoDjangohtml模板以及URL分发器，每一个应用都有其模型和视图。在本系统中，前htmlecharts进行页面数据可视化展示;控制层进行数据前后端交互，处理用户传递过来的相应请求，应对URL分发器和视图部分提供相应的支持;数据层采用图数据库对文献知识进行单独存储，并在控制层连接图数据库，以实现数据与后端逻辑处理代码的联系。以下为文献知识图谱的总体框架：WebNeo4j识图谱中的相关节点、节点属性、节点间关系等内容，在这部分，基本完成知识图谱网状结构;py2neopython与neo4j的对接，并根据不同情形完成相应的后端查询功能，据官方文档介绍，py2neopythonNeo4j的客户端库及工具包;Djangoweb应用程序框架，利用其控制层、模型层搭建相应的网站;在WebJQueryajax实现前postecharts进行数据可视化的展示。数据准备一般而言，知识图谱的数据来源较为多样化。典型的数据来源有开放链接数据、百度百科类数据、行业内特定网站等等。数据形式同样多元化，数据可以分为结构化、半结构化及非结构化数据。结构化的数据具有良好的布局结构，一般存储于业ETL对于结构化的数据，数据转存相对较简单，直接批量导入即可;对于半结构化数据，需要进行数据解析，提取相应的实体、属性;而非结构化文本最为复杂，往往需要采用自然语言处理技术对文本进行语法和语义分析等工作。本次设计中，采用的数据源为半结构化数据，数据来源主DBLPCCF()页内的表格数据。DBLP全称为：Digital Bibliography Library Project[9]DBLP并非一个数据库，而是一个数据集，在其官网可以进行不同版本的下载(VenueVenue对象相对应的属性5. Venuesession的addmysqlcommit10个网页皆根2-5部进行处理。mysql数据库中部分相应数据如下所示：数据模型设计使得不规则领域的一些具体方面变成一种相对结构化、可操控的空间。在构建知识图谱之前，建模是一个必须的工作。从逻辑角度看，知识图谱可以分成两个层次：模式层和数而本体相当于知识图谱的模具，通过构建本体，减少知识图谱中数据的冗余程度。数据层一般由图数据库进行存储，以实体-关系-实体及实体属性-属性值这样的知识形式展现，实体，属性及实体关系组织形成知识图谱。由于本体管理着知识图谱的模式层部分，因而知识图谱的建模一般采用基于本体的建模方式，本体是表示知识图谱的逻辑基础和概念模型。本体一般包含函数、公理、类、实例、关系、属性这6类基本单元。l n-1n个元素;l的命题;

公理代表永真断言，指那些不证自明的事实，无需证明l类是对象的集合，任何现实中的事物都可以理解为类l实例代表类的具体元素;l关系代表类之间的交互作用。l 属性代表了类的一种抽象性的刻画，包括数据的属性和对象的属性。数据属性代表了类的最本质的属性，而对象属性刻画了不同的类之间的关系。本体中最基本四类关系元素为：Part-of、Instance-ofkind-of、attribute-of，当本体融合语义关系，本体即成为知识图谱。本体包含的函数、公理、类、实例、关系、属性等元素，可以详细描述知识图谱的组织形式，本体中的概念(类)、实例在知识图谱中可以以节点形式展现;在知识图谱中对应为边;本体本身蕴含的知识，可以作为知识图谱的知识库;本体自身的更新，同样便于知识图谱的更新。以下为知识图谱与本体间的对应关系：本体建模方式主要有两种：自顶向下建模及自底向上建模。l 义本体，逐步细化，获取本体的数据，再将具体实体逐步加入到知识图谱中，但这并非从无到有的过程，而是基于现有部分数据而得。l 些实体数据进行抽象，构建本体，即先具体后抽象的概念。在本次设计中，采用自底向上的建模方式。在进行模式(Schema)定义时通常需要包含类和关系的定义，类定义包含上非上下位关系。本体模式(Schema)的构建通常为以下4个部分：类/概念的定义类层次的定义，是否存在上下位关系，例如：水果-主要是在获取层次信息后添加intString等类型的值语义关系的定义，通常在类和实例中定义本系统在于完成文献知识图谱的构建，根据未来相应的查4.2为：作者;文章;出版地;接着是对象属性定义，属性定义如下：作者的名称属性文章的编号、标题、年份、摘要属性出版地的名称、所属领域属性根据定义的三类实体，对其进行相关性分析，为这三类实体创建语义上下文，从而构建领域，创建的语义联系如下：引用：文章-文章，用于描述文献之间的引用关系出版：作者-文章，用于描述作者与文章间的出版关系出版于：文章本系统中，类别无上下位层次关系。基于定义的类别、属性、以及相应的语义关系，按照以下方式构建知识图谱模型，将定义的概念类别作为知识图谱中的节点，对象属性作为节点属性，实体间的语义关系作为知识图谱中的边：数据存储完成知识图谱的模型设计后，知识图谱构建的重要步骤为数据融合，它与存储有关，从数据结构的角度而言，知识图谱1主要有两种模式：RDF生成及数据库模式。RDFRDFOWLApacheJena，Protg等。此方式构建的知识图谱，通常支持三元组模式查询，因而非常高效，同时它也支持任意两个三元组模在这种方式下，多重索引往往意味着多倍的空间开销，同时，其更新维护的代价很大，因而，在数据规模较小的情形下，RDF生成方式较适用，在大的数据规模下，此方法并不适用。数据库模式存储可以较有效的适应大规模数据情形，得益可供选择的有图数据，NoSQL数据库，关系型数据等。然而它往往对实际中的特殊联系处理的并不好，随着应用程序不断扩大的规模，关系型数据库的缺陷日益显现[11]它通常需要SQL语言将表格进行加载入数据库，因而在关系数据库中，表的链接增加了偶发复杂性，它使得业务数据和外键元数据混杂起来，同时也增加了后续开发和维护的成本，后续模式变更以及反向查询更是困难。NoSQL数据库(键值数据库、文档数据库、基于列的数据库)，存储的都是彼此间无关联的文档/值列，它们入另一个聚合数据标识符的策略添加彼此间的联系，相当于添加外键，同样增加了代价，并且不维护关联数据的一致性，同时这种策略，没有反向指针，这样就丧失了反向查询的能力。与关系型数据库以及大多数NoSQL数据库相比，图数据库弥补了以上两种数据库的不足，图数据库是一个扁平的，无连接的数据之外的网络。现实世界的关系通常错综复杂，形成巨大的关系网络，而关系网络会形成某种路径，数据库中的查询或者遍历都会涉及到路径。而多数基于路径的图数据库的操作和数据本身都呈现出来的路径高度一致，因此，图数据对于数据对象复杂的知识图谱来说[12]，十分高效。基于以上各数据库的特点，以及本系统自身的图状需求，在本系统中，采用了图数据库Neo4j进行存储。DBLP半结构化数据的数据特征，每个文blockblock区分。利用PythonDBLPMysqlVenue图书库中，实现数据融合。代码逻辑如下：ArticleDBLP内每一条文献记录作为该类的实体，根据年份、出版源、引用文献、摘要，其中，考虑到一篇文献的作将引用文献和作者这两个属性定义为列表，其余属性为字符串形式，并利用构造函数进行相关的初始化操作。addEntityArticle对象实体，在该函数内，根据3.3定义的数据模型中的类、属article，venue,authorpublish，published_in，citemerge合并。process_block_add_entityblock_contentArticle对象，按照文档内文献属性前的标志符号进行文本提取(根据图4.2.1DBLP)ArticleaddEntityArticle对象插入图数据库。MySqlORMVenuemysql内表格字段属性，Vneue类内属性为：文献名称、简称、出版社、网址、大articlevenuemysql内的文献filtermysql内该条Venuedomain属性。DBLPDBLP数据量过大，在此定义一个文本文档用于记录文档读取行数，保证中断后能继续从中断处开始。数据后端查询完成数据存储后，需要实现的相应的查询功能。由于本系Django框架进行webDjango体框架：DjangoURLURLViews.py进行py2neopython与图数据间查询交互。根据实际的查询需求，支持的查询关键字有：author;article;Year;reference;referenced_By;article_in_venue;author_publishIn_Venue;article_belongto_domain示。根据不同关键字，Cypher查询逻辑如下：post请求，在后端根据不同的关键字，进Neo4jCypher进Cypherjason串。Django业务逻辑如下：1. Django将Http请求打包，使之成为语言进行基本的网页元素设计。Html语言全称为超文本标记语言，通过一系列标记符号可以对文本、图片、链接、视频、音频等内容网页内进行标记，最终形成一个网页文件。用户在浏览器中浏览网页时，并向用户展示网页内容。Html拥有可拓展、可兼容、灵活方便等特性[13]。本系统中的页面元素主要为一个select下拉列表，input一submitdiv容器。其中，下拉列表由用户选择，表明用户需要进行查询的关键字类别;输入框内由用户输入具体的某类别的关键字，submit按钮进获取用户输入，文献知识图谱展示块用来展示最终结果：用户点击submit后，进入以下流程：lSubmit按钮中包含onclick函数，当用户点击后，直接触Onclickselectjson格式;lJqueryAjaxurljson;l Json串的形式，向前端返回相应的数据结果;lsuccess函数，在前端进行可视化展示，若接收失败，则触error函数，在网页内提示异常信息;l Success函数中，使用echartsechartsoption属性设置：设置标题为文献知识图谱展示设置图表类型为力向导图;将从后端接收的数据series的data设置，将后端数据以单条数据为单位变成一个个节点显示;3.7本章小结本章就文献知识图谱系统进行了系统设计路线的介绍，包以及相应的代码逻辑进行了简要介绍。第四章系统结果查询列表根据实际的查询需求，在本系统中，支持的查询关键字如下：l author：根据用户输入的作者名称，查询该作者出版的文献;l article：根据用户输入的文献关键字，查询标题含有该关键字的文献;lyear：根据用户输入的年份，查询该年出版的文献;lreference：根据用户输入的文献，查询该文献引用的文献;l referenced_By：根据用户输入的文献，查询引用该文献文献;l (会议);l 该期刊上出版过文献的作者;l 该领域内的所有文献;查询结果展示基于以上设计路线，最终进行系统测试，展示部分查询的查询结果，在展示过程中，将文献结果以一个个节