全文检索系统技术方案

1、第1页全文检索系统技术方案北京中威佰特科技有限公司2009-7目录TOC o 1-5 h z HYPERLINK l bookmark2 第1章背景1 HYPERLINK l bookmark4 第2章系统设计2 HYPERLINK l bookmark6 技术架构图2 HYPERLINK l bookmark8 系统架构图3 HYPERLINK l bookmark10 第3章系统功能4 HYPERLINK l bookmark12 信息采集4 HYPERLINK l bookmark14 中文自然语言处理4 HYPERLINK l bookmark16 全文检索功能4 HYPERLINK

2、l bookmark18 格式文件检索5 HYPERLINK l bookmark20 性能指标5 HYPERLINK l bookmark22 第4章搭建全文检索平台7 HYPERLINK l bookmark24 信息查询7 HYPERLINK l bookmark26 查询方式7 HYPERLINK l bookmark28 查询结果9 HYPERLINK l bookmark30 简单查询9 HYPERLINK l bookmark32 业务查询10 HYPERLINK l bookmark34 组合查询10 HYPERLINK l bookmark36 批量查询12 HYPERLIN

3、K l bookmark38 信息检索13 HYPERLINK l bookmark40 关键词检索13 HYPERLINK l bookmark42 递进检索13 HYPERLINK l bookmark44 网文检索14 HYPERLINK l bookmark46 检索技术15第1章背景据统计，内部网上的信息每年以200%的速度增长，其中发布到互联网上的信息只占到信息量的1%-2%，而98%以上的信息是发布在内部网上的。内部网上的信息既有网页形式的，也包含其他Word、PDF、XML等多种格式的数据。因此，面对内部网中海量异构的信息资源，如何帮助用户快速找到他们所需要的信息是一个主要的技

4、术挑战。搜索引擎能帮助用户方便、快捷、安全地获取内部网上的信息，在满足高效的同时，更重要的是保证了较高的查全率和查准率，能提供智能化的概念扩展搜索，极大的提高工作效率。内部网搜索引擎将组织中分散管理的信息整合在一起，在组织层面上实现新的增值与共享，从而有效实现组织内容利用的最优目标。搜索引擎的目标是实现内部网全文检索。系统可对实施了内部网站资源进行爬行，无论内部网上的数据源在何地、以何种形式存在，都能够对其快速地访问，通过准确的分词建立索引，从而实现高质量的搜索查询。搜索引擎的主要目标包括：(1)较高的查准率。搜索系统支持按词索引、按字索引，同时实现中文自动分词。(2)较高的查全率。搜索系统可

5、搜索各类异构的信息资源，包括传统的网页信息、Word、PDF、XML等不同格式的文档以及各类主流数据库的表中记录。(3)智能化的检索结果排序。安全搜索系统应采用相关度分析技术，将用户需要的信息排在结果列表的前面，屏蔽无用和错误的信息。1L金笠文检索系统技术方案第 页第 页第2章系统设计2.1技术架构图搜索引擎的系统体系架构如图所示:搜索请求返回结果用户提交搜索、安全过滤搜索结果排序爬行控制数据源注册、资源描述、策略描述Web页面1数据库数据源2内部网站数据源1数据库表*文件系统.数据源3邮件系统数据源n,爬行*裳器器索引模块内部数据图系统体系结构图引擎实现了下列主要功能：（1）爬行器：爬行器根

6、据资源描述信息对内部网中各种异构的资源信息进行爬行，获取所有能够获得的资源信息，资源信息的格式应包括：Web网页、Word、PDF、Excel、PPT等格式的办公文档、各类主流数据库的表中记录。（2）索引器：通过中文分词技术，对爬行到的资源信息进行解析，建立索引文件。（3）搜索：用户提交其搜索条件，搜索条件经过特定处理后，在索引文件中检索出所有满足搜索条件的资源。文检索系统技术方案2.2系统架构图全文检索系统统一搜索平台的总体架构采用三层（数据层、应用层和表现层）可扩展的设计，使整个系统不受硬件平台的限制，具有良好的扩展性和可管理性。垂直搜索而统软件浅.辑架构圉表现后信息检索服弟检索简单核案）

7、授紫引擎应用开址接口DatabBEAPI1文检索系文检索系统技术方案第 页第3章系统功能3.1信息采集1、采用多线程并发搜索技术。2、提供多种采集范围控制方式，包括在指定网站内，在指定域内，以及在指定IP地址范围等方式。3、可以设置多种网站采集控制方式，包括采集的网页大小、超时限制等。4、提供高效更新功能，对于已经采集过的网站，更新时只采集发生变化和新加入的资源。5、可以灵活设定采集结果的存储方式，具有开放性。中文自然语言处理内嵌自动分词系统，有效提高了分词准确性。在应用层上，提供自动分类和摘要功能；支持按词索引、按字索引、按关键词索引，适应不同应用环境的需求；内嵌相似性检索技术，提供文章的相

8、似性检索和聚类功能。全文检索功能支持WebBrowser/WebServer检索方式；智能中文分词：采用先进的自动分词系统，根据大量的语料统计和分析，建立了上万条的歧义排除规则，因此检索“华人”不会把仅仅包含“中华人民共和国”的文章检索出来。支持结构化数据和非结构化数据的混合检索；允许使用文中的任意字、词、句和片段进行检索；全方位检索手段：与、或、非、异或；对数值、日期等特征字段可以进行比较和范围检索；支持任意一致的通配符检索（模糊检索）；支持多网站的全文检索具备中文自动分词系统，能有效提高分词准确性采用智能中文分词技术，建立高效索引库支持实时索引（1分钟内）支持增量式实时索引多线程设计，支持

9、大量并发用户访问，每秒并发达到50个以上支持在结果中查询支持GBK、BIG5、UTF8、GB18030等编码，采用UTF8编码方式实现多语言和多文种内容的检索及展现。支持中文、英文和中英文混合检索多样化排序，包括按抓取时间排序、按相关性排序多种条件组合检索：包括标题、正文以及日期范围检索支持关键词逻辑表达式组合检索检索结果支持基于查询关键词的动态摘要支持检索关键词的高亮显示将所检索到的信息可按设定的模版显示检索结果模板自定义如：如文章标题、文章栏目、简介、作者、点击率、时间以及文章类别等支持根据自动分类的类目进行检索采用KNN、SVM为基础的相关性算法格式文件检索支持MSOFFICE,PDF,

10、HTML,可以对.pdf;.rtf;.doc;.xls;.ppt;.pps;.xml等文件直接进行检索。性能指标自动分类达到85%以上准确率数据索引更新时间平均小于0.02s/记录（每条记录4Kb）本地检索平均响应速度小于1秒，亚秒级反应速度支持不低于50个并发检索请求G级数据全文检索响应在毫秒之内全文检索数据库的“零”空间膨胀率（-10%20%）。T级文本数据库，一个任意词的检索都在1秒钟之内第4章搭建全文检索平台全文检索平台可以是一个独立的业务应用，同时也可以作为分析研判的基础工具和共用模块，是高端业务应用功能模块设计和构建的基础，可供各业务应用功能模块调用。包括信息查询、信息检索等功能模

11、块。其中信息查询则是针对业务系统的结构化数据提供各类准确的查询结果，信息检索则可提供对各类结构化、非结构化数据的模糊检索。根据招标要求分别设计信息查询和信息检索两个功能模块，满足精细化查询和全范围模糊检索的业务需求。信息查询信息查询是信息系统提供服务的一种通用的方式，通过用户输入不同的查询条件系统显示不同的信息列表，是精细化的一种寻找信息的方法。其应用场景多出现于针对目标性极强的确切细心信息的查询，例如通过输入姓名加身份证在人口系统中查询确定某个人的信息；通过输入案件编号查询确切某起案件信息；如输入某个时间段和案件类别以及发案单位，查询某单位某段时间以来某种案件类别的所有发案情况等。信息查询作

12、为平台的基础功能，不仅作为一个单独的功能模块出现，同时作为基础的技术手段和研判工具，也会出现在研判业务子平台和运行管理功能中，实现针对各类研判业务信息和运行管理数据的查询。信息查询子系统主要包括简单查询、业务查询、批量查询、组合查询、关联等功能模块。其中业务查询、批量查询、组合查询、关联查询均是基于简单查询的功能交叉组合，实现精确化查询的同时提供对于查询结果的扩展，丰富查询功能。下文首先介绍信息查询的基本查询方式。查询方式查询部分支持常见的多种查询方式，如下简单列举：如同音同韵查询、模糊查询、追踪查询等。同时支持较为复杂的交叉查询和关联查询。在设置条件项与条件值的关系中有“等于”、“介于”、“

13、不等于”、“大于”、“小于”等数种条件关系。同音同韵查询。对于用户姓名、绰号/别名可以进行同音同韵（发音相同字不同、音调不同）查询。模糊查询。对于部分数据项可以进行模糊查询。追踪查询。实现追踪查询，用户在一次查询的结果上可以再追加条件进行多次查询。交叉查询。交叉查询是对案事件、物品、人员、时间和地点五个要素之间的多条件交叉关联查询，交叉查询分为直接交叉、间接交叉，直接交叉查询是指用户对于交叉对象和被交叉的对象已经明确，而间接交叉是指交叉对象已经明确被交叉的对象比较模糊。关联查询。指将某一类业务数据的查询结果，作为另一类业务数据的查询条件。用户在查询简要结果界面，可以通过关联查询，关联查看到该结

14、果的其他种类或其他要素中的数据内容。设置条件项与条件值的关系。关系有“等于”、“介于”、“包含”、“不等于”、“大于”、“不小于”、“小于”、“不大于”、“为空”、“不为空”十种。“等于”：条件项与条件值相等，用于数字项、代码项和字符项的查询，如：身高（数字项）、案别（代码项）、姓名（字符项）。“介于”：要求条件项在两个条件值之间，一般用于时间项目，或身高、年龄等项目，它是包括边界值在内的。“包含”：条件项包含查询值，用于字符项和代码项的查询，如：姓名、简要案情（字符项）、作案手段（代码项）。查询条件中可以输入通配符“%”（半角字符）、“_”（半角字符）进行模糊匹配查询。“不等于”：与“等”相

15、反，可用于数字项和代码项的查询。“大于”：要求条件项的值大于条件值，注意条件值本身并不含在内。值类型可以是数字、日期等。“不小于”：即“大于等于”，要求条件项的值大于或者等于条件值，注意含条件值在内。“小于”“不大于”，与“大于”“不小于”类似。“为空”“不为空”，适合所有项目，用于检查数据是否有录入使用。选择此项时，条件值栏不要输入。设置条件间的关系。如果有多重条件，对条件之间的关系定义了四种，即：并且关系&（*），或者关系|（+），非关系（）、优先关系（），来表示。案别字典特别设计。警种管辖：刑侦、经侦、治安、边防等。提供配置功能，可以根据专项斗争的需要，定义新的案事别类。查询条件诱导输入

16、。在录入查询条件时提供信息代码诱导输入。信息代码诱导输入提供拼音诱导、五笔诱导和汉字诱导三种诱导方式，用户通过信息代码诱导输入功能可以灵活的输入代码信息。树状字典。提供树状字典选择的功能。查询方案保存和调取。用户可以对通用的查询条件进行保存，方便下次查询时候直接选择已保存的查询方案进行查询。查询结果简要结果显示数据项目用户定制。根据用户不同的需要对查询的结果数据项目进行设置，在用户没有特别要求的情况下，系统以通用的方式进行显示。显示结果因用户级别权限不同而不同。输出保存格式。对于查询出的信息，用户可以有选择性的输出到HTML、WORD、EXCEL中，方便保存打印。分页输出。简要结果信息以分页方

17、式进行显示，用户可以自己设定每页显示的记录数，用户也可以指定某页直接显示。分类统计输出。简要结果信息可以按用户的配置进行数据项分类统计输出，点击数据可以看到相应记录的简要结果信息。分组显示。分页输出时，简要结果信息可以按选定的数据项进行重新分组显示。选择显示。仅显示选中的简要结果信息。筛选显示。按照用户新增的筛选条件对简要结果信息进行过滤，显示过滤后的简要结果信息。还原显示。还原到分组显示、选择显示、筛选显示操作前的简要结果信息显示状态。照片组合显示。在显示人员简要结果信息结果时，除支持文字信息组合分页显示外，还支持照片信息组合分页显示。比对显示。信息用户可以对简要结果中选定的多条信息（详细结

18、果文本信息、图像）在同一屏上进行对比查看。信息关联显示。用户在查看详细结果信息时，可以通过点击关联信息链接获取和该信息相关联的对应信息，比如查询出的案件信息可以通过关联查看案件中的涉案人员信息和物品信息。对于多级关联显示、从不同的数据项入口进入，最后只要条件够，能得到一致的结果。4.1.3简单查询简单查询就是将具体的人、事、案、物、证、线、时、场所等信息在所涉及的内容中进行查询，满足用户常规的查询需要。简单查询按照上述要素进行分类。简单查询的条件设定比较简单，查询选择项是描述要素的基本特征。为减少对系统资源的占有，仅提供前述“同音同韵查询”、“模糊查询”、“查询条件诱导输入”、“结果分页输出”

19、等查询功能的支持。4.1.4业务查询指对单一种类的业务数据进行的查询，系统通过查询模型设置可以对平台下挂接的每种数据生成一个查询输入界面，系统将各种业务系统的数据挂接在一个查询平台下，按业务查询适合于已知被查的信息在哪个业务子系统情况下使用。业务查询功能包括：一是人的业务查询：常口、暂口、旅馆业、网吧上网信息、在逃、通缉、协查、在控、失踪、无名尸体、出入境、监所、民航等系统；二是案（事）的业务查询：刑事案件业务查询、治安案件业务查询、串并案件业务查询、110接处警业务查询、交通事故、消防事故业务等系统查询；三是物的业务查询：涉案物品（含协查通报中的物品）、可疑物品、被盗抢机动车辆、被盗抢枪支弹

20、药、被盗抢民爆物品等；四是情报线索的查询：违法犯罪线索、信息、情报业务查询、门户网站信息查询等。以及其他业务信息分类查询。4.1.5组合查询提供各要素全部信息项的查询，支持前述全部查询功能。可通过新设计查询方案和打开已有的查询方案来进行统计查询，并将结果以分类统计的形式输出：新建保点打开查询甄#诜置查询条件丹弓条件项操作将暴件但口暴件间的关系：位置显示项目系统将待查询的各类数据库的数据项名称以树状的结构形式进行显示，支持用户以鼠标拖动的形式进行查询条件的选择。组合查询的查询方案在设计过程中，可支持对各类数据条件项的添加、条件项与各条件值的关系设置。系统自动记录并保存查询人员的操作轨迹，以备总结

21、。对设置好的查询方案保存下来，供下一次进入的时候调用，可以节约很多时间，也有利查询方案的交流。系统管理员可以查阅所有操作轨迹或方案，并总结经验，设置共享方案保存在数据库中，供所有用户调取使用。设计查询模板。点击“新建”工具按钮进入设计查询方案界面。设置查询条件添加条件项。用户通过鼠标从“选择查询条件”窗口中拖取查询条件项目到“设置查询条件”窗口中选定查询项。双击条件项就可以删除它。若选择的条件项分属于不同的要素（人、案、物、时、地），系统将根据显示项目从属的要素进行相对应的交叉查询。设置条件项与条件值的关系。输入条件值。如果条件值是需要手工填写的，在条件值栏填写好具体的条件即可，如果条件是标准

22、代码，按“查询条件诱导输入”功能输入需要的条件值。设定条件间的关系。设置显示项目从选择查询条件窗中用鼠标选定字段，按住鼠标不动，可以将字段拖到设置显示项目栏中，拖过来的字段将会作为显示项目在查询简要结果中显示出来。双击显示项目就可以删除它。若用户不作设置，系统以通用的方式进行显示。注意：只可以选择同一个要素中的条件项。设置统计项目从选择查询条件中用鼠标选定字段，按住鼠标不动，可以将字段拖到设置分类统计项目栏中，拖过来的字段将会作为分类统计项目在分类统计结果中显示出来。双击显示项目就可以删除它。注意：统计项目必须是设置显示项目栏目中的条件项。为实现灵活的信息分级统计，参照网络掩码的设置方法，在对

23、代码项分类时，引入掩码的概念，约定：需屏蔽的位用0，分类依据的位用1，如：行政区划6位，按省分类统计时掩码为110000，按地市分类时掩码为111100，按县分类时掩码为111111。4.1.5.1保存查询方案系统自动记录并保存查询人员的操作轨迹，以备总结。对设置好的查询方案保存下来，供下一次进入的时候调用，可以节约很多时间，也有利查询方案的交流。点击“保存”按钮将弹出保存窗口，输入方案的名称点击保存即可。普通用户的查询方案保存在本地。系统管理员可以查阅所有操作轨迹或方案，并总结经验，设置共享方案保存在数据库中，供所有用户调取使用。4.1.6批量查询批量查询包括如下几种数据库：一是人的业务查询

24、：常口、暂口、旅馆业、网吧上网信息、在逃、通缉、协查、在控、失踪、无名尸体、出入境、监所、民航等系统；二是案（事）的业务查询：刑事案件业务查询、治安案件业务查询、串并案件业务查询、110接处警业务查询、交通事故、消防事故业务等系统查询；三是物的业务查询：涉案物品（含协查通报中的物品）、可疑物品、被盗抢机动车辆、被盗抢枪支弹药、被盗抢民爆物品等；四是情报线索的查询：违法犯罪线索、信息、情报业务查询，门户网站信息查询等。支持调用机动车数据文件进行批量查询，文件必须为TXT文本格式，一行为一条记录，记录的项目顺序依要求而定4.2信息检索4.2.1关键词检索关键词检索主要是针对情报数据仓库的所有数据的

25、关键词检索，包括结构化数据和非结构化数据。只要在检索框中输入关键词进行检索，系统就会在数据仓库中及相关网站自动找出符合检索条件的信息。系统会寻找所有符合用户查询条件的信息，并把相关度最高的信息排在最前面。系统支持对于多个关键词的组合检索，支持多个关键词间的与（“+”或“空格”）、或（“|”）、不包括（“-”）和优先级选择（括号）四种关系。注意：运算符和关键词之间必须要有空格，否则，系统会把运算符看作是一个普通字符，然后把关键字和普通字符连在一起认为是一个词。例如，检索【齐齐哈尔暂住证】，可以找到几千篇资料。而检索【暂住证】，可能检索出来的信息会有上万篇资料，而且检索出来的很多相关信息和关键词的

26、相关度不是很高。信息检索提供基于关键词的语义检索。语义检索由关键词检索加上语义字典库组成，语义字典库事先定义大量的语义关联，同时支持人工维护语义字典库，系统管理员可根据公安业务知识，以及对互联网新兴词汇进行整理入库，丰富语义库，扩大检索范围。如搜索“匕首”，则系统自动关联“作案工具”、“刀”等关键词的搜索结果。4.2.2递进检索递进检索就是“在结果中检索”，意思是保留前一次检索的所有检索条件，再加上新的检索关键词，进行检索和排序。如果“在结果中检索”没有选中，“检索”将不使用前一次检索的检索条件，即唯一的检索限制就是新输入的检索关键词。如果第一次检索无结果，那么在页面中就不会有“在结果中检索”

27、项了。4.2.3网文检索网文检索主要是针对公安网上情报信息的检索，提供类似Google和百度类似的搜索殷勤，实现对于公安网上各类信息的定向和不定向、自动和手动检索。全文检索指用户检索的关键词可以出现在结果网页内容中的任何位置；标题检索是要求用户检索的关键词必须出现在每一篇结果网页的标题中。为以得到更精确的检索结果，网文检索需可设定检索的时间范围，表示检索结果网页的最后更新时间的范围值。下图是检索结果页面图示：1、按照范围检索检索范围分为“全文检索”和“标题检索”两类。点击“检索范围”后的下拉框进行选择。全文检索指用户检索的关键词可以出现在结果网页内容中的任何位置；标题检索是要求用户检索的关键词

28、必须出现在每一篇结果网页的标题中。缺省的检索范围是“全文检索”。用户也可以指定检索范围为“标题检索”，以得到标题中包含关键词的检索结果。2、按照频道检索频道在站点定义页面中进行配置，用来表示站点的类别，如“科技”、“财经”等。用户进行检索时，可以指定频道进行检索，从而得到更精确的检索结果。如果选择“科技”频道，那么系统只在该频道信息中检索符合检索条件的信息。所属频道的名称是由管理员在站点定义中配置的，在这里系统自动获得。3、按照时间范围检索时间范围表示检索结果网页的最后更新时间的范围值。缺省的检索条件下，对结果网页的时间范围不作限制。用户可以通过下拉列表框指定时间范围值，以得到更精确的检索结果

29、。4、检索结果显示顺序检索结果页面中，每一个检索结果条目均代表一篇结果网页，包含有该结果网页的链接、摘要等信息。结果顺序表示检索结果页面中所有这些检索结果条目的排列顺序。结果顺序包括“按照网页相关度进行排序”、“按照网页最后更新时间降序排列”两类。“按照网页相关度进行排序”表示按照每一篇结果网页与用户输入的关键词的相关程度进行排序，相关度高的排列在前面；“按照网页最后更新时间降序排列”表示按每一篇结果网页的最后更新时间排序，最后更新的排列在最前面。缺省情况下，检索结果按网页相关度进行排序。用户可以指定其它结果顺序，更方便地查找需要的检索结果。5、检索结果每页显示的条数每页显示结果条数表示每一个检索结果页面最多包含多少个结果网页的条目，共有：10、20、50三个选项，缺省值为10。例如，当一次检索包含300个检索结果，每页显示结果条数为20时，这些结果条目将分15页显示。用户可以点击检索结果页面上显示的不同页码，查看其它页的检索结果。4.2.4检索技术信息检索将采用J2EE技术平台，利用开源的全文检索项目1.6加（全文检索引擎工具包）的支持，对数据库建立索引；利用开源的nutch（开源的Web搜索引擎工具）对网页建立索引。提供基于B/S模式的检索应用，使得用户能通过浏览器对建立