全文检索系统技术方案

全文检索系统技术方案全文检索系统技术方案 北京中威佰特科技有限公司北京中威佰特科技有限公司 2009 72009 7 文检索系统技术方案 第1页 目目 录录 第第1章章 背景背景 1 第第2章章 系统设计系统设计 2 2 1 技术架构图 2 2 2 系统架构图 3 第第3章章 系统功能系统功能 4 3 1 信息采集 4 3 2 中文自然语言处理 4 3 3 全文检索功能 4 3 4 格式文件检索 5 3 5 性能指标 5 第第4章章 搭建全文检索平台搭建全文检索平台 7 4 1 信息查询 7 4 1 1 查询方式 7 4 1 2查询结果 9 4 1 3简单查询 9 4 1 4业务查询 10 4 1 5组合查询 10 4 1 6 批量查询 12 4 2 信息检索 13 4 2 1 关键词检索 13 4 2 2递进检索 13 4 2 3网文检索 14 4 2 4检索技术 15 文检索系统技术方案 第1页 第第第第 1 1 1 章章章章 背景背景背景背景 据统计 内部网上的信息每年以200 的速度增长 其中发布到互联网上的信息只占到 信息量的1 2 而98 以上的信息是发布在内部网上的 内部网上的信息既有网页形式的 也包含其他 Word PDF XML 等多种格式的数据 因此 面对内部网中海量异构的信息资源 如何帮助用户快速找到他们所需要的信息是一个主要的技术挑战 搜索引擎能帮助用户方便 快捷 安全地获取内部网上的信息 在满足高效的同时 更重要的是保证了较高的查全率和查准率 能提供智能化的概念扩展搜索 极大的提高工 作效率 内部网搜索引擎将组织中分散管理的信息整合在一起 在组织层面上实现新的增 值与共享 从而有效实现组织内容利用的最优目标 搜索引擎的目标是实现内部网全文检索 系统可对实施了内部网站资源进行爬行 无 论内部网上的数据源在何地 以何种形式存在 都能够对其快速地访问 通过准确的分词 建立索引 从而实现高质量的搜索查询 搜索引擎的主要目标包括 1 较高的查准率 搜索系统支持按词索引 按字索引 同时实现中文自动分词 2 较高的查全率 搜索系统可搜索各类异构的信息资源 包括传统的网页信息 Word PDF XML 等不同格式的文档以及各类主流数据库的表中记录 3 智能化的检索结果排序 安全搜索系统应采用相关度分析技术 将用户需要的信 息排在结果列表的前面 屏蔽无用和错误的信息 文检索系统技术方案 第2页 第第第第 2 2 2 章章章章 系统系统系统系统设计设计设计设计 2 1 2 1 2 1 技术架构图技术架构图技术架构图技术架构图 搜索引擎的系统体系架构如图所示 图 系统体系结构图 索引模块 索 引 库 爬 行 器 搜索结果排序 数据源注册 资源 描述 策略描述 用户提交搜索 安全过滤 数据库 爬行控制 内部数据 库 Web 页面 数据 库表 数据库 数据源2 电子 文档 文件系统 数据源3 电子 邮件 邮件系统 数据源 n 搜索请求 返回结果 内部网用户 内部网站 数据源1 引擎实现了下列主要功能 1 爬行器 爬行器根据资源描述信息对内部网中各种异构的资源信息进行爬行 获 取所有能够获得的资源信息 资源信息的格式应包括 Web 网页 Word PDF Excel PPT 等格式的办公文档 各类主流数据库的表中记录 2 索引器 通过中文分词技术 对爬行到的资源信息进行解析 建立索引文件 3 搜索 用户提交其搜索条件 搜索条件经过特定处理后 在索引文件中检索出所 有满足搜索条件的资源 文检索系统技术方案 第3页 2 2 2 2 2 2 系统架构系统架构系统架构系统架构图图图图 全文检索系统统一搜索平台的总体架构采用三层 数据层 应用层和表现层 可扩展 的设计 使整个系统不受硬件平台的限制 具有良好的扩展性和可管理性 文检索系统技术方案 第4页 第第第第 3 3 3 章章章章 系统功能系统功能系统功能系统功能 3 1 3 1 3 1 信息采集信息采集信息采集信息采集 1 采用多线程并发搜索技术 2 提供多种采集范围控制方式 包括在指定网站内 在指定域内 以及在指定 IP 地 址范围等方式 3 可以设置多种网站采集控制方式 包括采集的网页大小 超时限制等 4 提供高效更新功能 对于已经采集过的网站 更新时只采集发生变化和新加入的资 源 5 可以灵活设定采集结果的存储方式 具有开放性 3 2 3 2 3 2 中文自然语言处理中文自然语言处理中文自然语言处理中文自然语言处理 1 内嵌自动分词系统 有效提高了分词准确性 2 在应用层上 提供自动分类和摘要功能 3 支持按词索引 按字索引 按关键词索引 适应不同应用环境的需求 4 内嵌相似性检索技术 提供文章的相似性检索和聚类功能 3 3 3 3 3 3 全文检索功能全文检索功能全文检索功能全文检索功能 1 支持 Web Browser Web Server 检索方式 2 智能中文分词 采用先进的自动分词系统 根据大量的语料统计和分析 建立了 上万条的歧义排除规则 因此检索 华人 不会把仅仅包含 中华人民共和国 的文章检索出来 3 支持结构化数据和非结构化数据的混合检索 4 允许使用文中的任意字 词 句和片段进行检索 5 全方位检索手段 与 或 非 异或 6 对数值 日期等特征字段可以进行比较和范围检索 7 支持任意一致的通配符检索 模糊检索 文检索系统技术方案 第5页 8 支持多网站的全文检索 9 具备中文自动分词系统 能有效提高分词准确性 10 采用智能中文分词技术 建立高效索引库 11 支持实时索引 1分钟内 12 支持增量式实时索引 13 多线程设计 支持大量并发用户访问 每秒并发达到50个以上 14 支持在结果中查询 15 支持 GBK BIG5 UTF8 GB18030等编码 采用 UTF8编码方式实现多语言和多文种 内容的检索及展现 16 支持中文 英文和中英文混合检索 17 多样化排序 包括按抓取时间排序 按相关性排序 18 多种条件组合检索 包括标题 正文以及日期范围检索 19 支持关键词逻辑表达式组合检索 20 检索结果支持基于查询关键词的动态摘要 21 支持检索关键词的高亮显示 22 将所检索到的信息可按设定的模版显示 23 检索结果模板自定义如 如文章标题 文章栏目 简介 作者 点击率 时间以 及文章类别等 24 支持根据自动分类的类目进行检索 25 采用 KNN SVM 为基础的相关性算法 3 4 3 4 3 4 格式文件检索格式文件检索格式文件检索格式文件检索 支持 MS OFFICE PDF HTML 可以对 pdf rtf doc xls ppt pps xml 等文件直 接进行检索 3 5 3 5 3 5 性能指标性能指标性能指标性能指标 自动分类达到85 以上准确率 数据索引更新时间平均小于0 02s 记录 每条记录4Kb 本地检索平均响应速度小于1秒 亚秒级反应速度 文检索系统技术方案 第6页 支持不低于50个并发检索请求 G 级数据全文检索响应在毫秒之内 全文检索数据库的 零 空间膨胀率 10 20 T 级文本数据库 一个任意词的检索都在1秒钟之内 文检索系统技术方案 第7页 第第第第 4 4 4 章章章章 搭建全文检索平台搭建全文检索平台搭建全文检索平台搭建全文检索平台 全文检索平台可以是一个独立的业务应用 同时也可以作为分析研判的基础工具和共 用模块 是高端业务应用功能模块设计和构建的基础 可供各业务应用功能模块调用 包 括信息查询 信息检索等功能模块 其中信息查询则是针对业务系统的结构化数据提供各 类准确的查询结果 信息检索则可提供对各类结构化 非结构化数据的模糊检索 根据招 标要求分别设计信息查询和信息检索两个功能模块 满足精细化查询和全范围模糊检索的 业务需求 4 1 4 1 4 1 信息查询信息查询信息查询信息查询 信息查询是信息系统提供服务的一种通用的方式 通过用户输入不同的查询条件系统 显示不同的信息列表 是精细化的一种寻找信息的方法 其应用场景多出现于针对目标性 极强的确切细心信息的查询 例如通过输入姓名加身份证在人口系统中查询确定某个人的 信息 通过输入案件编号查询确切某起案件信息 如输入某个时间段和案件类别以及发案 单位 查询某单位某段时间以来某种案件类别的所有发案情况等 信息查询作为平台的基础功能 不仅作为一个单独的功能模块出现 同时作为基础的 技术手段和研判工具 也会出现在研判业务子平台和运行管理功能中 实现针对各类研判 业务信息和运行管理数据的查询 信息查询子系统主要包括简单查询 业务查询 批量查询 组合查询 关联等功能模 块 其中业务查询 批量查询 组合查询 关联查询均是基于简单查询的功能交叉组合 实现精确化查询的同时提供对于查询结果的扩展 丰富查询功能 下文首先介绍信息查询 的基本查询方式 4 1 14 1 14 1 14 1 1 查询方式查询方式查询方式查询方式 查询部分支持常见的多种查询方式 如下简单列举 如同音同韵查询 模糊查询 追 踪查询等 同时支持较为复杂的交叉查询和关联查询 在设置条件项与条件值的关系中有 等于 介于 不等于 大于 小于 等数种条件关系 同音同韵查询 对于用户姓名 绰号 别名可以进行同音同韵 发音相同字不同 音调 文检索系统技术方案 第8页 不同 查询 模糊查询 对于部分数据项可以进行模糊查询 追踪查询 实现追踪查询 用户在一次查询的结果上可以再追加条件进行多次查询 交叉查询 交叉查询是对案事件 物品 人员 时间和地点五个要素之间的多条件交 叉关联查询 交叉查询分为直接交叉 间接交叉 直接交叉查询是指用户对于交叉对象和 被交叉的对象已经明确 而间接交叉是指交叉对象已经明确被交叉的对象比较模糊 关联查询 指将某一类业务数据的查询结果 作为另一类业务数据的查询条件 用户 在查询简要结果界面 可以通过关联查询 关联查看到该结果的其他种类或其他要素中的 数据内容 设置条件项与条件值的关系 关系有 等于 介于 包含 不等于 大于 不小于 小于 不大于 为空 不为空 十种 等于 条件项与条件值相等 用于数字项 代码项和字符项的查询 如 身高 数字项 案别 代码项 姓名 字符项 介于 要求条件项在两个条件值之间 一般用于时间项目 或身高 年龄等 项目 它是包括边界值在内的 包含 条件项包含查询值 用于字符项和代码项的查询 如 姓名 简要案 情 字符项 作案手段 代码项 查询条件中可以输入通配符 半角字 符 半角字符 进行模糊匹配查询 不等于 与 等 相反 可用于数字项和代码项的查询 大于 要求条 件项的值大于条件值 注意条件值本身并不含在内 值类型可以是数字 日期等 不小于 即 大于等于 要求条件项的值大于或者等于条件值 注意含条 件值在内 小于 不大于 与 大于 不小于 类似 为空 不为空 适合所有项目 用于检查数据是否有录入使用 选择此项 时 条件值栏不要输入 设置条件间的关系 如果有多重条件 对条件之间的关系定义了四种 即 并且关系 或者关系 非关系 优先关系 来表示 案别字典特别设计 警种管辖 刑侦 经侦 治安 边防等 提供配置功能 可以根 据专项斗争的需要 定义新的案事别类 查询条件诱导输入 在录入查询条件时提供信息代码诱导输入 信息代码诱导输入提 文检索系统技术方案 第9页 供拼音诱导 五笔诱导和汉字诱导三种诱导方式 用户通过信息代码诱导输入功能可以灵 活的输入代码信息 树状字典 提供树状字典选择的功能 查询方案保存和调取 用户可以对通用的查询条件进行保存 方便下次查询时候直接 选择已保存的查询方案进行查询 4 1 24 1 24 1 24 1 2 查询结果查询结果查询结果查询结果 简要结果显示数据项目用户定制 根据用户不同的需要对查询的结果数据项目进 行设置 在用户没有特别要求的情况下 系统以通用的方式进行显示 显示结果 因用户级别权限不同而不同 输出保存格式 对于查询出的信息 用户可以有选 择性的输出到 HTML WORD EXCEL 中 方便保存打印 分页输出 简要结果信息以分页方式进行显示 用户可以自己设定每页显示的记 录数 用户也可以指定某页直接显示 分类统计输出 简要结果信息可以按用户的配置进行数据项分类统计输出 点击 数据可以看到相应记录的简要结果信息 分组显示 分页输出时 简要结果信息可以按选定的数据项进行重新分组显示 选择显示 仅显示选中的简要结果信息 筛选显示 按照用户新增的筛选条件对简要结果信息进行过滤 显示过滤后的简 要结果信息 还原显示 还原到分组显示 选择显示 筛选显示操作前的简要结果信息显示状 态 照片组合显示 在显示人员简要结果信息结果时 除支持文字信息组合分页显示 外 还支持照片信息组合分页显示 比对显示 信息用户可以对简要结果中选定的多条信息 详细结果文本信息 图 像 在同一屏上进行对比查看 信息关联显示 用户在查看详细结果信息时 可以通过点击关联信息链接获取和 该信息相关联的对应信息 比如查询出的案件信息可以通过关联查看案件中的涉 案人员信息和物品信息 对于多级关联显示 从不同的数据项入口进入 最后只 要条件够 能得到一致的结果 文检索系统技术方案 第10页 4 1 34 1 34 1 34 1 3 简单查询简单查询简单查询简单查询 简单查询就是将具体的人 事 案 物 证 线 时 场所等信息在所涉及的内容中 进行查询 满足用户常规的查询需要 简单查询按照上述要素进行分类 简单查询的条件设定比较简单 查询选择项是描述要素的基本特征 为减少对系统资 源的占有 仅提供前述 同音同韵查询 模糊查询 查询条件诱导输入 结 果分页输出 等查询功能的支持 4 1 44 1 44 1 44 1 4 业务查询业务查询业务查询业务查询 指对单一种类的业务数据进行的查询 系统通过查询模型设置可以对平台下挂接的每 种数据生成一个查询输入界面 系统将各种业务系统的数据挂接在一个查询平台下 按业 务查询适合于已知被查的信息在哪个业务子系统情况下使用 业务查询功能包括 一是人的业务查询 常口 暂口 旅馆业 网吧上网信息 在逃 通缉 协查 在控 失踪 无名尸体 出入境 监所 民航等系统 二是案 事 的业务 查询 刑事案件业务查询 治安案件业务查询 串并案件业务查询 110接处警业务查询 交通事故 消防事故业务等系统查询 三是物的业务查询 涉案物品 含协查通报中的物 品 可疑物品 被盗抢机动车辆 被盗抢枪支弹药 被盗抢民爆物品等 四是情报线索 的查询 违法犯罪线索 信息 情报业务查询 门户网站信息查询等 以及其他业务信息 分类查询 4 1 54 1 54 1 54 1 5 组合查询组合查询组合查询组合查询 提供各要素全部信息项的查询 支持前述全部查询功能 可通过新设计查询方案和打 开已有的查询方案来进行统计查询 并将结果以分类统计的形式输出 文检索系统技术方案 第11页 系统将待查询的各类数据库的数据项名称以树状的结构形式进行显示 支持用户以鼠 标拖动的形式进行查询条件的选择 组合查询的查询方案在设计过程中 可支持对各类数 据条件项的添加 条件项与各条件值的关系设置 系统自动记录并保存查询人员的操作轨 迹 以备总结 对设置好的查询方案保存下来 供下一次进入的时候调用 可以节约很多 时间 也有利查询方案的交流 系统管理员可以查阅所有操作轨迹或方案 并总结经验 设置共享方案保存在数据库中 供所有用户调取使用 4 1 5 1 设计查询方案设计查询方案 设计查询模板 点击 新建 工具按钮进入设计查询方案界面 1 1 设置查询条件设置查询条件 文检索系统技术方案 第12页 添加条件项 用户通过鼠标从 选择查询条件 窗口中拖取查询条件项目到 设 置查询条件 窗口中选定查询项 双击条件项就可以删除它 若选择的条件项分属于不同 的要素 人 案 物 时 地 系统将根据显示项目从属的要素进行相对应的交叉查询 设置条件项与条件值的关系 输入条件值 如果条件值是需要手工填写的 在条件值栏填写好具体的条件即可 如果条件是标准代码 按 查询条件诱导输入 功能输入需要的条件值 设定条件间的关系 2 2 设置显示项目设置显示项目 从选择查询条件窗中用鼠标选定字段 按住鼠标不动 可以将字段拖到设置显示 项目栏中 拖过来的字段将会作为显示项目在查询简要结果中显示出来 双击显示项目就 可以删除它 若用户不作设置 系统以通用的方式进行显示 注意 只可以选择同一个要 素中的条件项 3 3 设置统计项目设置统计项目 从选择查询条件中用鼠标选定字段 按住鼠标不动 可以将字段拖到设置分类统计项 目栏中 拖过来的字段将会作为分类统计项目在分类统计结果中显示出来 双击显示项目 就可以删除它 注意 统计项目必须是设置显示项目栏目中的条件项 为实现灵活的信息分级统计 参照网络掩码的设置方法 在对代码项分类时 引入掩 码的概念 约定 需屏蔽的位用0 分类依据的位用1 如 行政区划6位 按省分类统计时 掩码为110000 按地市分类时掩码为111100 按县分类时掩码为111111 4 1 5 1 保存查询方案保存查询方案 系统自动记录并保存查询人员的操作轨迹 以备总结 对设置好的查询方案保存下来 供下一次进入的时候调用 可以节约很多时间 也有利查询方案的交流 点击 保存 按 钮将弹出保存窗口 输入方案的名称点击保存即可 普通用户的查询方案保存在本地 系 统管理员可以查阅所有操作轨迹或方案 并总结经验 设置共享方案保存在数据库中 供 所有用户调取使用 4 1 64 1 64 1 64 1 6 批量查询批量查询批量查询批量查询 批量查询包括如下几种数据库 一是人的业务查询 常口 暂口 旅馆业 网吧上网 信息 在逃 通缉 协查 在控 失踪 无名尸体 出入境 监所 民航等系统 二是案 事 的业务查询 刑事案件业务查询 治安案件业务查询 串并案件业务查询 110接处 文检索系统技术方案 第13页 警业务查询 交通事故 消防事故业务等系统查询 三是物的业务查询 涉案物品 含协 查通报中的物品 可疑物品 被盗抢机动车辆 被盗抢枪支弹药 被盗抢民爆物品等 四是情报线索的查询 违法犯罪线索 信息 情报业务查询 门户网站信息查询等 支持 调用机动车数据文件进行批量查询 文件必须为 TXT 文本格式 一行为一条记录 记录的 项目顺序依要求而定 4 2 4 2 4 2 信息检索信息检索信息检索信息检索 4 2 14 2 14 2 14 2 1 关键词检索关键词检索关键词检索关键词检索 关键词检索主要是针对情报数据仓库的所有数据的关键词检索 包括结构化数据和非 结构化数据 只要在检索框中输入关键词进行检索 系统就会在数据仓库中及相关网站自 动找出符合检索条件的信息 系统会寻找所有符合用户查询条件的信息 并把相关度最高 的信息排在最前面 系统支持对于多个关键词的组合检索 支持多个关键词间的与 或 空格 或 不包括 和优先级选择 括号 四种关系 注意 运算符和关键词之 间必须要有空格 否则 系统会把运算符看作是一个普通字符 然后把关键字和普通字符 连在一起认为是一个词 例如 检索 齐齐哈尔 暂住证 可以找到几千篇资料 而检索 暂住证 可能检索出来的信息会有上万篇资料 而且检索出来的很多相关信息和关键 词的相关度不是很高 信息检索提供基于关键词的语义检索 语义检索由关键词检索加上语义字典库组成 语义字典库事先定义大量的语义关联 同时支持人工维护语义字典库 系统管理员可根据 公安业务知识 以及对互联网新兴词汇进行整理入库 丰富语义库 扩大检索范围 如搜 索 匕首 则系统自动关联 作案工具 刀 等关键词的搜索结果 4 2 24 2 24 2 24 2 2 递进检索递进检索递进检索递进检索 递进检索就是 在结果中检索 意思是保留前一次检索的所有检索条件 再加上新 的检索关键词 进行检索和排序 如果 在结果中检索 没有选中 检索 将不使用前 一次检索的检索条件 即唯一的检索限制就是新输入的检索关键词 如果第一次检索无结 果 那么在页面中就不会有 在结果中检索 项了 文检索系统技术方案 第14页 4 2 34 2 34 2 34 2 3 网文检索网文检索网文检索网文检索 网文检索主要是针对公安网上情报信息的检索 提供类似 Google 和百度类似的搜索殷 勤 实现对于公安网上各类信息的定向和不定向 自动和手动检索 全文检索指用户检索 的关键词可以出现在结果网页内容中的任何位置 标题检索是要求用户检索的关键词必须 出现在每一篇结果网页的标题中 为以得到更精确的检索结果 网文检索需可设定检索的 时间范围 表示检索结果网页的最后更新时间的范围值 下图是检索结果页面图示 1 1 按照范围检索 按照范围检索 检索范围分为 全文检索 和 标题检索 两类 点击 检索范围 后的下拉框进行 选择 全文检索指用户检索的关键词可以出现在结果网页内容中的任何位置 标题检索是要求用户检索的关键词必须出现在每一篇结果网页的标题中 缺省的检索范围是 全文检索 用户也可以指定检索范围为 标题检索 以得到 标题中包含关键词的检索结果 2 2 按照频道检索 按照频道检索 频道在站点定义页面中进行配置 用来表示站点的类别 如 科技 财经 等 用户进行检索时 可以指定频道进行检索 从而得到更精确的检索结果 如果选择 科技 频道 那么系统只在该频道信息中检索符合检索条件的信息 所属频道的名称是由管理员 在站点定义中配置的 在这里系统自动获得 3 3 按照时间范围检索 按照时间范围检索 时间范围表示检索结果网页的最后更新时间的范围值 缺省的检索条件下 对结果网 页的时间范围不作限制 用户可以通过下拉列表框指定时间范围值 以得到更精确的检索 结果 4 4 检索结果显示顺序 检索结果显示顺序 检索结果页面中 每一个检索结果条目均代表一篇结果网页 包含有该结果网页的链 接 摘要等信息 结果顺序表示检索结果页面中所有这些检索结果条目的排列顺序 结果顺序包括 按照网页相关度进行排序 按照网页最后更新时间降序排列 两 类 按照网页相关度进行排序 表示按照每一篇结果网页与用户输入的关键词的相关程 度进行排序 相关度高的排列在前面 按照网页最后更新时间降序排列 表示按每一篇 结果网页的最后更新时间排序 最后更新的排列在最前面 缺省情况下 检索结果按网页相关度进行排序 用户可以指定其它结果顺序 更方便 文检索系统技术方案 第15页 地查找需要的检索结果 5 5 检索结果每页显示的条数 检索结果每页显示的条数 每页显示结果条数表示每一个检索结果页面最多包含多少个结果网页的条目 共有 10 20 50三个选项 缺省值为10 例如 当一次检索包含300个检索结果 每页显示结果 条数为20时 这些结果条目将分15页显示 用户可以点击检索结果页面上显示的不同页码 查看其它页的检索结果 4 2 44 2 44 2 44 2 4 检索技术检索技术检索技术检索技术 信息检索将采用 J2EE 技术平台 利用开源的全文检索项目 lucene 全文检索引擎工 具包 的支持 对数据库建立索引 利用开源的 nutch 开源的 eb 搜索引擎工具 对网 页建立索引 提供基于 B S 模式的检索应用 使得用户能通过浏览器对建立的索引结果进 行检索 提供基于