网站全文检索方案

政务公众网全文检索系统政务公众网全文检索系统 技技 术术 方方 案案 浙江天宇信息技术有限公司浙江天宇信息技术有限公司 浙江天宇信息技术有限公司 第一部分第一部分 对系统需求的理解对系统需求的理解 1 1 前言前言 互联网作为 第四媒体 已成为人们生活或工作中不可或缺的信息获取的 手段 各级政府机关纷纷构建了内容丰富的政府门户网站与内部办公网 方便 公众网上办事 提高了政府机关的办事效率 但是 随着网站内容的不断丰富 网页数量也呈几何式增长 由此也带来了一个问题 政府门户网站或网站群信 息量巨大 缺乏一条有效的信息快速获取的途径 导致公众在相关的政府门户 网站上不知道如何在短时间内找到自己需要或最感兴趣的内容 查询所需要的 信息却变得越来越困难 于是很快就失去耐心 离开这个网站 借鉴门户网站的经验 通过搜索引擎的方式 建立基于网站内部页面的导 航系统 网站全文检索系统 就成为解决以上问题的主要措施 然而 政务 公众网全文检索系统还不同于一般的搜索引擎系统 它需要对网站上几乎所有 的内容都需要采集下来 包括各种格式的页面信息 采全率越高就越能体现导 航系统的优势 目前常用的互联网搜索引擎系统 考虑到应用的需要 没有对 动态数据库中的内容进行采集 是否具备此类功能是未知的 而许多政府网站 的页面 很多是通过程序动态生成的 或者是存储在后台数据库中的 格式多 样 浙江天宇的采集系统考虑到实际的应用需要 除了具备搜索引擎系统具备 的采集功能外 还实现了对动态数据库里的页面及由程序动态生成的页面进行 实时采集 本方案中采用浙江天宇信息技术有限公司开发的新一代智能化的互联网天 信息采集系统作为应用核心 海量非结构化全文数据库系统作为后台 WEB 页面 的管理平台 提供一站式的全文检索服务 这将有效地解决上述问题 浙江天宇信息技术有限公司 1 2 需求分析需求分析 1 2 1 应用目标应用目标 通过建立政务公众网全文检索系统 实现对以 XX 市政务网为核心 涉及 到所有 XX 各级政府部门的门户网站 WEB 页面内容的批量采集 建立搜索引擎 库 在 XX 政务网门户网站上建立政务网站导航功能的政务公众网全文检索系 统 公众只需要登录到 XX 政务网 通过检索系统 便可以查询到所有 XX 各 级政府部门的门户网站上所需要的政务信息 提高公众的查询与使用政务信息 的效率 从而真正体现 XX 市政府部门便民服务的核心与宗旨 1 2 2 功能需求功能需求 根据应用目标和招标书建设内容的要求 在认真阅读分析招标书和了解 XX 市政务网应用现状基础上 我们理解 XX 市政务公众网全文检索系统的建设的 核心可以分解为三个子系统的建设 采集子系统 管理子系统 检索子系统 采集子系统 实现对各级政务网站 WEB 页面的批量采集的系统工具 支 持对各类格式信息的采集 管理子系统 实现对采集的内容的管理 采集管理 各类词典与词表的管 理 用户管理 日志管理 检索管理等应用功能 检索子系统 实现对采集的 WEB 页面的智能化全文检索 支持各类检索 方式 另外 系统应具备良好的稳定性与安全性 保证系统与采集的数据内容的 安全 浙江天宇信息技术有限公司 1 3 方案综述方案综述 1 3 1 内容安排与概要内容安排与概要 首先 对政务公众网全文检索系统的需求进行了分析 明确了建设目标和 内容 然后进行了总体技术方案的功能设计 从应用软件的选择 系统功能模 块等方面进行了设计 在系统功能模块的设计和实现方面 对采集子系统 管 理子系统与检索子系统等关键点进行了详细的功能描述及技术特点描述 再次 就应用系统的安全方面进行了详细的描述及功能设计 最后 就招标书中应用 系统功能需求条款进行逐个应答 1 3 2 方案特点方案特点 采用了业界主流和开放的技术标准和设计模式 提供开放的 平台级的应用 编程接口和管理工具 可根据业务需要进行扩展 系统采用国内领先的智能化互联网采集系统与非结构化海量全文数据库系统 作为政务公众网全文检索系统的采集 管理与检索平台 保证了系统具备了 先进性与良好的开放性 智能化采集系统具备强大的采集功能 能够采集几乎所有类型的数据内容 支持 ROBOTS 协议 采用统一身份认证 权限控制 用户操作审计等安全措施 使得整个系统具 有较强的安全性 浙江天宇信息技术有限公司 第二部分第二部分 技术方案技术方案 2 1 方案设计方案设计 2 1 1 软件平台选择软件平台选择 浙江天宇信息技术有限公司凭借在信息服务 网站建设等建设领域多年的 项目实施经验及 1000 多家成功应用案例 针对 XX 市政府政务公众网全文检索 系统的实际需求及未来的发展需要 提供一整套解决方案与成熟的具有自主知 识产权的系列软件产品 政务公众网全文检索系统 从应用实现的角度 政务公众网全文检索系统选择基于 浏览器与客户端 相结合来实现目标系统的应用功能 基于用户方的硬件环境及操作系统环境 我们的方案选择相应数据库平台及应用系统软件来具体实现政务公众网全文检 索系统的建设目标 应用 软件 平台全文检索系统 CGRS 5 1 网站搜索引擎 系统 智能互联网信 息采集系统 数据 库平 台 操作 系统 CGRS 全文数据库 UNIX LINUX WINDOWS 2000 2003 CGRS 搜索引擎库 XX 市政务公众网全文检索系统 浙江天宇信息技术有限公司 2 1 2 系统功能结构系统功能结构 政务公众网全文检索系统主要是以 CGRS 全文数据库为应用支撑平台 以智 能化网络机器人技术及全文检索技术作为应用核心 通过政务公众网全文检索 系统将采集到搜索引擎库中的 WEB 页面信息对公众提供智能化的高效的全文检 索服务 系统围绕政务门户网站上各种信息资源的采集与聚类 信息过滤和管 理 信息的智能检索 构建 XX 市政务公众网全文检索系统 2 2 系统功能及技术指标系统功能及技术指标 2 2 1 采集子系统功能及技术指标采集子系统功能及技术指标 2 2 1 1 采集子系统工作流程采集子系统工作流程 采集子系统主要完成对目标网站或网站群上WEB页面及其他附件信息的批量 采集 通过内容过滤 加载到CGRS搜索引擎库 进行管理与提供网站全文检索 服务 采集子系统的工作流程主要包含以下几个部分 1 确定采集目标网站 建立采集工程 2 对采集工程进行搜索策略的定义及过滤条件等内容的设定 3 根据URL特征进行网站频道的分类采集 过滤及内容自动去重 4 采集的内 容自动加载到CGRS搜索引擎库 交由CGRS全文数据库管理系统进行统一管理 浙江天宇信息技术有限公司 采集子系统工作流程图 2 2 1 2 功能描述功能描述 1 1 1 1 建立采集工程 建立采集工程 建立采集工程 建立采集工程 在本方案中以 XX 政务网 为实例进行采集子系统的功能介绍及采集子系 统界面描述 确定需要采集的目标对象 XX 政务网 http www XX 政务网 建立页面批量采集工程 政务网采集工程 http www XX 政务网 定义采集的入口 可以自 行根据需要进行设定 完成采集工 程新建工作 后 可以立 即进入工程 的参数配置 浙江天宇信息技术有限公司 起始 URL 中可以含有日期通配符 如 year month day 或是循 环变量 loop 对于带有日期信息的入口网站地址 URL 可以使用日期通配符 对于一些数字或字符串的 URL 则可以使用 LOOP 循环变量进行设置 通过这些 通配符 可以方便地设定具有一定规则的 URL 的多个采集入口 方便地进行多 入口分类进行采集 提高采集效率与采集质量 对于 XX 政务网 网站 需要分频道分栏目检索功能 系统采用建立多个 采集工程的方式 实现分栏目分频道采集 统一的全文检索的目标 对于一些 不需要分频道检索的其他网站 则可以通过建立一个采集工程的方式实现整个 网站信息的的全部采集 2 2 2 2 采集工程参数设置 采集工程参数设置 采集工程参数设置 采集工程参数设置 URLURL 选项选项 对于主机地址的限定 系统提供四种参数设置规则 地址不限 用户选 浙江天宇信息技术有限公司 中后 系统会无限制进行采集 可以通过 XX 政务网内的所有链接 进行 WEB 页 面的采集 本站内 对本站内搜索的 WEB 页面进行批量采集 对于其他网站 上的友情连接网站 则不进行采集 本站内限定的目录 通过对采集路径进 行限定 实现了分栏目分频道进行采集 为分频道进行全文检索奠定基础 通 过这个参数的设定 可以定位到某个栏目或某几个栏目的批量采集 自定义 用户可以根据需要 自己定义采集的范围 这个设置的灵活性非常高 自由度 大 对于 XX 政务网 自身的页面内容的采集 则选择通过限定目录的方式进 行采集 便于进行分频道检索 对于采集其他网站群 则选择自定义方式在目 标网站群中进行无限制采集 URL 过滤 对于采集的页面 可以允许采集那些带有一定 URL 规则的页面 也可以排除某些带有一定 URL 规则的页面 提高采集的效率 采集 XX 政务网 自身 需要考虑使用 URL 过滤方式 便于精确采集频道内容 其他的网站采集 则无须考虑 URL 过滤 搜索限定搜索限定 搜索限定主要是设置定义采集目标网站的深度和文件类型 采集目标网站的深度设置 通过层的方式进行控制 采集 XX 政务网 时 支持脚本语言 解析 采集通 过程序动态生 成的页面 支持 robots 协 议 另外 系 统也可以不遵 循此协议 浙江天宇信息技术有限公司 根据前面 URL 采集规则的设定 需要进行分频道分栏目进行采集 那么在这里 层数设置为 1 也就是对目标 URL 下面的页面进行采集 这样就可以精确的 采集到某个或某些频道或栏目下的页面了 不会出现采集其他信息的可能 对 于采集其他网站群 则选择 1 表示无限制采集 URL 规则下面的所有 WEB 页面 当然 用户可以根据实际需要 采集需要的层数 对于有些网站的层数 是通过脚本语言控制动态生成的 我们可以选择本系统中 脚本语言解析器 进行脚本解析 这将有效地解决通过脚本语言动态生成的页面 做到 100 的目 标网页内容的采集 采集的文件类型 系统支持对页面内容 htm html xml shtml asp php jsp notes 等 网页附件 doc xls ppt txt pdf 等 图片 jpg gif jpeg bmp 等 音频 MP3 等 视频 AVI RM MPEG 等 JAVA 由 JAVASCRIPT 程序生成的页面 等内容的采集 对于页面内联图片的采集 可以做到保持原样不变的进行采集 根据本项目的实际需要 我们选择 总是下载内联图片 全部格式 进行页面 内容的批量采集 这样就能有效地保证采集各类静 动态网页 网页附件 由 JAVASCRIPT 生成的页面等内容的采集 实现用户方的功能需求 其他设置参 数可以不需要考虑 数据处理数据处理 数据处理主要是执行下载的网页数据上载到数据库 并在网页入库前做一 些预处理的操作流程 选择数据库 数据预处理 网页内容提取 浙江天宇信息技术有限公司 发送数据库 是将采集下来的页面分类分频道地发送到指定的 CGRS 搜索 引擎数据库中进行统一的管理 数据预备处理 可以支持各类字符集编码 如 GBK GB2312 BIG5 等 并可以实现采集页面内容的时候 自动进行识别 将 BIG5 码集的内容转换为 GB2312 码集 自动分类 主要是实现对采集的内容按需要进行分频道分类采集 便于用户分频道进行检索 排除 URL 是根据分频道采集的时候进行 URL 上载 到数据库前的二次过滤 提高分频道采集的准确性 后面进行如何进行分类进 行详细的描述 网页内容过滤是在采集的时候 可以设置过滤条件 将含有黄 色信息的页面进行采集过滤 在本项目中 数据预处理各类参数我们都需要进 行细致的设置 便可达到用户的功能需求 网页内容提取 是实现对采集的 WEB 页面进行内容的过滤提取 并进行 支持各类码 集及各类码 集的转换 可以设定过 滤条件 过 滤含有黄色 信息的页面 浙江天宇信息技术有限公司 格式化 在本项目中根据实际情况 可以不需对这项参数进行具体的设置 分类规则及实现分类规则及实现 对于搜索引擎库的各个字段 采集子系统根据采集的需要均可进行个性化 的设定 高级属性设置高级属性设置 配置网页下载的一些高级属性 主要包括建库方式 是否启用代理 下载 的配置以及对要身份验证的网站 可以预先填入用户名和密码来访问该网站等 功能 根据青岛政务网的 栏目 设置分类规 则 分类采集主要是根 据网站栏目的 URL 特征进行采 集的分类 分析青岛政务网的 栏目的 URL 特征 生成匹配规则 只要采集的页面 URL 满足匹配规 则 则归到相关的 分类 浙江天宇信息技术有限公司 支持采集客户 端通过代理服 务器进行采集 选中进行通用 配置 支持对需要身 份校验的网站 进行采集 配置代理服务 器 支持对硬盘进 行管理 用户 可以设定硬盘 资源不足停止 下载及警告 根据目标网站 的实际情况 用户可以设置 扫描间隔 浙江天宇信息技术有限公司 建库方式 选择脱机浏览还是上载入库方式 应选择上载入库的方式 代理服务器 如果用户需要通过代理 才能上网 就需要在通用配置里设 置代理服务器的信息 系统支持通过代理服务器进行采集 下载配置 用户可以自行配置扫描与下载的时间间隔 以达到最佳的采集 效果 在通用配置里 用户可以设置硬盘资源不足的时候进行警告及停止页面的 下载 至此 完成这个采集子系统的配置工作 可以通过天宇的下载调度中心 自动控制工程进行增量式增量式下载更新 2 2 1 3 技术参数指标技术参数指标 页面采集内容的完整性 适应网站内容格式的多变性 能完整地获取需要采 集的页面 提取内容的深度与精确性 能方便将网页中的结构化字段信息提取出来 如 日期 标题 作者 栏目等等内容 过滤网页中如广告等无用信息 内容自动去重 用户选择几种去重标准 如标题 作者一样 正文字节数一 用户根据需要设定采集扫描间隔 进行 增量式采集 系统会根据设定 自动进 行扫描与采集 浙江天宇信息技术有限公司 样即认为是重稿 或者内容一模一样 认为是重稿 或者 80 90 相似 认为是重稿等标准 可供用户选择 网站采集范围的精确定义 通过起始 URL 地址 URL 范围表达式 可包含正 则表达式 搜索深度 文件类型控制的定义来精确描述需要采集的网站范 围 可以精确到整个网站 特定栏目 特定页面 过滤掉无用的链接 主题词过滤网页 在采集过程中 可以定义主题词的逻辑关系 与 或 非 对网页内容进行过滤 精确地获取与采集主题相关的网页内容 网站动态数据库抓取 能方便抓取网站上后台数据库的内容 JSP ASP CGI 和抓取需要通过用户身份校验的网站内容 网站历史数据的批量下载 方便地成批抓取网站上的历史数据 对于 URL 中 带日期变量的网站 只需要设定一个规则 就可以任意下载指定一段时间范 围内的网站历史数据 自动分类和个性化分类的结合 即可以通过计算机学习的自动分类规则 对 获取的内容进行自动分类 也可以使用主题词分类方法 对下载的内容进行 人工批量分类 机检分类 支持简繁体网站 中英文网站的搜索 可靠的下载中心调度 可以设置采集间隔 支持多个下载任务同时高速下载 每个任务可以设定多个线程同时下载 2 2 2 管理子系统管理子系统功能及技术指标功能及技术指标 管理子系统主要是实现对采集下来的各类 WEB 页面 附件等非结构化资源 通过 CGRS 全文数据库进行统一管理 另外 实现对采集过程及用户进行有效地 管理 浙江天宇信息技术有限公司 管理子系统结构示意图 2 2 2 1 内容管理内容管理 1 功能概述 功能概述 内容管理是以 CGRS 全文数据库作为后台管理系统 是对 WEB 页面 文 本 电子文档 图像 声音 映像等页面附件提供强大的数据库管理和检索功 能的全文数据库平台 系统内嵌高可用性的索引机制 可以使用文中的任意字 词 短语 句 和片段进行检索 系统具有强大数据库管理及维护功能 如搜索引擎数据库定义 建立 管管管管 理理理理 子子子子 系系系系 统统统统 操作系统操作系统操作系统操作系统 UNIX LINUX WINDOWS NT 2000 内容管理内容管理 多码集 多码集 多码集 GBKGBKGBK BIG5BIG5BIG5 GB2312GB2312GB2312 CGRSCGRSCGRSCGRS 全文数据库全文数据库全文数据库 WEBWEBWEB 页面 附件等页面 附件等页面 附件等 数据库新建 维护等 采集工程管理采集工程管理采集工程管理 超链接管理超链接管理超链接管理 系统运行管理系统运行管理系统运行管理 系统管理员 数据库系统管理员 数据库系统管理员 数据库 管理员与一般检索用管理员与一般检索用管理员与一般检索用 户三级用户管理户三级用户管理户三级用户管理 用户使用及操作权限 管理 用户使用检索 统计分析等 采集管理采集管理用户管理用户管理用户管理用户管理 CGRSCGRSCGRSCGRS 全文数据库全文数据库全文数据库 采集系统参数配置 等 用户身份认证 同义词典 过滤词典 管理 日志管理 浙江天宇信息技术有限公司 备份 恢复 逻辑删除 物理删除 重组 增量备份 记录查重等功能 管理子系统支持对整个系统 采集子系统 管理子系统 检索子系统 进行总体的控制 包括采集系统的启动 检索子系统的启动与停止 已经对这 两个子系统的运行状态进行有效的监视 如采集子系统的采集状况 完成比率 等 检索子系统检索用户情况等 系统支持对采集的站点进行定义 如配置站点的起始 URL URL 过滤规 则 抓取深度 设置扫描间隔 采集频道分类等 关于采集管理 详见采集子 系统功能概述 系统具备用户分析统计功能 用户可以根据需要进行用户检索情况统计 用户检索用词统计 按天 周 月 年等进行用户使用情况统计 用户词频统 计等等 系统具有独立于操作系统的身份验证机制 用户使用信息资源的授权机 制 用户使用操作限制等 用户可以选择一 定的时间段 日 周 月 来统计 检索量和关键词 检索频度 浙江天宇信息技术有限公司 同义词典的管理与维护 用户可以在记事本里编辑同义词典 也可以直 接在管理子系统中编辑同义词典 并可以对编辑好的同义词典进行修改 删除 与维护等操作 API 接口 系统提供标准的二次开发接口 API 用户可以根据实际需要 定制个性化的应用系统 具体接口包括 标准的 C 管理与检索接口 支持 Windows 和 Unix 下的通用开发工具 Javabeans 类库应用程序开发接口 支持 J2EE 环境下的开发工具 C 类库应用程序开发接口 支持 NET 平台下的开发 工具 通过这些接口 可以和其他系统集成 2 技术指标 技术指标 开放和可扩展的体系结构开放和可扩展的体系结构 分布式体系架构 支持多域分布和集群分布 支持所有主流的操作系统和各种Web应用服务器及Web服务器 支持J2EE及 NET体系架构 32位平台支持64位数据库文件 即支持大于4G的数据库 直接编辑同义词 典 并方便进行 维护与管理 浙江天宇信息技术有限公司 支持OFFICE文档和PDF文档的自动过滤索引 支持Web自动提取内容的管理和检索 中文自然语言处理功能中文自然语言处理功能 字元检索策略 在保证检索性能的同时达到100 查全率 保障了查准率 提供自动分类技术 自动摘要功能 文本相似性比较功能 支持按词索引 按字索引 字词混合索引 支持文本自动提取和模式提取 字段重复内容自动去重和计数 完备的数据管理完备的数据管理 支持中英文 多语种混合检索 支持GBK GB2312 BIG5内码集 内核支持unicode码集 支持多种数据类型 日期 数值 大数值 文本 二进制 并行索引技术 对于多CPU机器能大幅度提高索引性能 支持唯一性字段 支持字段内容自动去重 支持数据库记录的增删改操作 支持多媒体数据的关联管理和检索 支持数据批量标引 基于主题词表的批量分类 支持对检索数据集进行批量管理的功能 数据库优化重组 支持Web站点镜像检索和内容自动提取 数据库分类导航树的管理 开放性开放性 系统支持XML标准交换协议 保证了系统具有良好的开放性 3 性能指标 性能指标 数据库容量 每个搜索引擎数据库最多可存贮存 42 亿篇文献 浙江天宇信息技术有限公司 每个服务器允许建立数据库可达 936 个 2 2 2 2 采集管理采集管理 对采集进行管理主要包括 采集工程管理 运行管理 超链接管理等几个 部分 采集工程管理 包括采集工程定义 工程参数设置管理等 详细的采集工 程定义与管理见采集子系统的功能概述部分 运行管理 包括对系统的启动 停止及运行状态的监视等运行管理 对于 采集系统的启动无须手工进行启动或停止 可以通过下载中心自动设置运行时 间间隔进行自动运行或停止 同时进行运行状态的监视 系统出现运行故障 会自动进行提示 详细的运行管理见采集子系统相关的功能概述部分 超链接管理 主要是对一些网页死链或过期的网页链接进行管理 包括死 链的删除 修改等管理 在管理子系统中可以直接进行相关操作 过滤词典的管理与维护 用户定义过滤词典 可以直接通过记事本进行编 辑 编辑完成后直接导入采集子系统中 用户在设定采集工程时调用过滤词典 直接删除或 修复死链 浙江天宇信息技术有限公司 系统会自动根据过滤词典进行采集页面过滤 如过滤含有黄色信息 反动信息 的页面 2 2 2 3 用户管理用户管理 1 功能设计 功能设计 用户管理 系统提供独立于操作系统的用户权限管理 用户操作审计 分 析与统计 日志分析与统计等功能 系统允许最多管理 30000 个用户 用户根 据实际需要可以自定义用户数 对于无须通过身份验证的普通检索用户 则通 过访客用户可以直接访问 共用一个检索帐号 用户权限管理 系统允许用户对不同的操作用户定义不同的操作权限 并 对用户的操作进行审计 提高系统的安全性 2 技术指标 技术指标 内置的用户权限管理体系 多级用户管理 灵活的用户 数据库授权机制 数据库管理 数据维护 系统管理 检索各种权限分开 可以按需分配 用户分组管理 数据库检索频度统计 检索词频统计 检索日志和数据库维护日志的管理 2 2 3 检索子系统检索子系统功能及技术指标功能及技术指标 2 2 3 1 功能描述功能描述 1 通用全文检索功能 系统提供全方位的全文检索手段 支持多种检索 运算符 包括外部特征与正文内容的各种逻辑组合检索 逻辑或 与非的检索 符合通用搜索引擎使用习惯 多字段复合检索 历史检索 相关词扩展检索 分类导航检索 中英文 字符 混合检索 支持前方一致检索 短语与句子检 浙江天宇信息技术有限公司 索功能等 检索子系统符合通用搜索引擎的使用习惯 支持搜索引擎搜索的绝大部分 功能 并更适合与贴切政府部门政务内网 政务公众网检索的需要 系统实现 了采集与检索分频道处理 网页标题与内容摘要的自动提取与动态生成 用户 通过关键词检索后 会在标题和摘要中以高亮显示 搜索结果分别按照标题 摘要 内容进行类聚 并剔除重复性的内容 并支持对检索结果按模版显示及 网页原样进行显示 用户需要查看所检索的信息在网页中所在的位置 可以通 过存储在搜索引擎库中的网页快照进行浏览 对于网页附件 DOC XLS TXT PDF 存储在网页的可查询附件字段中 系统自动建立索引 可以进行全文检索 系统实现了对中文 英文 中英文 德文 法文等西文进 行单独检索与混合检索 并具有 100 的查全率与极高的查准率 支持逻辑组合 检索 符合搜 索引擎使用习 惯 检索关键词在 标题和摘要中 高亮显示 网页检索动态 摘要自动生成 检索