企业搜索解决方案

1、如有帮助，欢迎下载支持企业搜索解决方案北京盈智星科技发展有限公司2010年11月目录1项目背景 12需求分析23项目目标 24技术方案与特色34.1 技术方案总体图34.2 文件信息采集(FTP ORACLE ) 34.3 搜索引擎及中文分词 44.4 搜索应用界面 65外部系统交互 66环境配置67项目管理77.1 项目组领导机构筹建 77.2 项目执行计划设置 77.4 项目沟通机制97.5 执行过程监管制度 97.6 技术支持与服务 101项目背景随着企业信息化应用的深入，企业内部电子文档及数据库存储的数据不断增 加，海量的电子文库和数据已经成为企业的宝贵资料库和知识库。由于文档格式迥异

2、，存储位置不尽相同。如何高效的管理和利用这些电子信息为生产和工作服 务，使企业普遍存在的一个问题。为了解决这一问题，建立和启用企业信息搜索 管理平台，进而对信息进行集中管理和利用已成为一种共识。2需求分析由于企业内部办公自动化和各业务分支应用系统是逐步分散建设的，信息的分布相对分散，存储方式多种多样，如 Word、Excel、PPT、PDF、AutoCAD等 文档以单独文件的形式保存在文件服务器内，其它业务应用软件数据保存在数据 库服务器中。在调阅和查找既往的文件、通知、图纸及业务数据等历史资料时极 不方便，客观上影响了资料库和知识库的利用效率，降低了原有信息的使用价值。 为了加强信息库的管理

3、，提高利用效率，更好的为企业生产和工作服务，客观上 要求有一个信息管理平台，实现对信息的集中管理，并提供高效的搜索引擎，使 企业内部资料的查找调阅快速简便。3项目目标1）整体目标：搭建企业FTP、ORACLE文件全文搜索平台，实现信息集中管理和统一搜索接口，实现对各种文档和相关数据库中特定信息搜集整理、形成文件 信息摘要，并建立索引，支持分层分类，提供按权限和类别搜索。2）功能目标：定向自动抓取文件服务器和数据库服务器中文档信息，分析抽取出文件 的标题、正文、路径、时间等关键信息，并集中存储，信息抓取准确完 整，及时快速；对特定信息进行索引排序，支持用户利用关键字进行站内全文快速搜索； 网站整

4、体观感简约明快，用户使用方便灵活；支持运营商对平台运行情况动态监控；3）性能目标：信息丰满渡：文档信息的描述要完整清晰，正文标题、内容摘要、路径、 日期、大小等；访问负荷：点击数满足100万次/日；响应时间：100万个文档响应时间0.5秒；1000万个文档响应时间 1秒;4技术方案与特色4.1 技术方案总体图4.2 文件信息采集(ftporacle )FTP文件信息采集：依据文件服务器的ip、端口、用户名和用户密码列表，采用多线程方式 遍历ftp文件服务器列表，获取每一个服务器的可用文件夹和文件目录，增 量下载采集每个文件，获取文件标题和正文内容，把文件名称、标题、正文、 路径、权限、大小、类

5、别、修改日期等录入文件目录数据库。只录取没有采 集过的或者上次采集后经过编辑的。Oracle数据库信息采集：依据事先分配的数据库服务器、端口、 oracle用户帐号密码以及所要采 集的表名列名，通过写入函数的反向算法，还原被变异保存的文件，抽取文 件标题和正文内容，把文件名称、标题、正文、大小、类别、数据库对应的 关键字录入文件目录数据库。按照表的关键字和本记录时间戳进行增量采 集。标题提取相关技术说明：候选标题生成模块：首先从提取出来的原子文本组织成文档结构树。构建 文档结构树既可以用自底向上的方法，从原子节点构造起。也可以用自顶 向下的方法从根节点首先将文字划分成大的单元，然后逐步从大块文

6、字细 分。如果采用自底向上的方法，如果文字在同一行，并且字体、字体大小、 颜色都一致，则视为不可拆分。然后根据字体、字体大小、颜色、位置等信息再次合并文字。从文档结构树给出几个可能的候选标题。候选标题评估模块：对每个候选标题,按照对整个文章的概括程度和通顺性与意义完整性打分。从对文章的概括程度考虑，可以按照 TF*IDF等方 法选取重要性较高的词作为关键词，然后根据关键词对每个候选标题给出 可能性权重。还可以用候选标题和首页中的其它文字来比较，看候选标题 相对其它文字的代表度或者说是相对其它文字的可替代性，也就是说候选 标题对其它文字的覆盖度。从通顺性与意义完整性考虑，可以考虑准备一 个标题语

7、料库，提取出词法规则和作为标题常用的搭配规则，也可以对大量标题训练一个HMM模型。标题输出模块：把权重最大的候选标题挑出来.按照可读的方式输出。4.3 搜索引擎及中文分词本方案中的搜索引擎是基于Lucense基础上的二次开发，中文分词由公司自 己研发。关于搜索引擎流程如下：NBA搜索引擎具有以下优势:1索引：将数据源中的数据都通过全文索引一一建立反向索引，支持增量索引和大量数据的批量索引；2匹配效果：通过词元进行匹配，通过语言分析接口的实现，完美实现中文 支持；3匹配度：提供匹配度算法，将匹配程度最高的放在前面；4支持高负载的模糊查询应用;5支持多用户并发访问公司自助研发中文分词优势:中文分词

8、是自然语言处理领域的基础。 猎兔中文分词主要是针对中文文本进 行带词性标注的分词系统，它不仅对文本中的普通词进行分词切分，还包括对未 登录词的切分；猎兔还有针对多个行业的大量分词的词库。优势表现在：1猎兔中文分词有未登录词的识别功能 ，其中包括：中国人名，外国人名， 地点名，组织机构名，并且识别的效果很好.2猎兔综合运用了 n元语法模型，隐马尔科夫模型，规则识别等方法，识别 效率高.3同时支持分词和词性标注，可以提供丰富的语法语义信息。4提供参数调节分词准确性和切分速度.5采用多个大规模语料库训练概率词库，保证了分词正确率的领域无关性。6 100%采用java实现的分词组件，无内存泄漏问题，可

9、长期不间断使用。7提供多种分词的接口（如：返回普通字符串数组，返回 CnToken数组形 式等等），灵活易用.4.4 搜索应用界面注：搜索页面中压入用户身份信息，依赖于整个项目的用户帐号管理。搜索结果页面类似GOOGLE。5外部系统交互i本项目需要使用整个项目的用户档案，并提供用户访问权限的归类，以便 于与ftp文档访问权限相连接；2本项目需要ftp服务器的地址、端口、访问权限；3本项目需要Oracle中要分析的相关表的结构，并提供文件压入数据库中 的算法；6环境配置服务器：专业级企业服务器计算机 2台（WEBZ用服务器、数据库服务器各 一台），配置为CPU3GHZ热插拔硬盘：200BB内存8

10、GB,根据实际需要可以增 加硬盘。操作系统:windows 2008中间件：JKD1.6, Tomcat 6数据库：Oracle / mysql7项目管理7.1 项目组领导机构筹建成立由运营商主管和软件公司副总组成的领导小组，对这个项目实施监控和 协调。运营商主管负责网络平台的运行环境搭建，负责审阅项目执行阶段性报告， 负责需求方面的纠偏；软件公司副总负责这个软件工程的质量管理、进度控制， 负责与运营商及时沟通协商。以及其他相关事宜。7.2 项目执行计划设置项目工期为一个半月（45天），具体分配如下项目阶段工作内容时间,、八 刖期 准 备组织准备 计划准备-成立领导协调小组制定执行计划2天制度

11、准备执行相关工作制度， 包括岗位职责、工作 纪律、监督制度、考 核制度、沟通与协调 制度人员准备软 件 研 发需求分析系统设计-会同客户对全文搜索 的需求进行调研分 析，撰写需求分析报 告，由双方签字 项目工程技术软件依 据核定的需求开展系 统设计整个过程与运营商保 持畅通的沟通渠道， 即使就偏离进行更止40天软件开发开发团队依据需求文 档和设计文档开展软 件编码工作系统测试对软件开发过程中的 阶段性成果进行测 试，即使纠错试点运行软件开发基本完成后 部署到服务器上测试 运行项目实施运营商人员培训对运营商的系统管理 员和操作人员进行培2天训安装部署对软件进行安装 署、配置、部提交验收报告部署完

12、毕后，5个工 作日内向运营商提交 验收申请项目验收项目验收会向运营商开展项目 验收1天时间段需求 分析系统 设计软件 开发系统 测试试点 运行正式 运行最终 验收7.3项目执行人员团队配置盈智星公司成立项目专题小组，负责文档管理系统的需求分析、 设计开发及 实施等各项过程的工作，项目组人员安排如下：姓名职务主要，作备注项目经理整体负责、参与需求分析业务主管参与需求分析、业务协调运营商参与高级程序员开发高级程序员开发网站策划网站策划和美工测试人员1测试其他人员系统开发指导技术指导、系统设计、程序开发7.4 项目沟通机制(1)参加人员：领导小组成员相关成员、项目实施经理、小组成员；(2)频次：周例

13、会、月总结；(3)形式：周例会采用电话会议，月总结采用现场会议形式；(4)会议内容：实施情况及进度汇报、问题通报与协调、解决方法讨论等；(5)记录与报告：培训执行记录单、培训人员签到单、问题通报与反馈单等;(6)其它突发情况及时报告相关人员或临时召开会议。7.5 执行过程监管制度整个项目实施过程执行ISO9000质量管理标准具体实施过程的质量监管、时间监管、人员监管参照软件包中对应内容执行 将整个项目划分为需求分析、系统设计、软件开发、系统测试、试点运行、正式运行等几个主要的阶段。各阶段的工作内容及甲方参与管理和控制的人员要 求如下表中所小。阶段工作内容及成果招标方参与人员需求分析收集各种需求，整理出合理的需求。盈智星技术人员，运营商技术人员设计系统的整体框架和功能，设计数 据库结构。系统设计盈智星技术人员，运营商技术人员软件开发编写应用程序代码，进行单元测试。盈智星技术人员，运营商技术人员1代码编写完毕后，进行系统的整体测 试。系统测试盈智星技术人员，运营商技术人员试点运行